Наскільки надійним є ChatGPT для перевірки наукових гіпотез?
Професор Месут Чічек з Вашингтонського державного університету разом із колегами провели масштабне дослідження, аби перевірити, чи може штучний інтелект зрозуміти та оцінити правдивість наукових гіпотез. Вони запустили понад 700 тверджень з наукових публікацій у систему ChatGPT, ставлячи експериментальне завдання: визначити, чи підтверджені ці припущення дослідженнями.
Як проходив експеримент і які були результати?
Кожне твердження дослідники вводили по 10 разів, щоб перевірити послідовність відповідей. У 2024 році ChatGPT виявився точним приблизно в 76,5% випадків. Пізніше, у 2025 році, точність зросла до 80%. Але враховуючи можливість випадкових вгадувань, реальна ефективність ІІ виявилася сягаючи лише близько 60% перевищення над випадковістю, що відповідає більше середньому рівню, ніж високій достовірності.
Найбільші труднощі штучний інтелект мав із розпізнаванням неправдивих гіпотез, відзначаючи коректність лише в 16,4% випадків. До того ж, ІІ був дуже непостійним у своїх відповідях: для однакових запитів він давав різні оцінки у 27% випадків.
Відгуки автора дослідження
«Тут йдеться не лише про точність. Проблема в нестабільності — якщо задавати одне й те саме питання неодноразово, отримуємо різні відповіді», — пояснює Чічек, доцент кафедри маркетингу і міжнародного бізнесу в університеті та провідний автор дослідження.
«Іноді відповіді чергувалися так: спочатку система казала «правда», потім «ні», і так декілька разів поспіль. У деяких випадках було по п’ять відповідей кожного виду — «так» і «ні» порівну».
Що це означає для використання штучного інтелекту?
Результати, опубліковані в журналі Rutgers Business Review, підкреслюють важливість ретельного ставлення до інформації, яку видає штучний інтелект, особливо у складних і багатогранних випадках. Мова йде про те, що хоча мовні моделі прекрасно формують тексти, їхній рівень концептуального розуміння та здатність логічно міркувати лишаються обмеженими.
Чічек додає, що поточні АІ-системи — це швидше енциклопедії, які «запам’ятовують» інформацію, ніж справжні «мислителі» із розумінням контексту і глибиною думки.
Подальші результати дослідження
Команда вчених використала гіпотези з бізнес-журналів, опубліковані з 2021 року, щоб перевірити, наскільки вільні версії ChatGPT-3.5 у 2024 і ChatGPT-5 mini у 2025 роках можуть розпізнавати складні логічні зв’язки. Виявилось, що обидві версії показали приблизно однаковий рівень успіху.
Основні спостереження:
- Інструменти великої мовної моделі генерують переконливі тексти, але часто логічно помиляються.
- Штучний інтелект дає вражаючі, але часом хибні пояснення своїх відповідей, що може вводити в оману.
- Перевірка та критичне осмислення даних, отриманих від АІ, є обов’язковими на практиці.
Рекомендації для бізнесу та навчання
Автори дослідження підкреслюють, що менеджери і працівники мають з розумінням ставитись до можливостей і обмежень штучного інтелекту. Необхідно:
- Скептично перевіряти інформацію, отриману від AI.
- Навчати працівників роботі з інструментами штучного інтелекту та критичному мисленню.
- Розуміти, що AI — це лише помічник, а не замінник людського аналізу.
Месут Чічек також зазначив, що проводив подібні випробування з іншими AI-інструментами й отримував порівнянні результати. Раніше він публікував дослідження, які показували, що споживачі стають обережнішими при покупках, якщо реклама підкреслює застосування штучного інтелекту.
«Скептицизм — ось найкраща стратегія. Я не проти AI, я сам ним користуюсь, але слід бути дуже уважним», — підсумував він.
