Чи справді ChatGPT може вірно визначати наукові гіпотези? Результати дослідження вражають
Професор Месут Чічек з Вашингтонського державного університету разом із колегами провели експеримент, у якому протестували можливості ChatGPT у визначенні правдивості наукових гіпотез. Вони брали твердження з більш ніж 700 досліджень, переважно з бізнес-джерел, і повторювали кожне запитання по 10 разів.
Як працював експеримент і що вийшло
Результати виявилися доволі неоднозначними. У 2024 році штучний інтелект відповідав правильно у 76,5% випадків, а коли тест повторили в 2025 році на новішій версії ChatGPT-5 mini — точність зросла до 80%. Здається пристойним, але з урахуванням випадкового вгадування, фактична точність була лише на 60% вища за випадковий вибір. Це не надто вражає, враховуючи, що «високої надійності» це не дає.
Головні проблеми ChatGPT в тесті
- Найбільші труднощі штучний інтелект мав із хибними гіпотезами — лише 16,4% таких тверджень були розпізнані правильно.
- Нестабільність відповідей: при 10 однакових запитах точність оцінок складала лише 73%. Це означає, що одна і та сама фраза могла отримати різні вердикти — як «правда», так і «фальш».
- Такі коливання викликають сумніви щодо надійності AI при складній та глибокій аналітиці.
Що кажуть дослідники: про обмеження генеративного ІІ
Автори дослідження відзначають, що хоча ChatGPT відрізняється грамотною мовою і привабливими поясненнями, йому бракує справжнього розуміння змісту. Як зауважує професор Чічек:
“Сучасні ІІ не володіють свідомістю, вони просто запам’ятовують інформацію. Вони можуть дати корисні поради, але не розуміють, про що говорять.”
Дослідники наголошують, що ідея про штучний загальний інтелект, який здатен справді мислити і робити глибокі висновки, поки що далека від реалізації. І це важливий сигнал для тих, хто сподівався на “чудові” можливості ШІ вже зараз.
Джерела та методика дослідження
Щоб оцінити потенціал ChatGPT, вчені використали 719 гіпотез із наукових статей, опублікованих у бізнес-журналах починаючи з 2021 року. Кожне твердження потребувало складного аналізу і врахування різних факторів, що часто суперечать одне одному. Такий підхід нелегко звести до простого “правда” або “неправда” без ретельного роздуму.
Експеримент був проведений на безкоштовних версіях ChatGPT: спочатку на 3.5, потім на оновленому 5 mini. Різниця у відповідях між цими версіями була незначною і точність залишалась близько того ж рівня.
Що варто врахувати користувачам AI
- Не слід сліпо довіряти відповідям генеративних AI — особливо, коли йдеться про складні або делікатні теми.
- Потрібно завжди перевіряти факти, отримані від штучного інтелекту, особливо в професійній діяльності.
- Корисно навчатися, які завдання AI виконує добре, а над якими йому варто ставитись з обережністю.
Підкреслюється, що хоча ChatGPT виконує гарну роботу з формуванням тексту, його концептуальна “розумність” і здатність до логічних дій іще не дотягують до рівня, потрібного для верифікації наукових фактів.
Інші дослідження і майбутні перспективи
У дослідженні також згадується, що подібні тести із різними AI-системами показують багато спільних обмежень. Окремо професор Чічек наголосив на результатах опитування, що виявило: покупці менш охоче купують товари, рекламовані із надмірним наголосом на використанні AI, що свідчить про певний скепсис широкої публіки.
Його головна порада звучить просто і зрозуміло:
“Завжди залишайтеся скептиками. Я користуюся AI, але дуже обережно.”
Джерело: WSU Insider, новини Вашингтонського державного університету
