Чи можна вірити ChatGPT у перевірці наукових гіпотез? Нове дослідження виявляє несподівані недоліки
Дослідники з Вашингтонського університету протестували штучний інтелект
Група вчених на чолі з професором Месутом Чічеком із Вашингтонського державного університету провела масштабне дослідження, щоб оцінити точність ChatGPT у визначенні істинності наукових гіпотез. Вони проаналізували понад 700 тверджень, взятих із наукових робіт, і задавали ШІ питання про їх достовірність. Кожну гіпотезу перевіряли по 10 разів, щоб з’ясувати, наскільки стабільними будуть відповіді великої мовної моделі.
Результати експериментів: точність і непослідовність
У 2024 році ChatGPT відповідав правильно у 76,5% випадків, а в 2025 році ця цифра піднялася до 80%. Здавалося б, прогрес. Але оскільки потрібно пам’ятати про випадковість (адже це питання з вибором «правда / неправда», тож шанс вгадати — 50%), точність ШІ виявилася всього на 60% кращою за випадковий вибір.
Особливо слабким місцем ChatGPT стало розпізнавання хибних гіпотез — він правильно відзначав їх лише 16,4% випадків. До того ж, відповіді в рамках повторних запитів часто різнилися. Навіть при 10 однакових питаннях модель стабільно давала правильні відповіді лише у 73% випадків.
Невпевненість штучного інтелекту в наукових твердженнях
Професор Чічек описав феномен, коли одна й та сама формулювання запиту призводила до суперечливих відповідей, що чергувалися: то «правда», то «неправда». Іноді на 10 ідентичних запитів було по п’ять відповідей на користь кожного з варіантів. Це зауваження показує, що проблема лежить не тільки у точності — а й у надійності роботи ШІ.
Що це означає для користувачів та бізнесу?
Дослідники рекомендують:
- Залишатися критичними щодо результатів, які видає ШІ;
- Перевіряти факти та підтверджувати отримані дані іншими джерелами;
- Навчати працівників правил коректного використання та обмежень штучного інтелекту.
Зокрема, такі рекомендації важливі для керівників бізнесів, які розглядають можливість впровадження AI-рішень для прийняття відповідальних рішень.
Моделі, які тестувалися
Для експерименту використовувалися версії ChatGPT-3.5 (2024 рік) та оновлена ChatGPT-5 mini (2025). Незважаючи на різницю в поколіннях, загальна точність в обох випадках була приблизно схожою. Це свідчить, що навіть сучасні моделі ще далекі від досконалості у задачах критичного мислення.
Чому штучний інтелект досі не мислить, як людина
Як зазначив професор, сучасні AI-інструменти не мають справжнього розуміння світу — вони лише опрацьовують велику кількість інформації, запам’ятовують патерни і формують відповіді на основі пошуку й узагальнення даних.
Вони не мають власних уявлень чи глибинного мислення, і не можуть по-справжньому «думати» — принаймні, поки що. Саме через це вони більше схожі на «меморизаторів» з глибокою мовною здатністю, аніж на реальних аналітиків або дослідників.
Ключові моменти експерименту:
- 719 гіпотез із наукових бізнес-журналів (публікації після 2021 року);
- 10 повторних запитів для кожної гіпотези, щоб оцінити стабільність відповідей;
- Використання безкоштовних версій ChatGPT-3.5 та ChatGPT-5 mini.
Отже, це дослідження дає чітке розуміння: хоча AI навчився генерувати переконливі тексти, його розумова «гнучкість» і послідовність ще залишаються критично низькими для завдань, які потребують пильності, критичного оцінювання та наукової точності.
