Чи можна довіряти ChatGPT у наукових дослідженнях? Нові результати вражають
Вчені з Вашингтонського університету оприлюднили чергові цікаві результати дослідження точності AI-моделей на прикладі ChatGPT. Їхній аналіз показує, що незважаючи на широке застосування штучного інтелекту, він не завжди справляється із завданням оцінки наукових гіпотез — часто дає суперечливі або неточні відповіді.
Методика експерименту: що і як перевіряли?
Асистент-професор Месут Джічек та його команда з Вашингтонського університету вирішили перевірити, наскільки точно ChatGPT може визначати правдивість наукових тверджень. Для цього вони використали понад 700 гіпотез з різних наукових публікацій у сфері бізнесу, опублікованих починаючи з 2021 року.
Особливістю дослідження стало багаторазове повторення одного й того ж запиту — кожну гіпотезу ChatGPT оцінювали десять разів поспіль. Експеримент провели спершу в 2024 році, використовуючи безкоштовну версію ChatGPT-3.5, а потім у 2025 – з оновленою ChatGPT-5 mini.
Основні результати: що показала робота штучного інтелекту?
Отримані дані продемонстрували, що загальна точність відповіді AI була 76,5% у 2024 році та дещо зросла до 80% у 2025 році. Втім, з огляду на те, що тестування полягало у виборі між «правда» і «брехня» (а отже, випадкова відповідь має 50% шансів бути вірною), реальний приріст перевищення випадковості становив лише близько 60%. На практиці це означає:
- AI має проблеми з визнанням хибних тверджень: лише 16,4% правильних відповідей серед таких випадків.
- Нестабільність відповідей: при повторних однакових запитах модель давала суперечливі результати.
- За 10 з ідентичними запитами ChatGPT правильно оцінив лише 73% тверджень — це значить, що навіть найпростіші питання можуть «перекручувати» у відповідях.
Цікаві спостереження від автора дослідження
Месут Джічек зауважив, що не тільки точність викликає сумніви, а й погодженість відповідей, адже штучний інтелект часто не дає постійної відповіді на одне й те саме питання. Інколи він відповідає «так», інколи «ні», без очевидної логіки, що додає непевності в користуванні цим інструментом.
Чому варто зважати на ці дослідження
Ці висновки опубліковані у журналі Rutgers Business Review та нагадують про необхідність з обережністю ставитися до результатів, генерованих AI, особливо у складних чи багатогранних завданнях. Штучний інтелект:
- Не «розуміє» навколишній світ таким самим чином, як людина.
- Лише запам’ятовує інформацію та комбінує її, створюючи ілюзію усвідомлення.
- Потребує обережного використання у професійних сферах із високою ставкою на точність.
Що порадили науковці бізнес-спільноті?
Дослідники рекомендують менеджерам і фахівцям:
- Ретельно перевіряти результати, отримані через AI;
- Скептично оцінювати відповіді, особливо коли йдеться про важливі рішення;
- Інформувати персонал про сильні і слабкі сторони таких технологій, щоб уникнути помилок у роботі.
За словами Джічека, він вже протестував й інші подібні інструменти і зіштовхнувся з приблизно такими самими проблемами. І хоч штучний інтелект продовжує розвиватися, до справжнього «мислення» йому ще далеко.
