Чи можна довіряти ChatGPT у наукових дослідженнях? Нові дослідження розкривають правду
Що показало нове дослідження від Вашингтонського університету
Професор Месут Чічек зі своїми колегами досліджували, наскільки коректно і послідовно ChatGPT може оцінити правдивість наукових гіпотез. Вони взяли понад 700 тверджень із наукових публікацій і ставили чат-боту питання, чи підтверджує дослідження ці гіпотези. Експеримент провели у два етапи: у 2024 та у 2025 роках, повторюючи кожне запитання десять разів.
Результати: чи варто довіряти відповідям штучного інтелекту?
У 2024 році ChatGPT відповів правильно у 76,5% випадків, а в 2025 році — показник дещо покращився до 80%. Проте, оскільки питання були з простим варіантом «істина» чи «хиба», випадкові вгадки можуть становити 50%. Отже, фактична точність була приблизно на 60% кращою за випадкову відповідь, що вважається показником не надто високої надійності.
Найбільшою проблемою для ChatGPT виявилося визначення хибних тверджень — він правильно ідентифікував їх лише в 16,4% випадків. До того ж, відповіді виявилися не постійними, адже повторні запити на одне і те саме питання викликали суперечливі відповіді.
Відмінності в відповідях: приклади
- Інколи модель казала, що твердження «істинне»;
- За кілька хвилин або повторних запитів — відповідь змінювалась на «хибне»;
- Бували випадки, коли протягом десяти спроб було рівно п’ять підтверджень і п’ять заперечень.
Що це означає для користувачів та бізнес-управлінців?
Автори дослідження радять не покладатися на штучний інтелект беззастережно, особливо якщо справа стосується складних завдань із тонкими нюансами. Вони підкреслюють, що хоча AI може генерувати плавні та переконливі тексти, його здатність до глибокого логічного мислення поки що обмежена. Справа не в розумінні, а радше у запам’ятовуванні шаблонів і фраз.
Ось кілька важливих порад для тих, хто використовує AI у своїй роботі:
- Перевіряйте отримані від AI результати самостійно або консультуючись з експертами.
- Будьте скептичними щодо відповідей на складні питання, що потребують глибокого аналізу.
- Навчайте працівників критично ставитись до інформації, отриманої від ШІ-систем.
Дослідження і технології: з чим працювали вчені
Науковці використали 719 гіпотез із публікацій бізнес-журналів, опублікованих після 2021 року. Тестували безкоштовні версії моделей ChatGPT 3.5 (2024 рік) та оновлену ChatGPT 5 mini (2025 рік). Загальна точність залишалась приблизно на тому самому рівні незалежно від версії. Подібні результати спостерігалися і в інших AI-інструментах.
Погляд у майбутнє: чи зможе AI колись по-справжньому думати?
Автори зауважують, що поточні інструменти штучного інтелекту не мають справжнього «розуму» або свідомості. Вони просто опрацьовують запам’ятовану інформацію і не розуміють сенсу сказаного. Тож поява повноцінного штучного загального інтелекту, який мислить як людина, може бути ще далеко. До того часу слід продовжувати критично ставитися до роботи чат-ботів та викориcтовувати їх як помічників, а не замінників людського розуму.
