Наскільки можна довіряти ChatGPT? Результати масштабного дослідження
Професор Університету штату Вашингтон Месут Чічек разом зі своєю командою дослідників провели масштабне тестування ChatGPT, використовуючи гіпотези із наукових статей. Мета експерименту — перевірити, чи здатен ШІ вірно визначити, чи підтверджується кожна заява дослідженнями, тобто чи є вона правдивою чи ні.
Обсяг дослідження й методика оцінки
Загалом команда проаналізувала понад 700 гіпотез, а кожне питання ChatGPT отримував по 10 разів, щоб виміряти сталість відповідей. Дослідження включало тестування двох версій: у 2024 році — безкоштовної ChatGPT-3.5 і в 2025 — оновленої ChatGPT-5 mini.
При відборі гіпотез із бізнес-досліджень, опублікованих з 2021 року, врахували, що такі питання часто містять нюанси і множинні чинники, що впливають на підтримку або спростування твердження.
Показники точності та складнощі в роботі ШІ
На початку експерименту у 2024 ChatGPT правильно відповідав у 76,5% випадків, а в наступному тесті 2025 ця цифра трохи зросла до 80%. Розглядаючи випадкові відповіді, результати зменшуються до рівня приблизно 60% вище за випадковий відбір (50%). Слабенький результат для системи, що має видавати надійні відповіді.
Найскладніше було ШІ розпізнавати хибні твердження — лише 16,4% правильно відмічених як помилкові. Але найважливіше — нестабільність у відповідях. Даючи один і той самий запит 10 разів, ChatGPT демонстрував сталу відповідь лише близько 73% часу.
Невідповідність у відповідях викликає сумніви
Як зазначив професор Чічек, «ми маємо справу не лише з точністю, а й з непослідовністю: однаково сформульоване питання може отримувати абсолютно різні відповіді». У деяких випадках із десяти відповідей половина була “правда”, а інша половина — “ні”.
ШІ вміє гладко говорити, але не розуміє суті
Опубліковані у виданні Rutgers Business Review результати підкреслюють важливість обережного підходу до застосування генеративного штучного інтелекту, особливо там, де потрібна тонка або глибока аналітика.
Незважаючи на вражаючу мову, використану ШІ, він поки що не демонструє справжнього концептуального розуміння. «ШІ не має мозку і не сприймає світ, як ми, — говорить Чічек. — Він лише запам’ятовує тексти і може дати деякі інсайти, але не розуміє, що саме каже».
Як проводилося дослідження та хто брав участь
Група авторів, крім Месута Чічека, включала Севінгуль Улу (Університет Південного Іллінойсу), Кана Услая (Університет Рутгерса) та Кейт Карніучіну (Північно-Східний університет).
Для аналізу використовували 719 гіпотез із наукових бізнес-видань, розглядаючи складні припущення, що часто залежать від багатьох факторів. Перевірка двох версій ChatGPT показала схожі результати, коли після корекції на випадкові відповіді ефективність зводилася до приблизно 60% понад шанс.
Головні слабкі місця у логічних висновках ШІ
Дані свідчать: великі мовні моделі, хоч і створюють зрозумілі та переконливі тексти, часто не справляються із глибоким аналізом і складним логічним мисленням. Відповіді іноді звучать авторитетно, але насправді бувають недостовірними.
Чому експерти радять бути обережними з ШІ
Дослідники закликають бізнес-керівників сумніватися в інформації, створеній штучним інтелектом, і обов’язково її перевіряти. Також підкреслюють необхідність навчання користувачів, щоб краще розуміти сильні та слабкі сторони подібних систем.
Хоч ця робота була зосереджена саме на ChatGPT, подібні експерименти з іншими ШІ-програмами дають приблизно такі ж результати. Раніші дослідження показували, що надмірний акцент на «штучному інтелекті» навіть знижує довіру споживачів при покупках.
Як підсумував Чічек: «Завжди ставтеся скептично. Я сам користуюся ШІ, але варто бути дуже обережним».
