Чому не варто сліпо довіряти відповідям ChatGPT: нові виклики у точності ШІ
ChatGPT часто звучить упевнено, чітко та переконливо. Проте нещодавнє дослідження показало, що ця впевненість може маскувати серйозні проблеми.
Виявилось, що при повторному запитанні одного й того ж питання, навіть без змін у формулюванні, ChatGPT іноді дає різні відповіді. Іноді він навіть змінює оцінку твердження з «правди» на «брехню» і навпаки.
Ця нестабільність викликає справжні сумніви: якщо відповіді можуть мінятися без видимої причини, наскільки на них можна покладатися, особливо коли мова йде про важливі рішення?
Перевірка точності ChatGPT: що показують дослідження
Вчені з Вашингтонського університету (WSU) протестували ChatGPT на сотнях наукових гіпотез, беручи їх із перевірених дослідницьких робіт і задаючи одразу кілька разів.
Дослідник Месут Чічек виявив, що, повторюючи однаковий запит десять разів, система могла видавати прямо протилежні відповіді. Результати буквально «гойдались» між правдою та брехнею, хоча умови залишались незмінними.
Такі фліпфлопи вказують на базову проблему — слабке вміння системи оцінювати твердження всерйоз. Через це слід винятково уважно ставитися до того, де і чому виникають помилки.
Де ChatGPT найчастіше помиляється
Найбільше складнощів виникало з твердженнями, які не мають серйозних доказів. У таких випадках модель часто виявляла упередженість до підтвердження, що формально називають “базовим схильністю погоджуватись”.
У 2025 році ChatGPT правильно визначав такі хибні твердження лише у 16,4% випадків — це значно нижче заявленої точності.
Причина, ймовірно, у тому, що модель легше підбирає звичні формулювання, ніж виявляє суперечності або помилки у змісті.
Якщо дивитись на загальну точність, вона начебто покращена — з 76,5% у 2024 році до 80% у 2025-му. Але якщо виключити випадкові вгадки, ефективна точність скорочується приблизно до 60%, що можна порівняти з низькою оцінкою у школі.
Це пояснюється тим, що завдання «правда чи брехня» формально дає 50% шансів на вгадування. Коли підсумковий результат незначно перевищує це, ризик зробити неправильний вибір посилюється.
Для тих, хто покладається на AI у оцінці доказів, саме найбільш переконлива відповідь нерідко може бути найменш достовірною.
Ідентичні питання — різні відповіді: друга проблема
Також було зафіксовано, що при багаторазових запитах з однаковим формулюванням відповіді іноді відрізняються. Лише близько 72,9% відповідей у 2025 році залишалися правильними кожного разу.
Деякі твердження періодично змінювали статус між істинними та хибними, незважаючи на відсутність будь-яких змін у запиті.
«Проблема — не тільки в точності, а й у непослідовності. Якщо відповідь змінюється при повторних зверненнях, наскільки вона насправді надійна?» — ставить риторичне питання дослідник Чічек.
Найкраще модель спрацьовувала на прості причинно-наслідкові ланцюги, але її ефективність падала там, де багато що залежало від контексту або змінних умов.
А це ті ситуації, з якими ми стикаємося щодня — у бізнесі, політиці чи при ухваленні стратегічних рішень. Якщо AI пропускає тонкощі, він може звучати переконливо, але водночас упускати найважливіші нюанси.
Чому ChatGPT звучить упевнено навіть коли помиляється
ChatGPT — це величезна модель, навчена на масивних корпусах тексту. Вона прогнозує наступне слово, а не перевіряє, чи є інформація фактичною чи ні.
Такий підхід забезпечує плавність і впевненість мовлення, навіть коли відповіді не мають реального підґрунтя.
В OpenAI визнають, що ChatGPT може створювати «галюцинації» — відповіді, які звучать переконливо, але фактично є хибними.
Це робить систему подвійно складною для використання — неправдива відповідь часто видається досить надійною, щоб їй повірити.
Для науковців та бізнес-професіоналів це може означати, що AI, хоч і корисний для швидкого формування ідей, перетворюється на приховану загрозу для прийняття серйозних рішень.
Як підкреслює Чічек: «Вони лише відтворюють те, що запам’ятали, і можуть давати інсайти, але не розуміють суть того, про що говорять».
Наразі найбезпечніше сприймати AI як помічника для чернеток, а не як автономного експерта.
Як розумніше використовувати ChatGPT
Основне правило дуже просте — AI слід застосовувати для економії часу, але не довіряти без перевірки.
Вважайте відповіді як перший варіант, а не остаточне розв’язання.
Повторне введення одного й того ж запиту іноді допомагає помітити приховані коливання в відповідях. Надійна інформація не повинна змінюватися без вагомої причини.
Щоб уникнути помилок, варто:
- Перевіряти джерела;
- Шукати контекст, який може упущено у відповіді;
- Порівнювати з думкою експертів.
Хоча ці додаткові кроки потребують часу, вони суттєво підвищують якість інформації та запобігають прийняттю хибних рішень.
Що далі чекає на штучний інтелект
Наразі дослідження охопило лише бізнес-гіпотези з відкритих джерел і проводилось на одному майданчику з обмеженою кількістю повторів.
Це залишає простір для подальших порівнянь, тривалішого тестування та складніших сценаріїв, які краще відображають реальні виклики.
Та навіть з урахуванням оновлень моделі до 2025 року результат свідчить: зовнішня «гладкість» відповідей не означає глибинну надійність.
Важливо пам’ятати — людський експерт усе ще потрібен, щоб досліджувати логіку і перевіряти відповіді, зокрема ті, що звучать надто просто й привабливо.
Дослідження опубліковане у Rutgers Business Review.
