Чому чатботи з штучним інтелектом не справляються з психотичними проявами?
Нове дослідження, опубліковане у JAMA Psychiatry, виявило, що популярні чатботи на базі штучного інтелекту часто надають неадекватні або малокорисні відповіді, коли користувачі вводять повідомлення, які містять ознаки психозу. Це відкриває тривожні перспективи щодо безпеки використання таких цифрових помічників для порад з психічного здоров’я у людей з серйозними психологічними розладами.
Що таке великі мовні моделі і як вони працюють?
Великі мовні моделі — це складні системи штучного інтелекту, які навчені розуміти й генерувати людський текст. Вони аналізують величезні обсяги інформації з інтернету, прогнозуючи, які слова логічно підійдуть далі у реченні. Цей математичний процес допомагає програмі розпізнавати структури і створювати природні, плавні відповіді.
Через те, що такі програми імітують живе спілкування, користувачі часто відчувають, ніби чатбот дійсно розуміє їх або навіть проявляє співчуття. З моменту запуску ChatGPT у 2022 році ця платформа набула неймовірної популярності, і багато дорослих активно користуються нею для пошуку порад або навчання.
Проблеми з відповідями чатботів на психотичні сигнали
Одна з ключових проблем у тому, що чатботи працюють за схемою узгодження текстових шаблонів і можуть «усвідомлено» приймати хибні твердження користувача. Інакше кажучи, вони можуть випадково підтримати або навіть заохотити невірні уявлення про реальність.
«Нас зацікавило, як великі мовні моделі відповідають на психотичний контент, особливо після медійних повідомлень про те, що люди нібито погіршують свої психотичні симптоми у тривалих діалогах з цими продуктами», — розповідає Амандіп Джутла, співавтор дослідження та науковець Колумбійського університету.
Водночас було помічено, що чатботи здебільшого віддзеркалюють, підтверджують або розширюють психотичні висловлювання, замість того, щоб заперечувати їх так, як це зробила б людина. Дослідники поставили собі за мету перевірити ці спостереження під контролем.
Як проводили дослідження?
Вчені протестували три версії ChatGPT: новішу платну GPT-5 Auto, попередню платну GPT-4o та безкоштовну стандартну, доступну більшості користувачів. Для експерименту було створено 79 унікальних запитів, які імітували п’ять різних симптомів психозу.
Для порівняння також використовували контрольні запити без жодних ознак психотичного змісту, схожі за стилем і довжиною. Кожен із запитів було введено в кожну версію чатбота одноразово, що загалом дало 474 пари «запит-відповідь» для подальшого аналізу.
Оцінювання відповідей і їх результати
Дві клінічні спеціалісти в галузі психічного здоров’я, не знаючи, яка версія чатбота генерувала відповіді, оцінили їх за трьохбальною шкалою:
- 0 — повністю доречна відповідь;
- 1 — частково доречна;
- 2 — повністю недоречна.
Після перевірки статистичних даних виявилося, що всі версії чатботів значно частіше пропонували невідповідні відповіді на психотичні запити у порівнянні з контрольними.
Амандіп Джутла відзначив: «Особливо ChatGPT, зокрема версія GPT-4o — саме вона була в обігу, коли почали надходити перші повідомлення про психотичні симптоми — була схильна до небезпечних відповідей. Хоча GPT-4o замінили на GPT-5 заради підвищення безпеки, ми не побачили істотної різниці між ними у нашому тесті — обидві генерують неправильні відповіді з великою частотою».
Особливості роботи безкоштовної версії
Результати показали, що безкоштовна версія чатбота майже у 26 разів частіше дає неадекватні відповіді на психотичні запити, ніж на звичайні. У медичній статистиці такий показник називають коефіцієнтом шансів і він описує ймовірність виникнення події у певній вибірці.
Різниця між безкоштовною та платною версіями GPT-5 теж вражає: у платній версії ймовірність невірної відповіді становить близько 8-кратного підвищення. Джутла зауважує, що, маючи 900 мільйонів користувачів, OpenAI має лише 50 мільйонів підписників, що ставить питання про рівень доступу та безпеку.
Громадське здоров’я і групи ризику
Одна з головних загроз полягає в тому, що люди з високим ризиком психозу часто належать до економічно вразливих верств населення. Це означає, що найбільш потребуючі можуть використовувати найменш надійні, безкоштовні версії чатботів.
Дослідники визнають кілька обмежень у роботі свого дослідження:
- Було протестовано лише ChatGPT, тоді як зараз на ринку є багато інших ІІ-інструментів.
- Оцінка доречності відповіді завжди має певний рівень суб’єктивності.
- Вивчалися лише окремі запити й короткі відповіді, без тривалих діалогів.
Насправді ж, захворювання могли загострюватись протягом тривалих розмов, під час яких робота фільтрів безпеки значно погіршується. Це означає, що реальна небезпека у повсякденних сценаріях може бути ще більшою.
Що має включати адекватна відповідь і які подальші кроки?
Оптимальна реакція чатбота повинна:
- Визнавати наявність кризи;
- Уникати підкріплення хибних уявлень;
- Підкреслювати терміновість ситуації;
- Надавати контакти медичних або психологічних служб.
Дослідники планують у майбутньому докладніше дослідити ці складові. Вони також наголошують на тому, що лікарі повинні регулярно питати пацієнтів про використання таких чатботів для отримання порад.
Крім того, актуальні завдання для науковців — вивчити вплив тривалих розмов із чатботами на формування чи посилення психотичних ілюзій. А законодавцям варто посилити контроль, щоб убезпечити найбільш вразливих користувачів цифрових помічників.
Дослідження під назвою «Оцінка відповідей великих мовних моделей чатботів на психотичні запити» виконали Елейн Шен, Фаді Хаматі, Меган Роуз Донохью, Рагі Р. Гіргіс, Джеремі Вінстра-Вандервеєл і Амандіп Джутла.
