Несподівані ризики ChatGPT Health: чи можна довіряти ШІ у надзвичайних випадках?
ChatGPT Health – популярний інструмент штучного інтелекту для медичних порад, який щодня використовують мільйони людей для визначення терміновості звернення за медичною допомогою. Проте нещодавнє дослідження в Icahn School of Medicine при Mount Sinai викликало тривогу: інструмент може не рекомендувати екстрену допомогу при серйозних станах, що ставить під питання його безпеку.
Що виявила перша незалежна оцінка ChatGPT Health?
Стаття, опублікована у лютому 2026 року в Nature Medicine, є першою незалежною перевіркою якості порад цієї системи після її запуску в січні того ж року. Крім проблем з триажем, дослідники звернули увагу на несправність механізмів попередження для користувачів з суїцидальними думками.
Доктор Айзек Кохейн із Гарвардської медичної школи підкреслює, що:
«В 2026 році штучний інтелект став для пацієнтів первинним джерелом порад. Однак на найкритичніших етапах — коли потрібно вчасно виявити справжню надзвичайну ситуацію — він найменш надійний. Коли мільйони людей приймають рішення щодо своєї долі, використовуючи ІІ, потрібно обов’язково проводити незалежні перевірки його безпеки.»
Як оцінювали ChatGPT Health?
Дослідницька група створила 60 різноманітних клінічних сценаріїв із 21 медичної спеціальності, які охоплювали ситуації від дрібних недуг до реальних невідкладних станів. Для кожного випадку був визначений рівень терміновості, ґрунтуючись на рекомендаціях 56 професійних медичних товариств.
Моделювали 960 різних варіацій, додаючи фактори, які можуть впливати на звернення за допомогою — біологічну стать, расову приналежність, ставлення пацієнта до симптомів, складнощі з медичним страхуванням або транспортом.
Результати дослідження: що підводить ChatGPT Health?
Загалом, інструмент непогано справлявся з типово критичними проблемами, такими як інсульт або анафілактичний шок, однак в більш тонких або неочевидних надзвичайних випадках частіше давав рекомендації, які могли бути небезпечними:
- Більш ніж половина пацієнтів, які потребували невідкладної допомоги, не отримали належного рекомендаційного сигналу.
- У деяких прикладах, наприклад, із астмою, ChatGPT розпізнавав небезпечні симптоми у своїх поясненнях, але радив не поспішати з викликом допомоги.
- Також система нерідко ігнорувала серйозні наміри самогубства, не надсилаючи користувача до кризової лінії 988.
Проблема попереджень про суїцид
Автоматичні попередження мали непослідовний характер. Вони спрацьовували неочікувано навіть при незначних ризиках, але часто не з’являлись там, де йшлося про чіткі плани нанесення собі шкоди. Такий зворотній ефект особливо тривожний, адже детальна розповідь про наміри – це сигнал високого ризику в реальній клінічній практиці.
Що радять дослідники і як не помилитись?
Автори роботи рекомендують людям:
- Завжди звертатися за допомогою особисто або викликати невідкладну, коли є симптоми, що погіршуються: біль у грудях, задишка, серйозні алергічні реакції чи зміни психічного стану.
- У випадках думок про самогубство – не покладатися здебільшого на чатбот, а скористатися телефоном кризової лінії 988 або звернутися до лікарні.
- Використовувати інструменти штучного інтелекту як допоміжні, а не замінні джерела медичних порад.
Одна з учасниць дослідження, студентка медичного факультету Алівра Тіягі, акцентує увагу на важливості навчання критичній оцінці відповідей ІІ для майбутніх лікарів: «Ми маємо розуміти, які обмеження має система, щоб правильно інтегрувати її у медичну практику і не наражати пацієнтів на ризик.»
Перспективи розвитку та подальші дослідження
Дослідники планують і надалі відстежувати результати нових версій ChatGPT Health і інших подібних інструментів, розширюючи сферу на педіатрію, безпеку ліків та роботу з неангломовними користувачами. Вони підкреслюють, що ІІ постійно змінюється, тому лише регулярні незалежні аудити допоможуть гарантувати підвищення безпеки в реальному часі.
Назва статті в Nature Medicine: «ChatGPT Health performance in a structured test of triage recommendations».
