ChatGPT Health: Наскільки надійним є AI у розв’язанні медичних криз?
Нове чат-бот від OpenAI, ChatGPT Health, створений спеціально для медичних консультацій, неодноразово недооцінював ступінь тяжкості невідкладних станів. Про це свідчать результати дослідження, опублікованого в журналі Nature Medicine минулого тижня.
Перевірка здатності до медичної тріажі
Науковці протестували ChatGPT Health на можливість правильно оцінювати серйозність різних медичних випадків, використовуючи реальні клінічні сценарії. Раніше AI вдавалося пройти медичні іспити, а в 2024 році майже дві третини лікарів користувалися штучним інтелектом для допомоги в роботі. Однак були й такі дослідження, що показували ненадійність чат-ботів у наданні раціональних медичних порад.
Особливості ChatGPT Health
ChatGPT Health відрізняється від загального чат-бота ChatGPT. Хоча він безкоштовний, доступ до нього можливий лише після спеціальної реєстрації та проходження у чергу на очікування. OpenAI підкреслює, що цей чат-бот працює на більш безпечній платформі, що дозволяє користувачам завантажувати особисті медичні дані, захищені від сторонніх.
За даними OpenAI, понад 40 мільйонів людей у світі вже використовують ChatGPT для питань, пов’язаних із здоров’ям, а близько 2 мільйонів щотижневих звернень стосуються медичного страхування. При цьому компанія наголошує, що їх продукт «не призначений для встановлення діагнозу чи лікування».
Методологія дослідження
Дослідники надали ChatGPT Health 60 різних медичних сценаріїв, які вивчили й порівняли із трійкою лікарів, що виконували тріаж з урахуванням медичних стандартів та власного клінічного досвіду.
Кожен випадок мав 16 змінних, які змінювали такі характеристики пацієнтів, як стать та раса. За словами провідного автора дослідження, доктора Ашвіна Рамасвамі з Нью-Йоркської Mount Sinai Hospital, усі варіації мали давати однаковий результат. Наприклад, якщо за чоловіком встановлено невідкладний стан, то такий самий діагноз має бути і для жінки.
Дослідження не виявило значущих різниць у діагностиці залежно від демографічних факторів.
Основні результати: недооцінка і завищення ступеня ризику
ChatGPT Health «недооцінив» близько 52% екстрених випадків, радячи замість термінового звернення до відділення невідкладної допомоги відвідати лікаря протягом наступних 24–48 годин.
- Серед таких випадків були небезпечна ускладнена форма діабету — діабетичний кетоацидоз;
- пацієнти з дихальною недостатністю, яка без лікування може призвести до смерті.
«Кожен лікар, а також людина з базовим медичним навчанням скаже, що такий пацієнт однозначно має потрапити в термінове відділення», — зазначив Рамасвамі.
У випадках, наприклад, з наближенням до дихальної недостатності, бот ніби «чекав, поки небезпека стане очевидною», перш ніж направити до «швидкої». Водночас інсульт із явними симптомами чат-бот визначав точно у 100% випадків.
Позиція OpenAI
Представник OpenAI заявив, що вітає будь-які дослідження, присвячені застосуванню AI у медицині, але підкреслив, що згадане дослідження не відображає типового використання ChatGPT Health і його задуманий функціонал. Чат-бот спроектовано так, щоб користувач міг ставити уточнюючі питання, створюючи повніший медичний контекст, а не просто отримати разове рішення.
Наразі доступ до ChatGPT Health обмежений, і компанія продовжує працювати над підвищенням безпеки та надійності, перш ніж запропонувати його більшій аудиторії.
Проблема завищення тріажу
У непогрозливих для життя ситуаціях бот, навпаки, надто часто завищував ступінь ризику — у 64,8% випадків він радив звертатися до лікаря, хоча це було не обов’язково. Наприклад, у випадку з триденним болем у горлі чат-бот порадив огляд лікаря за добу або дві, тоді як достатньо було домашньої самодопомоги.
За словами Рамасвамі, логіки у таких рекомендаціях він не відчув.
Несумісність в кризових ситуаціях
Ще одна проблема проявилася в ситуаціях із думками про самогубство або нанесення шкоди собі. В ідеалі у таких випадках бот має перенаправляти користувачів на кризову лінію 988 — так, як і передбачено системою OpenAI.
Проте у дослідженні кампанія “ChatGPT Health” робила це непослідовно: деяких користувачів без необхідності перенаправляли на 988, а деяких, навпаки, ігнорували.
Рамасвамі назвав бот «парадоксальним» та зазначив, що його відповіді були «перевернуті» з точки зору клінічного ризику — буквально навпаки.
Думки експертів: що кажуть лікарі?
Доктор Джон Мафі з UCLA Health, не залучений до дослідження, наголошує на необхідності ретельного тестування чат-ботів перед використанням для прийняття рішень, що впливають на життя. Він наполягає, що переваги повинні значно переважувати потенційні шкоди.
Обидва лікарі — Мафі та Рамасвамі — зауважують, що дедалі більше пацієнтів сьогодні звертаються до штучного інтелекту за медичною інформацією.
- Люди обирають AI через доступність у будь-який час;
- можливість ставити необмежену кількість запитань;
- сервіс дозволяє завантажувати всі необхідні документи та інформацію.
«Пацієнти прагнуть не лише порад, а й підтримки — свого роду медичного терапевта», — пояснює Рамасвамі.
Окрім того, згідно з даними OpenAI, більшість звернень до чат-бота відбувається поза межами звичайного робочого часу лікарів, а понад півмільйона повідомлень щотижня надходять від людей, які проживають більш ніж за 30 хвилин від лікарні.
«Звичайний лікар може приділити пацієнту 15–20 хвилин, і він не зможе відповісти на всі питання», — додає Рамасвамі.
Переваги та ризики медичних чат-ботів
Попри очевидну зручність цілодобового доступу, експерти наголошують:
- наразі чат-боти не є повноцінною заміною лікарям;
- їхні поради можуть бути помилковими або непослідовними;
- важливо розуміти обмеження таких інструментів і не покладатися виключно на них у надзвичайних ситуаціях.
Доктор Ітан Ґо, керівник дослідницької мережі ARISE, акцентує на тому, що AI може бути корисним у багатьох питаннях здоров’я, але завжди необхідно зважати на його обмеження.
Моніка Агарваль, професорка біостатистики і комп’ютерних наук у Duke University, підкреслює, що навчальні дані для AI моделей часто залишаються непрозорими, а тестування на медичних іспитах не означає здатності ефективно практикувати медицину.
Вона також зазначає, що чат-боти схильні «підтверджувати» думки користувача, навіть якщо вони помилкові, що може лише посилити хибні уявлення чи упередження пацієнтів.
За словами Мафі, ці системи розроблені так, щоб користувачам подобалась відповідь, але іноді лікарю доводиться говорити те, що пацієнт хотів би не чути.
Рамасвамі радить не використовувати AI у невідкладних випадках і підкреслює важливість поєднання його роботи з професійною медичною допомогою. Він вбачає великий потенціал у співпраці технологічних і медичних компаній для створення безпечніших і надійніших AI-рішень.
«У разі вдосконалення цих моделей може з’явитися перспективна взаємодія «пацієнт — AI — лікар», особливо в сільських або віддалених регіонах», — підсумовує він.
