ChatGPT Health: Чи можна покладатися на ШІ у медичних надзвичайних ситуаціях?
OpenAI нещодавно представила ChatGPT Health — спеціалізовану функцію у ChatGPT, яка дозволяє користувачам ставити медичні запитання, аналізувати свої медичні документи та підключати додатки для здоров’я. Цей інструмент одразу привернув увагу мільйонів людей, які щодня звертаються до штучного інтелекту за допомогою у питаннях здоров’я.
Які основні функції ChatGPT Health?
Платформа створена для:
- відповіді на медичні запити;
- аналізу медичних записів користувачів;
- інтеграції з додатками для відстеження здоров’я.
Хоча витоки та концепція здаються обнадійливими, дослідники з Icahn School of Medicine при Mount Sinai почали сумніватися у точності рекомендацій інструменту.
Дослідження: чи справді ChatGPT Health допомагає в надзвичайних ситуаціях?
Команда вчених розробила 60 клінічних сценаріїв у 21 медичній галузі, кожен з яких повторювали по 16 разів, змінюючи параметри, такі як раса, стать і відсутність страховки, щоб перевірити вплив цих факторів на відповіді системи. Загалом було проведено 960 взаємодій.
Що з’ясували дослідники?
Їх висновки такі:
- У 52% випадків, що вимагали термінової медичної допомоги, AI не рекомендував негайне звернення до лікаря.
- При прикладі важких станів, як атака астми або дихальна недостатність, ChatGPT Health іноді радив утриматись від термінової допомоги.
- Система рідко сповіщала про необхідність звернення до кризових служб у випадках високого ризику самогубства, а іноді робила це навіть у менш критичних ситуаціях.
Чому це викликає занепокоєння?
Alex Ruani, дослідниця з University College London, охарактеризувала ці помилки як «надзвичайно небезпечні». Вона пояснює:
- Помилка у визначенні ступеня загрози може створити у користувачів помилкове відчуття безпеки.
- Відкладена реакція на небезпечні симптоми здатна привести до жахливих наслідків, включно із загрозою для життя.
- Особливо тривожним є пропуск сигналів серйозних криз, пов’язаних з психічним здоров’ям та суїцидальними намірами.
Що кажуть дослідники Mount Sinai?
Головний науковий співробітник Dr. Girish N. Nadkarni зауважив, що:
- Виявлена непослідовність у сповіщеннях є особливо несподіваною.
- Система частіше реагувала на менш складні ситуації, аніж на ті, що вимагали швидкої допомоги.
- Ризики, пов’язані з самогубством, іноді ігнорувалися, хоча це означає небезпеку для користувачів.
Що далі? Рекомендації та подальші дослідження
Дослідники не радять відмовлятися від використання AI у медицині, проте наголошують на необхідності суворого контролю і постійного тестування таких систем. Вони наполягають на:
- незалежній оцінці й регулярній перевірці ефективності;
- розробці механізмів, що передбачають виявлення і запобігання потенційним помилкам;
- аналізі використання ШІ у педіатрії, безпеці ліків і серед людей з обмеженим володінням мовою.
Якщо ж хтось відчуває суїцидальні думки чи проходить через психічну кризу, особливо у Нью-Йорку, варто звертатися за безкоштовною та конфіденційною допомогою за номером 1-888-NYC-WELL або скористатися національною гарячою лінією 988.
