Новий ChatGPT Health: корисний помічник чи небезпечний експеримент?
Що таке ChatGPT Health і як він працює?
На початку цього року OpenAI представила новий інструмент під назвою ChatGPT Health. Він створений для аналізу ваших медичних записів і надання порад щодо здоров’я. Проте в додатку є дивне застереження: він «не призначений для діагностики чи лікування».
Це попередження не випадкове і має вагомі підстави, про що свідчить перша незалежна оцінка безпеки цієї функції. У журналі Nature Medicine опубліковано результати дослідження, які показують, що додаток значно помиляється при визначенні невідкладних медичних станів.
Дослідження: як тестували AI
Головний автор дослідження, інструктор з лікарні Маунт-Сінай Ашвін Рамасвамі, розповідає, що команда провела детальний «стрес-тест» системи тріажу з використанням 60 клінічних кейсів, створених лікарями.
- Ці сценарії охоплювали широкий спектр від легких захворювань до гострих станів.
- Для кожного кейсу змінювали подробиці — наприклад, стать пацієнта, додавали коментарі близьких або родичів.
- В результаті було створено близько 1000 різних ситуацій для перевірки чатбота.
Порівнявши відповіді ChatGPT Health із думками незалежних лікарів, дослідники отримали тривожні результати.
Небезпечні помилки й неправильні поради
У більш ніж половині випадків, коли пацієнтам була необхідна термінова госпіталізація, штучний інтелект рекомендував залишитися вдома або записатися на звичайний медогляд. Така ситуація може мати фатальні наслідки.
Алекс Руані, дослідниця з Лондонського університету, яка не брала участі в дослідженні, охарактеризувала це як «надзвичайно небезпечно». Вона наголосила:
- При важких станах, як дихальна недостатність або діабетичний кетоацидоз, користувачу AI дає лише 50% шансів отримати правильну пораду.
- Найнебезпечніше — це хибне відчуття безпеки, яке створюють такі системи.
- Якщо при нападах астми чи цукровій кризі людині радять чекати дві доби, це може стати причиною смерті.
Крім того, взятих для дослідження випадків вирішальними виявилися впливи близьких і друзів. Якщо в моделюваному спілкуванні хтось запевняв, що все несерйозно, штучний інтелект майже у 12 разів частіше зменшував значущість симптомів.
Інші проблеми та реакція OpenAI
Це не поодинокий випадок. Раніше британська преса повідомляла про те, що Google AI також надає неточну та потенційно шкідливу інформацію про здоров’я.
Що цікаво, в 64% випадків, коли термінове лікування не було потрібним, ChatGPT Health радив звертатися до відділення екстреної допомоги, що теж може створювати зайве навантаження на систему охорони здоров’я.
Представник OpenAI заявив, що дослідження неправильно інтерпретувало реальне використання сервісу і що компанія продовжує працювати над удосконаленням моделей штучного інтелекту.
Юридичні ризики та потенційні наслідки
Оцінка безпеки ChatGPT Health показала серйозні недоліки, які можуть призвести до шкоди користувачам. Це відкриває складне питання юридичної відповідальності, що може стати підставою для майбутніх позовів проти компанії.
Раніше OpenAI вже стикалася з обвинувальними заявами у зв’язку з тим, що їхні чатботи сприяли виникненню у користувачів параної чи марень, які негативно впливали на психіку і навіть призводили до трагічних випадків.
В умовах, коли користувачам настійно радять звертатися до медичних порад, водночас попереджаючи не використовувати ці поради для лікування, окремий додаток для здоров’я може стати ще ризикованішим експериментом.
Додаткова інформація
Докладніше про відкриття OpenAI та запуск ChatGPT Health, який інтегрує всі ваші медичні дані, але з «неочевидними» обмеженнями щодо застосування в діагностиці та лікуванні, можна дізнатися в офіційних публікаціях компанії та медіаресурсах.
