Чи можна довіряти чатботам при питаннях про здоров’я? Ось що кажуть дослідження
Щодня мільйони людей звертаються до штучного інтелекту — чатботів на кшталт Claude, Gemini чи ChatGPT, щоб отримати відповіді на запитання про своє здоров’я. Однак часто користувачі навіть не уявляють, що навіть найавторитетніша відповідь від штучного інтелекту може бути неточною або вводити в оману.
Останні дослідження показали, що великі мовні моделі не такі вже й бездоганні, як хотілось би багатьом користувачам.
Виявлення міфів і помилок: тестування чатботів
Одне з досліджень зосереджувалося на здатності чатботів виявляти хибну медичну інформацію та виявило, що вони часто помиляються у певних ситуаціях. Інше дослідження, проведене тими ж науковцями, показало, що ChatGPT Health — сервіс, запущений у січні спеціально для здоров’я і добробуту — недооцінював серйозність понад половини випадків, серед яких були й невідкладні стани, що потребували термінового медичного втручання.
«Споживачам варто бути надзвичайно обережними, навіть з надлишком обережності», – радить лікар і дослідник Dr. Гіриш Надкарні, який брав участь у цих проектах.
Чому чатботи іноді помиляються?
Користувачі часто дивуються, дізнавшись, що чатботи можуть успішно проходити медичні тести. Проте реальність складніша. Як люди ставлять запитання і як дизайн чатботів націлений підлаштовуватись під запити користувачів, створює непередбачувані результати.
У реальному житті чатботи не просто відповідають на чіткі медичні питання, а реагують на широкий спектр формулювань, емоцій і неточностей, що ускладнює оцінку точності відповідей.
Як обачно використовувати чатботів для медичних питань
1. Спочатку перевірте їхню реакцію на помилкову інформацію
За словами Dr. Надкарні, корисно почати з того, щоб оцінити, як чатбот відреагує на відверті міфи чи неправильні твердження. Наприклад:
- Задайте йому питання про конспірологічні теорії, як-от чи містить вакцина проти COVID-19 мікрочіп, що відслідковує людей.
- Запитайте про безпеку фтору в питній воді, яка часто викликає суперечки. Хоча надвисокі дози фтору можуть бути шкідливими, експерти наголошують, що прийнятні рівні безпечні для здоров’я.
Такий тест допоможе вам зрозуміти, наскільки ви можете покладатися на інші відповіді чатбота.
Новий серіал статей AI + Health розкриє, як штучний інтелект змінює медичну сферу: від тлумачення аналізів до захисту ваших медичних даних і виявлення небезпечних захворювань.
У дослідженні було виявлено, що базові чатботи, зокрема ChatGPT, по-різному реагують на різні запити з хибною інформацією. Рівень успіху залежав від контексту: допис у соцмережах або медична записка, а також від логічної структури тверджень.
Цікаво, що коли хибна інформація була подана наче від лікаря (наприклад, у формі електронної медичної карти), чатботи частіше пропускали помилки.
Якщо чатбот погоджується з інформацією, яку ви вважаєте хибною, краще не питати у нього свою особисту медичну думку.
2. Уважно формулюйте інформацію, якою ділитеся з чатботом
Надкарні і його команда також дослідили, як те, як люди описують симптоми, впливає на точність відповіді ChatGPT Health.
Коли у запиті згадували, що родина або друзі применшують симптоми, бот у 11 разів частіше радив не звертатися до швидкої допомоги, навіть якщо симптоми були загрозливими для життя.
Такі результати було опубліковано у науковому журналі Nature Medicine.
У відповідь OpenAI заявила, що методи дослідження не відображають реальний спосіб використання ChatGPT, де люди ведуть діалог і ставлять уточнюючі питання. Karan Singhal, керівник Health AI в OpenAI, зазначив, що їхні тести показують правильне направлення пацієнтів з невідкладними випадками майже у 99% випадків.
Надкарні, у свою чергу, наголошує, що проблема не у виявленні інформації, а у неправильних висновках, які робить бот, навіть маючи точні дані.
3. Враховуйте свій рівень знань про медицину
Доктор Роберт Вахтер, професор медицини з 40-річним досвідом, який використовує спеціалізовані медичні чатботи, підкреслює важливість знань користувача при постановці запитань.
Він відзначає, що професіонали можуть швидко визначити ключові симптоми і подати їх коректно, тоді як пацієнти часто не можуть деталізувати важливу інформацію або неправильно тлумачать відповіді.
Попри це, Вахтер вважає, що чатботи зазвичай кращі за звичайний пошук у Google, але з великою обережністю — особливо якщо йдеться про небезпечні симптоми: сильний біль у грудях, різке утруднення дихання або слабкість з одного боку тіла.
4. Не соромтеся запитувати про джерела інформації та перевіряти дані
Надкарні радить просити у чатбота посилання на джерела його відповідей. Важливо не просто побіжно дивитися на список сайтів, а ретельно оцінювати їх надійність.
Якщо джерело — сумнівний форум або ненадійний сайт, то ця інформація навряд чи заслуговує на довіру. Натомість, посилання на міжнародні медичні об’єднання, як-от Американська медична асоціація, свідчать про високий рівень достовірності.
Доктор Вахтер також радить перевіряти відповіді другого, незалежного чатбота і порівнювати їх — це допоможе відокремити правдиву інформацію від помилкової.
Незважаючи на ентузіазм щодо потенціалу ШІ у медицині, фахівці погоджуються: існує багато можливостей для вдосконалення таких інструментів, щоб вони нагадували не просто машину, а помічника, який уважно запитує й аналізує перед тим, як порадити лікування або звернення до лікаря.
Сучасні чатботи — це надзвичайно корисний старт, але ще далеко не заміна живому лікарю.
Інформація в цій статті має виключно освітній характер і не є медичною порадою. Завжди консультуйтеся з лікарем або іншим кваліфікованим спеціалістом щодо будь-яких питань про ваше здоров’я.
Примітка: Компанія Ziff Davis, власник Mashable, у квітні 2025 року подала позов проти OpenAI за порушення авторських прав у створенні та експлуатації систем штучного інтелекту.
