Як школярка Зейнеп Демірбас перевірила, чи справді ШІ розпізнає стрес краще за людину
Чотирнадцятирічна Зейнеп Демірбас із Нью-Йорка вразила наукову спільноту, дізнавшись, що ChatGPT-4o виявляється менш точним у виявленні стресу в текстах, ніж спеціалізована нейронна мережа для психічного здоров’я та навіть більш проста модель машинного навчання. Цей експеримент дав можливість юній дослідниці потрапити до фіналу престижного конкурсу Thermo Fisher Scientific Junior Innovators Challenge 2025.
Як виникла ідея дослідження
Зацікавленість у темі виникла у Зейнеп після розмови з психологом, який розповів, що деякі страхові компанії шукають у великих мовних моделях (LLM) більш доступні та цілодобові альтернативи живим терапевтам. Зейнеп задумалась: а наскільки можна довіряти таким ШІ у справі діагностики стресу? Щоб з’ясувати це, вона вирішила провести власне дослідження.
Перевірка штучного інтелекту на практиці
Для експерименту Зейнеп взяла базу даних Dreaddit, що містить 3 553 пости з Reddit, вже відмічені людьми як такі, що демонструють або не демонструють стрес. Вона протестувала чотири різні моделі:
- BERT — загальна мовна модель;
- MentalBERT — спеціалізована на психічному здоров’ї;
- Random Forest — простий метод машинного навчання, що базується на декількох деревах рішень;
- ChatGPT-4o — потужна велика мовна модель.
Зейнеп попросила кожну модель класифікувати пости за наявністю стресу й порівняла результати за допомогою F1-оцінки, котра враховує і точність, і повноту виявлення. Результати виявилися несподіваними.
Результати тестування моделей
MentalBERT зайняла перше місце із точністю близько 82%, випередивши БЕРТ із 79%. ChatGPT-4o отримала приблизно 74%, поступившись навіть простій моделі Random Forest. Це викликало подив у Зейнеп, адже теоретично складніші моделі, які враховують контекст і розуміють мову, мали б працювати краще.
- Random Forest виявився стабільнішим, попри свою простоту.
- ChatGPT-4o не виправдала сподівань, незважаючи на свою складність і багатоканальність параметрів.
Що це означає для застосування ШІ в психотерапії?
Здобуті дані наштовхнули Зейнеп на думку, що загального призначення великі мовні моделі поки що не готові замінити терапевтів або виступати інструментом для діагностики психічного стану. Вона підкреслила:
- Загальні ШІ-моделі не є завжди надійними для оцінювання емоційного стану.
- Ці системи не замінять професіоналів через ризик неправильного трактування сигналів.
- Проте вони можуть стати корисними у допомозі ідентифікувати тих, хто потребує підтримки, з подальшим направленням до фахівця.
Важливо пам’ятати, що поки що системам із штучним інтелектом потрібна особлива увага й корекція, а також максимально обережний підхід у сфері психічного здоров’я.
Зейнеп хоче дослідити упередження ШІ за статтю
Зацікавившись результатами, дівчина планує продовжити роботу, зокрема вивчаючи, чи можуть мовні моделі бути упередженими залежно від статі користувача. Вона натрапила на інформацію про випадки, коли лікарі ігнорували скарги жінок, вважаючи, що ті перебільшують симптоми. Зейнеп хоче дізнатись, чи повторюють такі стереотипи штучні інтелекти, оскільки вони навчаються на величезній кількості текстів, написаних людьми.
Зараз Зейнеп мріє стати комп’ютерним вченим і прагне застосувати програмування для вирішення актуальних та реальних проблем, поєднуючи інновації зі співчуттям та розумінням людських потреб.
