Як GPT-4 створив тести особистості, які передбачають добробут, дохід і освіту
Люди часто звертаються до астрології за розвагою, а тести особистості — за підказками в роботі, терапії чи стосунках. Проте розробка справді інформативного тесту може зайняти роки. Неймовірно, але GPT-4, модель, що стоїть за ChatGPT, змогла створити тест особистості, заснований на астрології, який з точністю, порівнянною із класичними психологічними опитуваннями, прогнозує добробут, рівень доходу та освіту користувачів.
Від психіатрії до астрології: несподіваний шлях дослідження
Дослідники Ротем Монса, Авів Зохар і Шахар Арзі з Єврейського університету в Єрусалимі обрали два тексти, які описують особистість дуже докладно. Перший — DSM-5, авторитетний посібник для діагностики психічних розладів, що ґрунтується на багаторічних клінічних дослідженнях. Другий — популярна книга The Only Astrology Book You’ll Ever Need, яка покладається на культурні уявлення про знаки зодіаку.
Додатково в якості зразка для GPT-4 було надано питання з Багатофакторного інвентарю особистості Big Five — перевіреного інструменту з 44 пунктів, що оцінює п’ять основних рис людської природи.
В результаті штучний інтелект створив два набори тверджень: 50 — стосовно психічних розладів і 60 — про знаки зодіаку. Усі питання від учасників вимагали оцінити, наскільки вони згодні з твердженням, за шкалою від 1 (повністю не згоден) до 5 (повністю згоден), причому речення не мали перевищувати 10 слів.
Випробування тестів на реальних людях
Дослідницька група залучила 600 дорослих з США та Великої Британії через платформу Prolific, але після виключення тих, хто неуважно заповнював анкети, у роботі взяли участь 588 людей.
Учасники заповнили класичний тест Big Five і два GPT-4 згенерованих опитування у випадковому порядку. Ніхто з них не знав про те, що питання створені ШІ. Окрім цього, збиралися дані про життя: рівень задоволеності, тривожність, депресію, манеру керування автомобілем, дохід, освіту, зайнятість, сімейний статус, політичні погляди та інші звички.
Що показали результати?
- Питання про астрологію навіть дещо перевищили за точністю тест Big Five у передбаченні рівня освіти.
- Але жодна окрема категорія зодіаку не домінувала: люди не завжди погоджувалися з твердженнями, пов’язаними з певним елементом (вогонь, земля, повітря, вода).
- Аналіз відповідей показав, що розподіл груп питання більше відповідав рисам Big Five — ввічливості, сумлінності, екстраверсії та відкритості — а старовинне астрологічне сортування втрачалося.
Отже, хоча астрологічні описи культурно відточені і багато співпадають із повсякденною мовою про риси характеру, структура цих тестів не так корисна для наукових вимірювань. Для діагностики психічного здоров’я кращі результати показали опитування, створені за психіатричним посібником та психологічною моделлю Big Five.
GPT-4 прогнозує середні відповіді та зв’язки між питаннями
До опитування GPT-4 спробував передбачити, які середні оцінки люди дадуть кожному твердженню. Помилка була середньою на рівні 0,27 бала за шкалою від 1 до 5 для астрологічних питань і 0,40 для психіатричних.
Також ШІ оцінював ступінь зв’язку між парами питань: середня похибка склала 0,17 (в межах від -1 до +1). Це свідчить, що модель навчилася розуміти, як зазвичай люди відповідають на теми особистості, лише читаючи тексти.
Така здатність може дуже допомогти у створенні опитувальників: дослідники зможуть попередньо виключати слабкі або нерелевантні питання, економлячи час і ресурси.
Від книжки до кухонного посібника: що ще може згенерувати GPT-4?
Вчені також розгортали експеримент із інструкцією до духової шафи Bosch і фрагментом про Мордор із «Володаря перснів». Незважаючи на хаотичність тем, GPT-4 усе одно формував речення, схожі на тестові завдання:
- “Has well-arranged kitchen items” — про духовку.
- “Rarely sees things positively” — про Мордор.
Хоча ці твердження виявилися безглуздими для тестування, їхня поява свідчить: модель прагне перелаштувати будь-який текст у формат опитування. Найкорисніші питання виходять лише з текстів про людську поведінку.
Про що варто пам’ятати і що на черзі
Дослідники наголошують: жоден тест, навіть ідеально сформований ШІ, не можна використовувати для постановки діагнозів чи відбору на роботу без ретельної перевірки в реальних умовах.
Один експеримент — для англомовної аудиторії, одна модель — не дають гарантій того, що принцип спрацює у інших мовах чи культурних контекстах. Роботи у цьому напрямку тривають.
Врахуйте, що ці тести передбачають тенденції у групах людей, а не визначають характеристики конкретної особистості.
«Середній показник групи — це не факт про кожного окремого учасника», — підкреслюють учені, публікуючи усі питання й відповіді у публічному доступі.
Нові горизонти у вивченні особистості
Наступним кроком лабораторії є спроба читати особистість безпосередньо з природної мови людей, вбудованої в модель, без потреби у традиційних опитувальниках.
Повний звіт про дослідження можна знайти у журналі iScience.
