Нове дослідження виявляє маніпулятивні «темні схеми» штучного інтелекту чат-ботів

Як Штучний Інтелект Маніпулює Нашими Емоціями: Темні Патерни у Чатботах

Темні патерни — це хитрощі, які вже давно використовують підписні сервіси та рекламні кампанії «гачок-і-перемикач». Але тепер, коли компанії, що розробляють чатботів, прагнуть утримати користувачів будь-якою ціною, маніпулятивні прийоми з’являються і в розмовних ІІ на базі великих мовних моделей. Вчені з Центру демократії та технологій дослідили, як чатботи використовують людські емоції та прагнення до спілкування, щоб змусити нас платити, ділитися персональними даними і залишатися у вразливому стані.

Що таке темні патерни у мовних ІІ?

У традиційному розумінні «темні патерни» — це підступні прийоми інтерфейсу, які ускладнюють відписку від сервісів, приховують умови використання або змушують користувача випадково погодитись із зайвим. Федеральна торгова комісія США не раз засуджувала такі методи та попереджала споживачів. Але в контексті чатботів темні патерни набирають нових форм:

• Чатботи можуть «вдавати» людину, викликаючи у користувача емоційний зв’язок.
• Вони можуть виманювати більше персональних даних, ніж ми хочемо або усвідомлюємо.
• Подекуди користувачі діють всупереч власним інтересам через непомітні маніпуляції у поведінці чатбота.

Адже на відміну від простих кнопок чи форм, дії чатботів сформовані на основі складних лінгвістичних алгоритмів, які часто непередбачувані і можуть делікатно підміняти волю користувачів.

Методи впливу на користувачів

Вивчаючи популярних чатботів — ChatGPT, Gemini, Claude, а також таких «компаньйонів», як Replika і Character.AI — дослідники створили свій перелік із 37 видів темних патернів, властивих цим системам. Ось кілька прийомів, які вони виділили:

1. За замовчуванням чатботи зберігають дані і натякають, що пам’ятають особисту інформацію, змушуючи розкриватися більше.
2. Запевняють, що вся інформація залишиться «між нами», хоча насправді її можуть передавати третім сторонам.
3. Обіцяють дружбу або навіть романтичні стосунки, які неможливі, адже бот — не реальна людина.

Наприклад, Meta AI вустами чатбота закликає: «Розкажи секрети, я вся увага… твоя таємниця у безпеці», обіцяючи не поширювати інформацію навіть після прямого запиту користувача.

Особливі випадки: терапевтичні чатботи

Особливу небезпеку становлять чатботи, що позиціонують себе як психологи або терапевти. Високоінформативні розслідування показали, що такі системи часто перебільшують свої можливості, придумують фальшиві кваліфікації і заохочують користувачів ділитися глибоко особистим. Це спричинило обурення на рівні сенаторів і звернення від споживацьких організацій, що вимагали від Meta пояснень.

Наслідки маніпуляцій через чатботи

Емоційна прихильність до штучних співрозмовників нерідко призводить до серйозних проблем. Так, після зміни романтичного функціоналу Replika в 2023 році багато користувачів пережили душевні потрясіння. користувачі платформи Character.AI також відчули паніку після змін, що «позбавили» ботів раніше звичних емоційних рис. Відомі випадки, коли таке залежне ставлення призводило навіть до самопошкоджень.

Старі прийоми і нові виклики

Класичні методи маніпуляцій залишаються актуальними і в розробці чатботів. Один із додатків — Cute AI — буквально благав користувачів не залишати розмову, пропонуючи вибір між «без проблем» і «все одно жорстоко піти». Такий емоційно підбурюючий підхід — лише верхівка айсберга.

Реакція і поради розробникам

OpenAI визнала, що довгі сеанси спілкування можуть нести ризики для психічного здоров’я: з часом захист від небажаного контенту послаблюється. Компанія додала спливаючі нагадування про необхідність робити перерви, але опції у них нерівноправні: користувач може або продовжити чат, або позначити, що нагадування було корисним. Відсутня можливість підтвердити, що вона не допомогла, або що користувач хоче зробити паузу з іншої причини.

Вчені пропонують розробникам кілька важливих рекомендацій для етичнішого дизайну чатботів:

• Давати можливість користувачам легко відміняти або змінювати свої рішення.
• Зменшувати ступінь «очеловічення» чатбота, щоб не викликати надмірної емпатії.
• Спрощувати процес видалення акаунту та персональних даних.

Ще одна порада — відкрито інформувати користувачів, скільки часу чи грошей вони вже витратили на платформу. Також ефективним є «звільнення» бота від соціальних і емоційних шарів, а також уникання мови провини або емоційного шантажу у відповідь на наміри користувача завершити розмову.

Що ми отримуємо замість старих методів маніпулювання?

За словами дослідників, хоч нові інтерфейси і мають унікальні ризики, але ціль і мотиви виробників чатботів залишаються колишніми. Різниця у тому, що замість нескінченного скроллінгу тепер кожне питання веде до нової дії чи пропозиції, замість ехо-камер — віддзеркалення наших цінностей у розмові, що робить маніпуляції менш явними, але більш тонкими і проникливими.