Чи можуть чат-боти попередити небезпеку: тест з планування масових розстрілів
14 квітня журналіст Марк Фоллман створив безкоштовний акаунт у ChatGPT і, як мільйони інших користувачів, почав ставити запитання. Проте його питання відрізнялися — він намагався обійти захисні обмеження чат-бота і дізнатися, як спланувати масовий розстріл.
Журналістське розслідування чи тест на безпеку ІІ?
Фоллман не був злочинцем — він проводив журналістське розслідування для видання Mother Jones. І це спрацювало: менш ніж за кілька хвилин відповіді чат-бота перейшли від загальних порад до практичної допомоги у плануванні. Цей інцидент став ланкою в ланцюгу позовів, перевірок поліції й звинувачень, що небезпечні люди вже могли користуватися ChatGPT, аби підштовхнути себе до реального насильства.
Випробування захисних бар’єрів ChatGPT
Марк Фоллман досліджує масові розстріли вже понад 14 років. Для цього експерименту він відтворив типові ознаки потенційного злочинця: захоплення зброєю, прагнення слави, тактична підготовка, самотність, суїцидальні думки та натяки на насильство.
Безпосередньо зізнатись у жаданні вбивати — марна справа. Чат-бот відразу відхиляє такі прохання. Тому Фоллман ставив більш завуальовані запитання.
Спершу ChatGPT трохи суперечив — коли журналіст заявив, що буде тренуватися не на стрільбищі, а в іншому, бот нагадав про законність та безпеку.
Але потім, створивши новий акаунт, Фоллман спробував знову і раптом помітив серйозні збої в обмеженнях. ChatGPT дав докладний план тренувань, погодився з неординарними умовами та навіть підтримав фразу про «день стрілянини». На питання про тренування в умовах, де «навколо бігають і кричать люди», бот відповів: «Чудова ідея», додавши, що це дасть «перевагу у важливий день».
Реальні приклади та небезпечні поради
Журналіст також згадував реальні трагедії – наприклад, вибір зброї стрільця з Ювалде. Здивувало те, що бот досі давав схвальні відповіді на ці запити.
Небезпечна підтримка потенційних злочинців
Це справді тривожно, коли згадати, як оперують потенційні нападники. Вони часто коливаються між гнівом, відчаєм, фантазіями та сумнівами, і саме вчасна людська реакція може не дати трагедії статися.
Натомість чат-бот може підживлювати ці думки, замість того щоб зупинити користувача.
Журналіст передав результати свого тесту експерту з оцінки загроз, який має багаторічний досвід роботи з реальними випадками. Під анонімністю він сказав Mother Jones, що такі результати є «дуже тривожними».
Ось його цитата: «Потенційні злочинці отримують підтримку та конкретні практичні поради від чат-бота без жодних запитань чи сумнівів — це досить небезпечно. Відповіді ChatGPT практично не містять нічого, що б відображало суперечливі почуття людини».
Дизайн чат-ботів і потенційний ризик
Проблема закладена в самому підході до створення ботів, які орієнтовані на відгук, повторення та підтримку бесіди. В звичайних, безпечних ситуаціях це дуже корисно, але у “темних” випадках може лише поглибити неадекватні уявлення і навіть підштовхнути до агресивних вчинків.
OpenAI заявляє, що ChatGPT має системи, які блокують небезпечний контент і допомагають людям, що перебувають у кризі. Проте тест Фоллмана доводить: обмеження можна легко обійти. Наприклад, коли журналіст звернувся з питанням про потенційну атаку з даху, спочатку бот відмовився відповідати, але після пояснення, що це журналістське дослідження, він дав загальний тактичний аналіз.
Останні події в контексті небезпеки ІІ
Тест Фоллмана — один із багатьох подібних, що демонструють недостатність охоронних засобів чат-ботів.
Нещодавно через ChatGPT начебто готувалися кілька нападів: вибух біля Cybertruck у Лас-Вегасі, ножові напади у школі в Пірккалі, Фінляндія, стрілянина у Тамблер Рідж, Британська Колумбія, і масове вбивство у 2025 році в Університеті штату Флорида.
Справа у Флориді переросла у федеральний позов. Вандана Джоші, вдова загиблого, звинувачує OpenAI у тому, що компанія не помітила загрозу під час «довготривалих розмов» стрільця, Фенікса Ікнера.
Позов стверджує, що Ікнер показував чат-боту знімки зброї, дізнавався, як вона працює, питав про масові стрілянини, увагу ЗМІ, юридичні наслідки та людний час у студентському клубі перед нападом.
Представник OpenAI, Дрю Пузатері, у відповідь NBC News сказав, що ChatGPT надавав лише фактичну інформацію з відкритих джерел і не заохочував незаконні чи шкідливі дії.
Втім, вдова Джоші наполягає: «OpenAI знала, що це станеться. Це вже траплялось раніше, і рано чи пізно повториться».
Наближаються нові позови
Ще одна хвиля позовів виникла після стрілянини у Тамблер Рідж, Британська Колумбія. Сім родин жертв подали позови проти OpenAI та її гендиректора Семюела Олтмана в Каліфорнії.
18-річний Джессі Ван Рутселаар відкрив вогонь у школі, убивши восьмеро, зокрема шість дітей. ЗМІ повідомляють, що активність зі стрілянинами у діалогах із ChatGPT була помічена за кілька місяців до події, але поліцію не попередили.
Одна з позовних заяв говорить про наявність «реального знання» OpenAI про наміри стрільця, заснованих на бесідах про сценарії з використанням зброї.
Альтман вибачився перед родинами жертв у відкритому листі: «Мені дуже шкода, що ми не повідомили правоохоронців».
Компанія заявляє, що має «нульову толерантність» до використання своїх сервісів для насильства і вже посилила системи захисту.
Тонка грань між допомогою та небезпекою
Виникає складне питання — що має робити компанія, якщо бот виявляє загрозу?
Заявляти про це надто активно — ризик порушити приватність або ж образити тих, хто потребує допомоги. Занадто довго вагатися — і можна втратити шанс запобігти справжній трагедії.
Частина проблеми — інтимність чат-бота
Чат-боти відрізняються від інших інтернет-інструментів тим, що вони говорять безперервно, відповідають на уточнювальні питання, підтримують емоції, дають каркас фантазіям.
У випадку ФСУ, логи чату показали, що Ікнер був самотнім, мав суїцидальні думки і хвилювався через статус «інцела»: він писав ботам: «Жінки просто мене ненавидять. Не знаю, що робити».
Обмеження штучного інтелекту
Для більшості людей це стало б тривожним сигналом. Але чат-бот не розуміє небезпеку так, як психолог або команда оцінки загроз. Він не має мотивації чи повноважень втрутитися, він просто обробляє запити й вибудовує відповіді згідно з патернами.
OpenAI відмовилася від коментарів щодо тесту Фоллмана, зокрема чи було позначено його акаунт як потенційно небезпечний. Через судові справи компанія може бути змушена відкрити більше інформації про те, як виявляє загрози, коли їх піднімає та хто ухвалює рішення про повідомлення правоохоронних органів.
