Новий інструмент боротьби з насильницьким екстремізмом у чатах штучного інтелекту
У Новій Зеландії розробляють унікальний інструмент, що зможе направляти користувачів із проявами насильницьких екстремістських тенденцій в ChatGPT та інших платформах штучного інтелекту до підтримки з дер Radикалізації за участю як людей, так і чат-ботів.
Чому це важливо?
Ця ініціатива виникла на тлі зростання кількості позовів проти компаній, що створюють ШІ, через нездатність запобігти або навіть сприяти насильству. Зіткнувшись із такими викликами, розробники шукають нові способи підвищити безпеку користувачів.
Партнерство та технології
У лютому уряд Канади погрожував втрутитися в діяльність OpenAI через інцидент, коли користувач, заборонений на платформі після вчинення трагедії, залишився під радаром правоохоронних органів. Саме в таких випадках на допомогу приходить стартап ThroughLine.
ThroughLine — це компанія, яку недавно найняли такі гіганти, як OpenAI, Anthropic і Google. Її основна мета — направляти користувачів, що виявляють ризик самопошкодження, домашнього насильства або розладів харчової поведінки, до кризових служб підтримки. Проте вже зараз розглядають можливість розширення сфери дії, щоб працювати і з проблемами насильницького екстремізму.
Засновник ThroughLine Елліот Тейлор, який раніше працював із молоддю, поділився, що компанія веде переговори з The Christchurch Call — ініціативою відомою боротьбою з онлайн-ненавистю після теракту в Крайстчерчі в 2019 році. Антиекстремістська група надасть рекомендації, поки ThroughLine створюватиме чат-бот для інтервенції.
Як працюватиме інструмент протидії екстремізму?
Пропонується відкрити новий рівень підтримки за допомогою гібридної моделі:
- Чат-бот, обладнаний для реагування на ознаки екстремізму серед користувачів;
- Перенаправлення до реальних служб психологічної та соціальної підтримки.
Різниця полягає в тому, що цей інструмент не буде будуватися на загальних навчальних даних великих мовних моделей, а створюватиметься спільно з експертами у відповідній галузі, щоб гарантувати ефективність і точність.
Тестування та майбутні плани
Поки розробка триває без встановленого дедлайну. Гейлен Лемфір-Енглунд, радник із боротьби з тероризмом, який представляє The Christchurch Call, висловив надію, що цей інструмент допоможе модераторам ігрових форумів, а також батькам і опікунам, які хочуть захистити дітей від екстремістських ідей в інтернеті.
Професор штучного інтелекту Генрі Фрейзер із Квінслендського університету техніки зазначив, що це слушна ідея, адже проблема полягає не лише в змісті, а й у динаміці взаємовідносин, яку потрібно враховувати в процесі протидії.
Які виклики стоять перед розробниками?
Ключовим питанням стане якість подальшої підтримки та структура, куди направлятимуть користувачів. Елліот Тейлор додав, що розглядаються функції, які б дозволяли при необхідності інформувати правоохоронні органи про потенційно небезпечних користувачів, при цьому мінімізуючи ризик загострення ситуації.
Він підкреслив, що люди в стресі часто діляться в інтернеті тим, що не насмілиться сказати особисто, тому різке припинення доступу до сервісів може залишити їх без необхідної підтримки. Це є особливо важливим на тлі тенденції переходу прихильників екстремістських ідей на більш слабо регульовані платформи, як-от Telegram, про що свідчить дослідження Stern Center при Нью-Йоркському університеті.
Чому це має значення?
- Підтримка вчасного звернення до допомоги може врятувати життя і запобігти насильству;
- Правильна взаємодія з користувачем здатна знизити ризик радикалізації;
- Розробка таких технологій формує новий стандарт відповідальності у сфері штучного інтелекту.
Ідея нового інструменту дає надію, що у майбутньому платформи штучного інтелекту зможуть більш надійно виконувати роль не тільки інформаторів, а й захисників користувачів, усуваючи небезпечні прояви й одночасно пропонуючи реальну допомогу.
