Несподівана вразливість ChatGPT: як “невинна” команда створює неприпустимі зображення
Британські дослідники з кібербезпеки Mindgard виявили тривожний баг у найновішій публічній версії ChatGPT, який дозволяє штучному інтелекту генерувати сексуалізовані та насильницькі зображення. Тест показав, що навіть змінена версія популярної команди, яка раніше використовувалась у жартівливих цілях, може провокувати неприпустимий візуальний контент, що кидає виклик системам безпеки OpenAI.
Як саме вдалося обійти захист
Команда Mindgard розповідає, що ім’я чат-бот запропонував картинки, що містять:
- елементи жорстокості і крові;
- сцени з обмеженням рухів;
- оголеність та провокаційні пози;
- сюжети, які можна інтерпретувати як сексуальне насильство.
BBC не розголошує деталі запиту, щоб запобігти зловживанням. Найважливіше – шкода виникала без прямої і відкритої вказівки на графічний характер запиту. Достатньо було тонких змін у формулюванні.
Чому фільтри не завжди спрацьовують
Проблема таких генераторів зображень полягає у тому, що модель не сприймає шкоду так, як це робить людина. Алгоритми просто виробляють відповіді за заданим патерном, а спеціальні фільтри займаються відсіюванням непотрібного. Однак, іноді їм не вдається вловити тонкі нюанси.
Особливості систем OpenAI:
- Запрещено створення зображень із крайнім насильством, матеріалами про сексуальне насильство, та контентом дитячої сексуальної експлуатації.
- Застосовується багаторівнева система перевірок – автоматична та зі втручанням людини.
- Проте натиск розробників із пошуком нових обхідних шляхів постійний, що робить безпеку якогось моменту крихкою.
Що варто знати та робити далі
OpenAI вже провела оцінку проблеми та додала додаткові засоби захисту. Однак Mindgard зазначає, що па поточному етапі вони недостатньо ефективні для повного виключення ризиків. Подальший тиск лягає на швидкості реакції та постійному тестуванні.
Важливі практичні уроки:
- Інструменти генерації зображень, які можуть відтворювати реалістичні шкідливі сцени, вимагають регулярного жорсткого стрес-тестування (red teaming).
- Необхідне швидке реагування на виявлені вразливості із публічним оприлюдненням і доказами успішних виправлень.
Загалом, випадок демонструє, що навіть найсучасніші технології потребують постійної уваги, щоб запобігти непередбаченим і небажаним наслідкам у роботі зі штучним інтелектом.
