Небезпека у ChatGPT: Як зловмисники використовують приховані інструкції для обману
Нещодавно дослідник у сфері безпеки повідомив про вразливість в ChatGPT, яка дозволяє зловмисникам впроваджувати приховані інструкції у веб-сторінки. Це означає, що якщо користувач попросить чат-бота підсумувати сторінку з такими прихованими командами, їхній вміст може бути використаний для атаки.
Що саме загрожує користувачам?
Ось кілька прикладів, як хакери можуть зловживати цією проблемою:
- Вставлення шкідливих посилань (фішингових URL), які виглядають як надійні;
- Показ фальшивих повідомлень безпеки у стилі самого ChatGPT, щоб ввести в оману;
- Відображення QR-кодів, які при скануванні ведуть на ресурси зловмисників.
Таким чином, жертва заходить на зловмисну сторінку через свій браузер, а далі переходить до мобільного пристрою, де захист значно слабший.
Як працює ця атака?
Усе починається з механізму так званого prompt injection – втручання у запит до моделі ШІ. Зловмисник додає у вміст сторінки команди для чат-бота, які повинен виконати при підсумовуванні.
Одна з демонстрацій полягала у тому, що у звичайному описі відкритого програмного забезпечення на GitHub додаються інструкції з повідомленням про нібито новий пристрій, доданий до облікового запису, і посиланням, що веде на фішинговий сайт.
Користувач, побачивши підсумок у чаті, бачить це як офіційне повідомлення від ChatGPT, а не підозрює, що це пастка.
Особливості впровадження шкідливих посилань
Фішингові URL мають вигляд справжніх деталей безпеки, що імітують стиль OpenAI або ChatGPT. При кліку користувач потрапляє на контрольований атакуючим сайт, де можуть викрасти його особисті дані.
Ще небезпечніше – посеред чат-бота з’являється QR-код. Оскільки клієнт ChatGPT автоматично завантажує і відображає зображення з Markdown, зловмисник може додати у відповідь цей код.
При скануванні QR-коду жертва потрапляє на сайт, який раніше не показувався як текстовий URL, що робить атаку менш помітною для систем захисту.
Перевірка на різних платформах і рекомендації
Дослідник також спробував втілити ту саму атаку на інших веб-ресурсах, у тому числі на маркетинговому сайті Косова. Отриманий результат був ідентичним: звичайний підсумок і доповнення фейковим попередженням із клікабельним посиланням.
Рішення проблеми одне – зробити такі системи більш захищеними за допомогою:
- Жорсткішого ізолювання моделі у пісочниці;
- Обробки усіх відповідей у окремих безпечних середовищах;
- Строгого фільтрування вмісту Markdown, HTML, вбудованих елементів і переглядів.
Необхідно пам’ятати, що контент, згенерований штучним інтелектом, завжди слід розглядати як неперевірений і потенційно уразливий.
Що відомо про реакцію розробників?
Автор знахідки, Андi Ахметі, звернувся до OpenAI ще в квітні через програму Bugcrowd, проте отримав доволі формальну відповідь про те, що проблему не вдається відтворити. Пізніше його доповнений звіт було позначено як дублікативний.
Попри численні звернення, підтвердження виправлення вразливості поки немає. Сам дослідник радить бути надзвичайно обережними при використанні функції “підсумувати сторінку” у чат-ботах.
