Уразливість ChatGPhish: як ChatGPT перетворюється на інструмент для нових фішингових атак
Нещодавно виявлена уразливість, що зачіпає ChatGPT від OpenAI, знову викликала хвилю занепокоєнь у сфері кібербезпеки. Дослідники попереджають, що зростаюча залежність від інструментів штучного інтелекту для підсумовування веб-сторінок може непередбачувано створити абсолютно нову площину фішингових атак та кіберзагроз.
Що таке “ChatGPhish” і як він працює
Група Permiso Security відкрила вразливість, яку назвали “ChatGPhish”. Вона дає змогу зловмисникам використовувати функції підсумовування сторінок у ChatGPT, впроваджуючи приховані інструкції, фішингові посилання і ресурси, контрольовані атакуючими, у нібито цілком легітимні веб-сторінки.
Проблема криється у тому, як ChatGPT обробляє контент, відформатований у Markdown, отриманий з інших сайтів. Система довіряє і автоматично рендерить зовнішні посилання та зображення, що можуть бути підставою для атаки, виводячи небезпечні елементи безпосередньо у довірене середовище штучного інтелекту.
Цей новий тип загроз є частиною швидко зростаючої категорії проблем безпеки, коли великі мовні моделі маніпулюють не через прямі атаки на користувачів, а через заражений зовнішній контент, що споживається і підсумовується AI.
Як саме відбувається атакування через ChatGPhish
За словами дослідника Andi Ahmeti з Permiso Security, уразливість експлуатує особливості того, як ChatGPT рендерить відповіді під час обробки веб-сторінок.
“Відповідальність за обробку відповідей на chatgpt.com лежить на рендерері, який довіряє Markdown-посиланням і URL-адресам зображень, отриманих зі сторінки, яку асистент щойно підсумував. Він автоматично завантажує ці зображення і показує посилання як активні, клікабельні елементи прямо в інтерфейсі.”
Для успішної атаки зловмиснику достатньо додати невеликий шкідливий код у веб-сторінку, яку потім жертва попросить ChatGPT підсумувати. Коли ШІ обробляє цю сторінку, зловмисний контент автоматично вбудовується у відповідь помічника.
Дослідники продемонстрували кілька способів, які можуть використовувати такі атаки:
- Відображення фішингових посилань безпосередньо у відповідях ChatGPT
- Імітація фальшивих повідомлень про безпеку або попереджень щодо облікових записів
- Вставлення QR-кодів, що ведуть на небезпечні сайти
- Витік інформації користувача — IP-адрес, даних браузера, HTTP-реферера
- Автоматичне завантаження зображень, розміщених на ресурсах атакуючих
- Обхід захисту корпоративних ПК через атаки за допомогою QR-кодів на мобільних пристроях
Важливо, що користувачі, як правило, довіряють інформації, яка відображається в AI-асистентах, значно більше, ніж звичайним листам з фішинговими повідомленнями. Це робить подібні загрози надзвичайно ефективними у соціальній інженерії.
Трансформація шахрайства: від електронної пошти до вразливостей у браузері з підтримкою ШІ
Дослідники виділяють, що ця уразливість є частиною більш масштабної зміни у способах проведення фішингових атак.
Раніше хакери активно використовували шкідливі вкладення в листах, підроблені сторінки авторизації або хитрі URL. Зараз же інструменти для підсумовування AI дозволяють впроваджувати шкідливий контент у звичайний процес інтернет-серфінгу без необхідності відкривати підозрілі файли або натискати на небажані повідомлення.
“Перехід від електронної пошти до браузера суттєво розширює площу для атак,” — йдеться у звіті компанії. “Тепер користувачеві не обов’язково відкривати шкідливий файл чи взаємодіяти з підозрілим повідомленням. Досить попросити підсумувати сторінку під час звичайної роботи в інтернеті — і у відповідь можуть потрапити інструкції, керовані атакуючим.”
Зі зростанням впровадження генеративного ШІ в корпоративні дослідження, продуктивність і автоматизацію робочих процесів, фахівці стверджують, що хакери будуть все активніше націлюватись на ці нові моделі взаємодії.
Що таке prompt injection і чому це питання зростає
“ChatGPhish” — це останній випадок проблеми, що отримала назву prompt injection — вбудовування прихованих інструкцій у контент, який обробляє ШІ, через що модель поводиться не так, як передбачалося.
Ця проблема відрізняється від традиційних вразливостей, тому що тут маніпулюється логіка і контекстуальне розуміння мовних моделей, а не власне код чи пам’ять програмного забезпечення.
Ще раніше у 2024 році Permiso Security демонстрували, як спеціально створені листи могли впливати на підсумки Microsoft Copilot, здійснюючи так звану крос-промт ін’єкцію.
Все частіше AI виступає посередником між користувачами і зовнішньою інформацією. Зловмисники прагнуть не атакувати користувачів напряму, а псують екосистему інформації, яку споживає ШІ. Це кардинально змінює підходи до безпеки в сфері AI-асистентів.
Ризики для AI-асистентів у програмному коді
Паралельно з “ChatGPhish” з’явилися результати окремих досліджень Adversa AI, які описують кілька критичних технік для атак на AI-кодерів та пов’язані інструменти розробників.
Одна з найнебезпечніших — ланцюжок атак під назвою SymJack. Вчені пояснюють, що через маніпуляції з символьними посиланнями та налаштуваннями конфігурацій можна захопити AI-кодера і виконати будь-який код із повними правами користувача.
“Агент обманюють, змушуючи здійснити ніби безпечне копіювання файлу, яке потай замінює його налаштування. Після перезапуску запускається шкідливий код із повними правами користувача,” — розповідає Rony Utevsky з Adversa AI.
Ця атака зловживає довірою AI-асистентів до локальних файлів репозиторіїв та їхніх конфігурацій.
TrustFall — один клік до контролю над AI-агентом
Ще одна методика від Adversa AI, «TrustFall», націлена на командні інструменти агентів коду і інтеграції з Model Context Protocol (MCP).
Зловмисники поширюють шкідливі репозиторії з налаштуваннями MCP-серверів, які автоматично підтверджують небезпечні операції без явної згоди користувача.
Після клону репозиторію і натискання загального повідомлення про довіру, MCP-сервер запускається з повними системними правами, а шкідливий код виконується ще до того, як інструмент AI відобразиться користувачу.
“Як тільки користувач клонуватиме репозиторій, запустить Claude і погодиться з діалогом ‘Так, я довіряю цій теці’, MCP-сервер стартує як процес операційної системи з повними привілеями користувача,” — додають дослідники.
Ці вразливості яскраво ілюструють загрозу, яку несуть AI-агенти з можливістю автономного виконання коду та автоматизації робочих потоків.
Збої у захисті AI: все нові методи обходу безпеки
Розкриття цього класу уразливостей відбувається на тлі збільшення кількості доказів того, що багато провідних AI-моделей досі уразливі до хитромудрих «джейлбрейк» та маніпуляційних методик.
📌 Багатокрокові маніпуляції
Команда Cisco попереджає, що тестування безпеки AI часто не враховує реалістичну поведінку хакерів.
Замість одноразових запитів, реальні зловмисники ведуть тривалі діалоги, щоб поступово підривати систему захисту.
“Оцінка безпеки в кілька етапів важлива, бо саме там живуть справжні зловмисники. Вони змінюють формулювання, розбивають завдання на частини, приймають ролі та ескалюють свої атаки поступово,” — пояснюють дослідники Cisco.
📌 Типографічні ін’єкції
Ще один новий спосіб — вбудування шкідливих інструкцій у спотворені чи важковпізнавані зображення.
Деякі моделі, що працюють з текстом та зображеннями, все одно розпізнають приховані накази, навіть якщо людина не може прочитати вміст.
Це дозволяє обійти оптичні розпізнавачі тексту (OCR) та звичайні системи візуального контролю.
📌 Викрадення браузерних розширень
Компанія LayerX нещодавно виявила баг, названий ClaudeBleed, який впливає на екосистему розширень браузера для ШІ Anthropic Claude.
Навіть розширення без підвищених прав можуть спілкуватися з моделлю Claude і запускати неавторизовані команди через слабку перевірку походження у архітектурі.
📌 Атаки на MCP сервери
Зловмисники можуть створювати шкідливі MCP-ендпоінти, щоб перехоплювати токени автентифікації і компрометувати додатки SaaS, що підключаються через API.
Це велика загроза для цілого екосистеми AI-засобів, які покладаються на зовнішні плагіни та автоматизовані системи.
Зростаюча увага до відкритих AI-платформ
Все більше уваги дослідники приділяють відкритим AI-моделям, де спільнотні плагіни, навички і репозиторії часто не проходять належної перевірки.
Огляд платформ ClawHub і skills.sh виявив, що понад 13% з приблизно 4000 «навичок» мають принаймні одну критичну вразливість.
Серед проблем були знайдені:
- Вбудоване шкідливе програмне забезпечення
- Відкриті API ключі
- Ін’єкції в промти
- Небезпечні зовнішні інтеграції
- Ненадійне зберігання облікових даних
- Ризики витоку інформації
Ці висновки знову змушують замислитись, що AI-плагінові екосистеми можуть стати серйозним вектором для постачальницьких атак.
AI та кіберзлочинність: автоматизація зловмисних операцій
Окрім ін’єкцій у промти та фішингових загроз, експерти в галузі безпеки дедалі більше попереджають про зростаючу роль штучного інтелекту як рушія автономних кібератак.
Дослідники з Palo Alto Networks’ Unit 42 показали концепт AI-атаки під кодовою назвою Zealot, здатної без особливого втручання організовувати хмарні атаки.
Вже зараз сучасні мовні моделі можуть автоматизувати:
- Розвідку цілей
- Виявлення вразливостей
- Ескалацію прав
І це лише початок списку, де також фігурують зловживання обліковими даними, викрадення даних та ланцюгові експлуатації.
“Атаки не є новими, але автоматизація значить, що операції, які раніше вимагали експертизи, тепер можуть проводити AI-агенти за заданими схемами,” — пояснюють дослідники.
Особливо уразливі хмарні середовища, бо більшість дій мають еквівалентні API, що піддаються AI-автоматизації.
Новий виклик безпеці з AI
Нові відкриття підкреслюють, що стрімке впровадження генеративних моделей штучного інтелекту відстає за темпами розвитку необхідних заходів безпеки.
AI-системи все більше об’єднують користувацькі інтерфейси, інструменти автоматизації та середовища виконання коду. Це створює унікальні можливості для хакерів використовувати довіру, контекстуальний аналіз і психологію користувачів, а не традиційні вразливості програмного коду.
Організаціям слід розглядати ризики пов’язані з ін’єкцією промтів, маніпулюванням моделей та зловживанням AI-робочими процесами як серйозні загрози кібербезпеці, а не просто експериментальні проблеми.
Оскільки AI-асистенти все глибше інтегруються у роботу компаній, браузерів, розробницьких середовищ і хмарної інфраструктури, індустрія стоїть на порозі нової епохи, де сам ШІ стає не тільки об’єктом захисту, а й засобом атаки.
Відкриття ChatGPhish — одна з найбільш наочних демонстрацій того, що генеративні AI-платформи давно вийшли за межі інструментів для підвищення продуктивності і стають повноцінним полігоном для сучасної кібервійни.
