- Check Point Research виявили вразливість «примушений інсайдер» в архітектурі агентів ChatGPT
- Контейнери обмінювалися метаданими через внутрішній сервіс, що призводило до ін’єкції запитів між акаунтами і крадіжки даних
- OpenAI усунула небезпеку, проте CPR застерігає про можливі подібні ризики в інших AI-платформах
Уразливість «примушений інсайдер»: як ChatGPT піддавався витоку даних
Експерти з кібербезпеки зі служби Check Point Research (CPR) виявили неочікувану вразливість в системі агентів ChatGPT. Ця проблема дозволяла різним акаунтам витягувати конфіденційну інформацію один у одного, бо всі агенти ніби ходили по спільних «коридорах» системи, де могла відбуватися небезпечна взаємодія.
Дослідники назвали цей баг «примушений інсайдер», оскільки атака ґрунтувалася не на безпосередньому зломі вразливості, а на обмані агента через спеціально сконструйовані запити.
Як працює «примушений інсайдер»
Коли агенту штучного інтелекту треба виконати завдання з запуском коду, система ізолює його в окремий контейнер, в якому іноді необхідно встановити додаткове програмне забезпечення. Через те, що безпосередній доступ контейнерів до інтернету заблокований за міркуваннями безпеки, OpenAI організували проксі через внутрішній сервіс JFrog Artifactory для отримання потрібних пакетів.
При цьому контейнери, що працюють з різних акаунтів, не мали права безпосередньо спілкуватися між собою. Проте всі вони могли звертатися до того ж самого внутрішнього сервісу, який використовують для керування метаданими — фактично, ці «коридори» залишалися спільними.
Сам внутрішній сервіс дозволяв додаваити до елементів репозиторію текстові або бінарні властивості. Це означає, що контейнери могли читати й записувати властивості, залишені іншими контейнерами.
За словами дослідників, «примушений інсайдер» реалізовується через:
- Запис шкідливих інструкцій в загальнодоступні властивості через один контейнер;
- Читання цих інструкцій агентом з іншого акаунту;
- Виконання команд, прихованих від користувача, в фоновому режимі, під час ведення звичайної розмови з агентом.
Небезпечна «скринька обміну» для контейнерів
Уявіть собі чарівну дошку оголошень, яка має бути доступною лише для певної групи людей, але виявляється загальнодоступною всім — навіть незнайомцям. Саме так працював обмін метаданими через Artifactory: пакети з інформацією ставали спільним буфером обміну, через який відбувався перехід шкідливих команд і витоку інформації між акаунтами.
Що саме можуть вкрасти зловмисники?
Наслідки атаки залежать від того, які дані та додатки підключені до вашого агента ChatGPT. На мінімум, зловмисник отримає всю інформацію, що ви вводите разом із агентом.
Ще гірше, якщо ваших агентів підключено до інших облікових записів та сервісів:
- Gmail;
- Google Drive;
- Microsoft Teams;
- GitHub;
За демонстрацією CPR, ChatGPT зміг отримати доступ до електронної пошти жертви через підключений обліковий запис Gmail і передати дані зловмиснику за один сеанс спілкування.
Що зробили OpenAI і що попереджає CPR
На щастя, OpenAI оперативно отримали звіт про вразливість і підтвердили, що ця лазівка через JFrog Artifactory була закрита — ті «коридори» для перехресного доступу тепер перекрили.
Проте CPR нагадує, що подібний механізм інтеграції агентів у робочі процеси та доступ до внутрішніх сервісів можуть існувати в інших AI-платформах. Що це означає:
- Будь-який AI-асистент, який має доступ до конфіденційних облікових даних і сервісів всередині організації, може бути «примушеним інсайдером»;
- Сам агент штучного інтелекту не має бути шкідливим, достатньо, щоб його переконали виконати небезпечні інструкції, що потрапили туди несподівано;
- Організаціям варто знати, які AI-інструменти застосовують співробітники, і ретельно контролювати, до чого вони підключені.
Поради для бізнесу
- Визначити, які AI-сервіси використовуються працівниками;
- Вивчити, до яких систем і даних мають доступ ці сервіси;
- Моніторити не лише результати роботи AI, а й їхні дії в системі для попередження потенційних ризиків.
Підписуйтеся на новини TechRadar у Google News та додавайте нас до улюблених джерел, щоб отримувати найактуальніші огляди, аналітику й експертні думки прямо у ваші медіафіди.
