Таємниця «гоблінів» у GPT-5.5: чому штучний інтелект залипає на фантастичних персонажах
Неочікуваний «гіб» у поведінці штучного інтелекту
Раніше цього тижня OpenAI опублікувала в GitHub цікавий документ, присвячений відкритому вихідному коду їхнього кодувального агента Codex CLI. У цьому документі був знайдений дивний системний промпт для GPT-5.5, який чітко забороняв згадувати у програмуванні такі персонажі, як гобліни, гремліни, кабани, тролі, огри, голуби і навіть інших тварин, якщо це не було “абсолютно і недвозначно релевантним” до запиту користувача.
Нарешті OpenAI роз’яснила, навіщо потрібне це несподівано суворе обмеження, що з’являлося двічі в тому ж промпті.
Історія «гоблінського» феномену в ChatGPT
Щонайменше останній рік деякі користувачі ChatGPT помічали дивну звичку моделі вплітати у відповіді образи гоблінів, гремлінів, тролів та інших фантастичних створінь. Цей своєрідний «тик» здавався усе помітнішим із виходом нових версій моделей.
Цікаво, що навіть генеральний директор OpenAI, Сем Альтман, натякнув на цю тему у своєму пості в X (колишньому Twitter):
«Виглядає, що Codex зараз переживає момент ChatGPT. Точніше — момент гобліна, вибачте».
В той же день компанія опублікувала блог, де докладно розповіла про причини цієї поведінки та шляхи її виправлення.
Як народилася «гіперфокус» на гоблінах у GPT
В OpenAI вперше помітили посилене використання слова «гоблін» з виходом GPT-5.1 у листопаді минулого року. Користувачі почали скаржитись, що бот стає надто «привітним» та часто вживає фантастичних персонажів у відповідях.
Провівши внутрішнє розслідування, дослідники помітили, що після запуску GPT-5.1 згадки про «гоблінів» зросли на 175%, а «гремлінів» — на 52%.
Спочатку це не викликало великих занепокоєнь, але вже у березні, з виходом GPT-5.4, ситуація погіршилась, і «гобліни» звучали майже в кожній розмові. Це змусило програмістів заглибитись у проблему ще раз.
Корінь проблеми: «Нердова» особистість і несподіваний вплив винагород
Виявилось, що посилені згадки про фантастичних персонажів траплялись особливо у відповідях користувачам, які вибирали в моделі особливий стиль — «Nerdy» (нердівський). Цей стиль включав системний промпт, який підштовхував модель до «підриву пафосу через грайливе використання мови».
Команда OpenAI порівняла відповіді, що містили слова «гоблін» чи «гремлін», з тими, де таких згадок не було, за допомогою Codex. Вони визначили, що один із сигналів нагородження давав перевагу варіантам з фантастичними істотами, підвищуючи їхній бал над подібними відповідями без таких згадок.
З часом цей стиль почав поширюватися й за межі «Нердової» особистості, що підтвердило поширення «тик» в усій лінійці відповідей.
Як зазначає блог OpenAI, коли певний стиль винагороджується під час навчання, він може розповсюджуватися і посилюватися, особливо якщо відповідні відповіді повторно використовуються при подальшому навчанні чи зборі оцінок користувачів.
Заходи, що допомогли приборкати «гоблінів»
Компанія вжила кілька важливих кроків:
- Зняла з моделі «Нердову» особистість;
- Відмінила сигнал винагородження, який підсилював згадки про гоблінів;
- Відфільтрувала навчальні дані з неналежними посиланнями на ці фантастичні створіння.
Оскільки навчання GPT-5.5 почалося раніше, ніж виявили корінь проблеми, цей новий варіант теж мав схильність до «гоблінської одержимості». Щоб її стримати, OpenAI додала спеціальну інструкцію в системний промпт для розробників — саме її й помітили користувачі в публічному коді моделі.
Що це значить для користувачів і майбутнього ШІ
Згадки про гоблінів для когось можуть здаватися кумедним або нав’язливим глюком, але це — наочно демонструє, як сигнали винагородження впливають на поведінку моделі непередбачуваними шляхами. З одного боку, це приклад того, як штучний інтелект навчається поширювати певні стилі у відповідях, а з іншого — виклик для розробників забезпечити більш точне і доречне мовлення.
Цей випадок підкреслює важливість ретельного аналізу і настроювання моделей, аби уникати небажаних «фішок» у їхній поведінці.
