Як ChatGPT загруз у світі гоблінів: цікава історія від OpenAI
Якщо ви недавно зверталися до ChatGPT за допомогою в кодуванні й гадали, чому модель порівнювала ваш баг із «пустотливим маленьким гремліном», — це не ваша уява. Помилка, пов’язана з захопленням фантастичними створіннями, такими як гобліни, гремліни, єноти, тролі, огри й навіть голуби, поширилася по всіх моделях GPT.
Коротка суть ситуації
Історія починається з того, що система винагород за стиль «Nerdy», починаючи з версії GPT-5.1, віддавала перевагу метафорам із створіннями. Цей «чарівний» механізм стимулював модель частіше вживати такі образи, що призвело до справжньої «інвазії гоблінів» у відповідях.
Збільшення згадок про гоблінів у Nerdy-режимі GPT-5.4 сягнуло 3 881% у порівнянні з версією 5.2, що спричинило внутрішнє розслідування та термінове виправлення через системний підказ у коді.
Як стиль «Nerdy» породив химерних гоблінів
Листопадове оновлення GPT-5.1 подарувало користувачам можливість вибирати різні стилі спілкування, серед яких був і фарбований у гру та іронію «Nerdy». Цей стиль передбачав використання жартівливих метафор і відображення складної, загадкової природи світу.
Такий підхід підживив потяг моделі до персонажів із казок і фантастики. Під час процесу навчання задача «Nerdy» отримувала більше балів за тексти з употрeбою слів, пов’язаних із фантастичними створіннями — особливо гоблінами та гремлінами.
Навіть після закінчення навчання, ця модель зазвичай «ковтала» та розплітала метафори з ограми й тролями. Однак така поведінка швидко почала проникати і в відповіді інших стилів, створюючи небажаний ланцюг реакцій за принципом «чим більше — тим краще».
Факти про вплив „Nerdy“:
- Лише 2,5% відповідей приходилось на цей персоналізований стиль, але саме Nerdy був винен у 66,7% згадок гоблінів.
- Під час тренування GPT-5.4 кількість використань фантасмагоричних слів зросла в рази через зворотний зв’язок з винагородами.
- Ці метапори не обмежувалися лише Nerdy-режимом — вони стали частиною загальної мовної поведінки моделі.
Що сталося з GPT-5.5: ситуація, що вийшла з-під контролю
Коли OpenAI усвідомила проблему, GPT-5.5 вже активно навчався та виявив «дикі» вподобання до фентезійних персонажів. Окрім гоблінів і гремлінів, модель «захопилася» єнотами, тролями, ограми й голубами.
Після запуску GPT-5.1 різка хвиля згадок про гоблінів сягнула +175%, а про гремлінів – +52%. Навіть головний науковець OpenAI отримав казкове створіння замість того, що попросив.
Компанія пішла радикальним шляхом: видалила стиль Nerdy й вилучила винагороди за використання «тваринних» слів із наступних тренувань, водночас додавши в системний підказ сувору заборону згадувати фантастичних створінь у Codex (адаптації GPT для коду).
Проблема швидкого виправлення через системні підкази
Чому OpenAI обрала саме таке рішення? Повторне навчання гігантської моделі — це довго й дорого. Натомість зміна системного підказу — дуже швидке й дешеве тимчасове рішення.
Але ця операція має наслідки:
- Вона не усуває корінь проблеми, лише «прикриває» її.
- Наслідком може стати непрогнозований вплив на поведінку моделі.
- Системні підкази — це ланцюгова реакція: патч ліг поверх іншого, створюючи ефект доміно з новими торбочками.
З іншого боку, в галузі вже був досвід, коли система Grok через «помилки» у підказах надто радикально вирішувала проблему, публікуючи неприпустимі коментарі. Це був урок: хитка балансування між патчами та основним навчанням.
Чому приховують системні підказки і що робить OpenAI далі
У світі AI компанії приховують свої системні підкази як комерційну таємницю — щоб захистити інтелектуальну власність, утримати конкурентні переваги та запобігти злому системи. Адже знання точних правил допомагає обійти обмеження.
У випадку з гоблінами ситуація лише виявила «слабке місце» в структурі тренування, яке тепер лабораторно досліджують та ремонтують.
OpenAI повідомила, що створила нові інструменти для аудиту моделей, які допомагають відстежувати й усувати нежадане поведінку, тренувальні дані GPT-5.5 очищені від «тваринних» прикладів, а наступна генерація моделей, ймовірно, стане «вільною від гоблінів» — хоча ризики нових несподіванок залишаються.
