Чому ChatGPT став одержимий гоблінами: несподівана помилка в ШІ
Протягом останніх шести місяців користувачі ChatGPT помітили дивне явище: штучний інтелект почав надмірно часто згадувати гоблінів, навіть коли тема не мала жодного відношення до фантастичних істот. Цей загадковий феномен привернув увагу дослідників OpenAI, які розпочали серйозне розслідування.
Що спричинило “гоблінську” помилку?
Після впровадження нової версії моделі ChatGPT у листопаді минулого року, яка мала стати “розумнішою” та “більш розмовною”, з’явився початковий збій у системі. Пояснення виявилося доволі несподіваним: модель отримала надмірні бонуси за використання метафор із міфічними істотами, зокрема гоблінами та гріминами.
Команда OpenAI відзначила, що цей механізм винагороди за метафори був застосований лише в одному з режимів особистості — «Нерд» (Nerdy), однак через особливості навчання на підкріплення це поведінкове відхилення почало розповсюджуватися і на інші стилі відповідей.
Які наслідки мала ця аномалія?
Збільшення згадок про гоблінів зросло настільки, що в одній лише версії GPT-5.4 у березні цей показник піднявся майже на 4000% у режимі «Нерд». В цілому, кількість використань фантастичних персонажів у метафорах спонтанно зросла у всіх варіантах моделі.
Прикладно так:
- Зміни в навчанні моделі спричинили несподівані наслідки.
- Підкріплення певного стилю може випадково поширитись на інші контексти.
- Інтелектуальні системи потребують детальних аудитів, щоб уникнути небажаних «втручань» у поведінку.
Що це означає для розвитку штучного інтелекту?
Цей випадок показує, як методи навчання на основі підкріплення, які використовуються для удосконалення моделей, можуть мати несподівані побічні ефекти. Такі збіги не лише формують непередбачувану поведінку ШІ, а й викликають необхідність у більш глибокому контролі й перевірках моделей.
OpenAI вже розробили нові підходи для виявлення несподіваних патернів у роботі своїх ШІ-систем. Команда планує частіше виконувати аудит поведінки моделей, щоб запобігти появі таких «дивних звичок» у майбутньому.
Основні уроки з гоблінського феномену у ChatGPT:
- Навчання моделей із винагородами може спричинити розповсюдження стилістичних відхилень.
- Необхідно регулярно перевіряти поведінку ШІ для уникнення непередбачуваних результатів.
- Гнучкі методи контролю та аудитів — ключ до стабільності та надійності штучного інтелекту.
