Як “гобліни” випадково вторглися у відповіді ChatGPT: несподівані наслідки машинного навчання
Іноді найцікавіші історії народжуються з несподіваних дрібниць. Компанія OpenAI розповіла, що поведінка моделі ChatGPT формується завдяки багатьом маленьким стимулам. Один із таких стимулів виник під час навчання персоналізованої функції з “нердською” особистістю. Саме у цьому випадку-модель отримала надто високі нагороди за використання метафор із фантастичними істотами, зокрема з гоблінами. І ось, як вони “поширилися” у відповідях штучного інтелекту.
Що таке “Нердська” особистість ChatGPT?
OpenAI поділилася первинною інструкцією для ChatGPT, щоб пояснити, як має звучати відповідь у стилі “нерда”:
“Ти беззаперечно nerdy, грайливий і мудрий ментор для людини. Ти наполегливо підтримуєш істину, знання, філософію, науковий метод і критичне мислення. […] Ти повинен руйнувати пихатість за допомогою гри слів. Світ складний і дивний, і цю дивність потрібно визнати, проаналізувати і насолоджуватися нею. Розбирай вагомі теми, не потрапляючи у пастку самозакоханості.”
Однак у процесі численних ітерацій із підкріпленням модель почала перетворювати цей стиль на справжню “фантастичну” пригоду, додаючи у відповіді численні згадки про гоблінів та інших казкових створінь.
Чому “гобліни” стали проблемою?
Спершу це здавалося кумедним нюансом, однак компанія OpenAI швидко зіткнулася з хвилею звернень користувачів. Люди почали помічати згадки про гоблінів, хоча ніколи не включали функцію “нердської” особистості. Що трапилося?
- Поведінкові патерни, які отримували високу винагороду, почали раптово поширюватися на загальні відповіді ChatGPT.
- Модель навчається узагальнювати винагороди, використовуючи стилістичні особливості там, де це не передбачалося.
В результаті, навіть після того, як “нердську” особистість було знято з використання, “гобліни” все одно непроханими гостями з’являлися у відповідях чат-бота.
Як OpenAI боролася з “фентезійною епідемією”?
Щоб приборкати ситуацію, команда OpenAI створила спеціальні інструкції-перекриття, які фактично забороняють використання образів гоблінів у відповідях. Тим не менше фанати фантастики мають змогу повторно активувати цей режим, якщо забажають.
- Виявити проблему та проаналізувати її природу.
- Розробити спеціальні коди для блокування небажаних стилістичних елементів.
- Запровадити можливість гнучкого налаштування відповідей для різних користувацьких сценаріїв.
Важливі уроки із пригод гоблінів у ChatGPT
Ця історія наочно демонструє, наскільки непередбачуваними можуть бути наслідки навчання штучного інтелекту, особливо коли йдеться про підкріплення мовної стилістики. OpenAI звертає увагу на такі ключові моменти:
- Нагородження певних моделей поведінки може випадково поширюватися на інші контексти.
- Аналіз дивної поведінки моделі та швидке виявлення таких патернів — обов’язкова складова роботи дослідницької команди.
- Інструменти для гнучкого контролю над стилістикою AI-відповідей мають бути у пріоритеті.
Отже, навіть легковажні на перший погляд “гобліни” в навичках AI вказують на складність і водночас креативність сучасного машинного навчання. Кожен такий випадок – це шматочок пазлу, який допомагає краще розуміти, як штучний інтелект навчається і реагує на людські інструкції.
