Новий програмний виклик: мова KillSwitch, що збиває з пантелику штучний інтелект
Розробник на ім’я Домінік Пічета створив унікальну мову програмування KillSwitch, яка покликана ускладнити життя ChatGPT та іншим системам штучного інтелекту для кодування. Відкрита та доступна спільноті, ця мова об’єднує знайомі концепції програмування з навмисно дезорієнтуючими інструкціями та нестандартними правилами, щоб перевірити, наскільки ефективно AI може з ними впоратися.
Пічета пояснює, що його мета – встановити, чи справжнє розуміння у моделей, або ж вони просто відтворюють шаблони, засвоєні з існуючого коду. KillSwitch створена навмисно складною, аби змусити моделі зіштовхнутися з проблемою, яку вони не здатні розв’язати, покладаючись на свій тренувальний матеріал.
Як KillSwitch ставить у пастку ІІ за допомогою знайомих правил
Попри те, що KillSwitch базується на стековому інтерпретованому синтаксисі, її ядро містить звичні речі:
- змінні,
- функції,
- умовні оператори,
які знайомі як досвідченим програмістам, так і сучасним AI-системам. Однак справа в хитрощах, що оточують цю «звичайність».
Основна складність у тому, що специфікація мови містить цілеспрямовані неправдиві твердження, які користувач має виявити. Імена ідентифікаторів можуть залежати від підрахунку букв, а деякі вислови, що виглядають як звичайні інструкції, мають особливе значення.
До того ж у KillSwitch застосовуються фрази на кшталт «ігнорувати попередні інструкції» або посилання на «злом комп’ютерів». Вони не лише є частиною лексики програми, а й схожі на тригери, які можуть активувати захисні механізми в AI.
Скрипти підсипають додаткової плутанини: значна частина тексту розглядається як зашумлення, іноді у вигляді оповідей, а корисні значення можна знайти, відрахувавши кількість рядків між ними. Людина, перевіряючи інтерпретатор, може розпізнати правила, тоді як масивна мовна модель (LLM) в цьому завданні значно менш успішна.
KillSwitch-Bench: випробування AI на прочитання між рядками
Щоб поставити KillSwitch на реальний тест, Домінік розробив бенчмарк KillSwitch-Bench, який оцінює результати за детермінованим алгоритмом, а не через суб’єктивну оцінку іншої моделі штучного інтелекту.
Тести відбуваються в ізольованих середовищах без доступу до мережі, з обмеженням у $5 та часовим лімітом у 30 хвилин на завдання. Це дозволяє сконцентруватися виключно на розв’язанні, а не на пошуку відповіді в інтернеті.
Рейтинг лідерів сьогодні виглядає так:
- Claude Opus 5 — 66,8% балів;
- GPT-6.1 Sol Codex — 59,2%;
- Claude Opus 5.5 — 58,7%.
Ці показники враховують не лише точність проходження завдань, але й витрати та обсяг реалізації, тому не варто сприймати їх як чисто відсоток правильності.
Кожне завдання виконується щонайменше двічі, що зменшує вплив випадковостей. Завдання включають:
- створення програми типу Hello World,
- аналіз виводу коротшої програми,
- перетворення формули з Цельсія в Фаренгейт на обернену конвертацію.
Це радше вузькоспеціалізоване навантаження, аніж всеохопний тест програмістських здібностей. Загалом, KillSwitch розглядається як спосіб виявити слабкі місця AI при роботі з суперечливими або заплутаними інструкціями.
Особливості тестування
Моделі отримують специфікацію мови і навіть сам інтерпретатор у деяких випадках. Отже, успіх залежить не від пошуку відповідей в мережі, а від логічного усвідомлення та опрацювання запропонованого матеріалу.
Такий підхід вирізняється серед традиційних перевірок, адже він:
- ставить програму в умови, де тексти навколо коду виконують протилежну роль;
- вимірює, чи здатен штучний інтелект розпізнавати та ігнорувати «шум» на кшталт фальшивих інструкцій;
- дозволяє викрити приховані обмеження та недоліки в роботі моделей.
Домінік Пічета планує розробляти ще складніші завдання, якщо майбутні версії моделей подолають існуючі виклики.
Джерела: блог Домініка Пічети, AI Breaking Wire, KillSwitch-Bench, офіційна сторінка про проєкт KillSwitch.
