OpenAI представила інноваційну систему прихованого маркування тексту для відповідності нормам ЄС
OpenAI офіційно оголосила про свій підхід до виконання вимог Європейського Союзу щодо регулювання штучного інтелекту (EU AI Act). Цей закон вимагає від постачальників генеративних ШІ-систем відмітити тексти, створені штучним інтелектом, щоб їх можна було легко ідентифікувати. Розглянемо деталі цієї новинки.
Чому це важливо: контекст ситуації
Кілька місяців тому компанія Anthropic викликала значний резонанс, оголосивши про впровадження системи «водяних знаків» у створюваному тексті, що дозволить відповідати вимогам ЄС. Як це працює? Кожен так званий водяний знак формується через вибір слів, які семантично рівнозначні, але розставлені за прихованим патерном.
Anthropic створила спеціальний детектор для виявлення такого патерну, що дає змогу встановити, чи текст був створений їхньою системою Claude. Однак цей детектор не розпізнає джерело тексту поза межами їхньої системи, адже ключ водяного знака є унікальним і секретним.
Важливо зазначити, що Anthropic підкреслила – ця технологія не буде єдиною, і кілька провідних постачальників штучного інтелекту також планують впровадити подібні маркування для дотримання європейського законодавства.
Як працює система OpenAI для прихованого маркування тексту
OpenAI оприлюднила своє рішення, яке має схожу логіку, хоча впроваджуватиметься поступово та з обмеженим охопленням.
Головні особливості системи:
- Клієнти API по всьому світу матимуть можливість добровільно підключити водяний знак для деяких моделей уже з сьогоднішнього дня.
- В найближчі тижні невидимий водяний знак зʼявиться у текстах, створених ChatGPT та Codex для користувачів в ЄС.
- За замовчуванням, у API ця функція буде вимкнена, а для ChatGPT і Codex її активують лише для певної категорії користувачів у Європейському Союзі.
Для виявлення таких водяних знаків OpenAI відкрила прийом заявок від дослідників та експертних організацій, які зможуть користуватися детектором для тестування й вдосконалення технології.
Потрібно знати про точність і обмеження технології
OpenAI відверто заявляє, що поточна система виявлення має суттєві недоліки, зокрема:
- Вона може давати помилкові негативні результати – коли водяний знак насправді є, але детектор його не виявляє.
- Також можливі хибнопозитивні спрацьовування, коли водяний знак не накладався, але система його ідентифікує.
- Особливо складно працювати з короткими текстами або матеріалами, де вибір слів обмежений, наприклад, у математичних задачах.
Процедура маркування в OpenAI базується на технології під назвою «textGrain», що додає невидимий статистичний сигнал у вибір слів моделі. Більше технічних деталей можна знайти у звіті компанії, який поступово оновлюватиметься. Планується також опублікувати технологію у відкритому доступі, щоб інші могли її розвивати.
Вплив редагування на водяні знаки
Цікаво, що відредагований текст помітно знижує ймовірність виявлення маркування:
- Якщо замінити 10% слів синонімами, точність детектора падає з 92% до 66%.
- При заміні 25% слів водяний знак уже виявляється лише у 17% випадків.
Чи погіршується якість текстів із водяними знаками?
За результатами порівнянь, тексти з водяними знаками демонструють трохи кращі показники у деяких тестах, хоча в цілому істотних відмінностей у якості немає. Нижче наведено кілька прикладів оцінок:
| Тест | Текст без водяного знака | Текст із водяним знаком |
|---|---|---|
| Artificial Analysis Intelligence Index | 49.57 балів | 49.76 балів |
| AutomationBench | 34.09% | 34.86% |
| DeepSWE v1.1 | 72.80% | 71.68% |
| Terminal-Bench 4.0 | 53.90% | 56.06% |
| Terminal-Bench Science 0.1 | 56.90% | 60.00% |
| BrowseComp | 87.92% | 87.35% |
| HealthBench Professional | 64.27% | 64.60% |
| GPQA Diamond | 94.44% | 93.94% |
Що не робить водяний знак?
Варто памʼятати про кілька важливих моментів, які наголосила команда OpenAI:
- Водяний знак не оцінює, наскільки значною є людська участь у створенні тексту.
- Він не встановлює власність або відповідальність за зміст.
- Не ідентифікує користувача, який створив текст.
- Не перевіряє достовірність або коректність інформації у тексті.
Також відсутність водяного знака не є гарантією того, що текст дійсно написала людина.
Подальші плани OpenAI
Компанія планує переглядати і вдосконалювати свій підхід у міру розвитку технологій, стандартів і отримання нових даних. Особливу увагу приділяють тому, як водяні знаки зберігаються після редагування та перекладу, а також наскільки вони чітко відрізняють допомогу ШІ від повного авторства.
Детальніше про оголошення OpenAI можна прочитати на офіційному сайті компанії.
Як ви думаєте, чи допоможе ця технологія вирішити питання прозорості у світі штучного інтелекту? Пишіть свої думки у коментарях!
