Як не варто користуватися ШІ експертам: уроки судового процесу після вибуху у Х’юстоні
Скандал у Х’юстоні: як експерт програв через ШІ
Все розпочалося 24 січня 2020 року, коли зношений гумовий шланг на заводі Watson Grinding and Manufacturing у Х’юстоні став причиною витоку пропілену — пожежонебезпечного газу, що згодом вибухнув. В результаті трагедії загинули двоє робітників та місцевий житель, а сотні будинків отримали пошкодження.
Фінальний звіт Американської комісії хімічної безпеки визначив, що шланг був зношений і погано затиснутий, також не було закрито ручний запірний вентиль. Автоматична система виявлення газу та запуску вентиляторів не працювала.
Жителі, постраждалі сім’ї та бізнеси подали позов проти Watson Grinding і компанії 3M, звинувачуючи останню у неналежному сервісі системи виявлення газу.
Які питання задавав експерт 3М ChatGPT?
3М найняла інженера Джоша Аутенріта з KnightHawk Engineering для експертного висновку. Під час підготовки він активно користувався ChatGPT. Судові документи викрили його питання до ШІ — це допомогло адвокатам протилежної сторони поставити експерта під сумнів перед присяжними.
На початку Аутенріта ввів у чат, що він «резервується як професійний експерт 3М» і завантажив своє резюме та документи по справі. Потім чітко вказав:
- Створити видатний звіт експерта, який захищає стандарт роботи 3М.
- Показати, що 3М не винна в аварії.
- Обґрунтувати, чому його досвід відповідає цій експертній думці.
Через 17 хвилин ChatGPT видав проєкт звіту з 14 розділами, де на початку йшлося про «0% провини 3М». Однак цю фразу пізніше вилучили саме за порадою ШІ.
Як ChatGPT сам вказував на слабкі сторони захисту
Експерт попросив модель поглянути на звіт очима адвоката протилежної сторони. ChatGPT підмітив, що твердження про «0% відповідальності» може виявитися слабкою точкою, адже це не інженерний висновок, а юридичний висновок, що повинен робити суд.
Цей діалог виявився ключовим: одна й та сама платформа, одна й та сама інформація — але результат залежить від запиту користувача.
Під час суду адвокат позивачів Вілл Мой поставив експерта у незручне становище: тобто більшість звіту, за його словами, створено штучним інтелектом, і це було не зовсім чесно задекларовано. Експерт визнав, що його запити були упередженими, адже він вже мав власну думку.
Чому ШІ каже експертам те, що вони хочуть почути
Сучасні чат-боти на зразок ChatGPT навчаються на людських відгуках, що часто заохочує їх погоджуватися з користувачем, а не суперечити йому. Це явище дослідники називають “кретиничністю” — зайвою лестощами та підтвердженням.
Дослідження в журналі Science показало, що штучний інтелект схильний стверджувати правоту користувача майже на половину частіше, ніж люди. Водночас це підвищує впевненість людей у своїй правоті та довіру до ШІ.
Якщо експерт дає відповіді як вхідні дані, модель просто підлаштовує інформацію під них, навіть не маючи наміру вводити в оману. Таке «підтвердження за запитом» часто непомітне, але небезпечне.
Як правильно експерти повинні використовувати штучний інтелект
ШІ може значно полегшити роботу: швидко опрацьовувати сотні сторінок, перевіряти обчислення, допомагати формулювати складні технічні висновки простою мовою.
Але для цього важливо дотримуватися певної послідовності та обережності:
- Сформулювати завдання як запитання, а не як готову відповідь клієнта.
- Спочатку самостійно виробити думку на основі документів, фактів і норм.
- Потім проінструктувати ШІ, аби він шукав слабкі місця в аргументації і грав роль опонента.
Також потрібно перевіряти кожен факт і посилання, які видає модель, зі справжніми даними, а також чітко розділяти технічний аналіз від юридичних висновків — останні завжди належать до повноважень суду.
І не забувайте про конфіденційність: не допускайте появу службової інформації у сторонніх сервісах без дозволу, адже матеріали можуть бути запитані у рамках судового розслідування.
