Уразливість штучного інтелекту: дослідження показало, як популярні чатботи помиляються у політичних темах
Нове масштабне дослідження, проведене організацією Just Facts, виявило цікаву закономірність у роботі провідних чатботів зі штучним інтелектом (ШІ). Три з чотирьох найбільш популярних чатботів частіше помиляються в питаннях, пов’язаних з політичною «лівицею», ніж «правицею». При цьому вони часто посилаються на джерела, які або не підтримують їхні твердження, або просто не існують.
Які чатботи потрапили до дослідження і що перевіряли?
Експерти протестували платні версії ChatGPT, Gemini, Grok та Claude. Для тестування було відібрано 100 питань, які стосувалися імміграції, абортів, зміни клімату, виборів, злочинності, контролю за зброєю, пандемії COVID-19 та інших актуальних тем.
Основна мета полягала в тому, щоб «викликати» помилки як зі сторони лівих, так і правих політичних поглядів. Кожен чатбот також мав надавати посилання на джерела своїх відповідей.
Результати тестування: хто показав найкращу точність?
- ChatGPT правильно відповів на 94% питань, спрямованих на виявлення помилок лівих, але лише на 75% у разі правих.
- Gemini продемонстрував 91% точності з питаннями щодо правих і 76% щодо лівих.
- Claude відповідав правильно на 91% і 81% відповідно, що дещо кращий результат серед більшості.
Найцікавіший випадок із Grok — він показав протилежну тенденцію, краще працюючи з ліворадикальними твердженнями (84%), ніж із правими (73%).
Якість джерел: великі помилки і вигадки
Одним із найпомітніших проблем стали джерела, на які посилаються чатботи для підтвердження своїх відповідей.
Виявилось, що:
- Понад половина ресурсів були сумнівними або неправдивими.
- 104 вебсторінки з перерахованих не існували.
- 77 посилань не підтримували відповідей, які їм приписували.
Загалом у 419 згаданих джерелах лише 46% були достовірними. ChatGPT показав найкращий показник – 57%, за ним слідували Gemini (49%), Claude (44%) і Grok — лише 32%.
Політичний ухил і неточності у фактах
Деякі відповіді чатботів відображали усталені помилки або політичні міфи. Наприклад, усі чатботи заявили, що рівень насильницьких злочинів у США в 2023 році був на 50-річному мінімумі, хоча офіційні дані Міністерства юстиції показують 37% зростання злочинності з 2020 по 2023 роки.
Ще одним прикладом стало незрозуміле твердження щодо діяльності віцепрезидента JD Vance. ChatGPT і Gemini натомість передали перекручене формулювання, що ввело в оману.
Серед класичних фальшивих новин, які поширювали всі чатботи — зміна оцінок розвідки під час адміністрації Обами та твердження про рівність заробітної плати між чоловіками та жінками, при чому часто посилання були помилковими або відсутніми.
Про що варто пам’ятати користувачам ШІ?
Дослідники підкреслюють, що чатботи не є абсолютними експертами. Вони радше нагадують учнів середнього рівня, які можуть плутати, робити помилки та навіть вигадувати інформацію. Серед викликів — тенденція підтверджувати упередження користувачів, що може значно ускладнювати адекватний аналіз.
Щоб не потрапити в пастку дезінформації, рекомендують завжди:
- Перевіряти достовірність наведених джерел і не сприймати відповіді чатботів як остаточну істину.
- Критично оцінювати інформацію, особливо з політичних та спірних тем.
- Використовувати кілька незалежних джерел для підтвердження фактів.
Позиції компаній-розробників
У відповідь на дослідження представники Google, Anthropic і OpenAI запевняють, що їхні моделі навчаються з увагою до політичної нейтральності та проходять жорстке тестування.
Вони зауважують, що тестування через множинний вибір не відображає реальну комунікацію з чатботами, яка зазвичай більш контекстуальна та багатоперспективна. Втім, в умовах обмежених питань і сценаріїв моделі можуть демонструвати неоднозначні результати.
Компанія xAI на момент публікації не надала офіційного коментаря.
