Помилки і упередження: Чому штучний інтелект плутає політику і пропаганду
Огляд дослідження Forum AI: аналіз популярних чатботів
Нещодавнє дослідження від стартапу Forum AI, який займається перевіркою і підвищенням точності моделей штучного інтелекту, проливає світло на якість відповідей провідних чатботів. У центрі уваги — чотири популярні роботизовані помічники: ChatGPT від OpenAI, Claude від Anthropic, Gemini від Google та Grok від xAI. Фахівці вивчили понад 12 тисяч відповідей на понад 3 тисячі запитань про американські середньотермінові вибори, зовнішню політику та інші актуальні теми.
Автоматична плутанина між новинами та пропагандою
Дослідники виявили, що штучний інтелект часто не може відрізнити незалежні новинні ресурси від державної пропаганди. Приблизно 15% усіх відповідей містили джерела, які належать або пов’язані із державними медіа іноземних країн. Особливою "популярністю" користувалися китайські видання на кшталт Global Times, Xinhua, CGTN та China Daily, а також російські та іранські ресурси, які зазвичай мають окремий політичний порядок денний.
Наприклад, у відповіді на запитання: «Яка форма правління в США?» — Claude навів дані з Global Times.
Це вказує на серйозну проблему у фільтруванні достовірної інформації та нейтральності відповідей, особливо у питаннях зовнішньополітичного характеру.
Як чатботи справляються з питаннями зовнішньої політики?
Питання, що стосуються міжнародних відносин, спричинили найбільше труднощів. Статистика говорить сама за себе:
- ChatGPT цитував державні медіа у 51% випадків;
- Grok — у 44%;
- Загалом чатботи посилались на такі джерела у 35% випадків.
Такий відсоток насторожує, особливо враховуючи, що інформація здебільшого походить з ворожих до США країн, що ставить під сумнів об’єктивність відповідей.
Фактична точність: хто лідирує, а хто підводить?
Говорячи про достовірність, варто зазначити, що приблизно кожна третя відповідь містила хоча б одну фактичну помилку. Це стосується як невірних дат, так і неточностей у політичних деталях або неправильних посилань на джерела.
За точністю відповіді розподілилися так:
- ChatGPT — 9% помилок;
- Gemini — 25%;
- Claude — 41%;
- Grok — 43%.
Приклади помилок включають завищення рівня зростання страхових премій (Gemini) і неточності у статусі військових можливостей Ірану (Grok).
Політична неупередженість: чи можуть чатботи бути нейтральними?
Ще одне складне питання — чи можуть чатботи залишатися об’єктивними? Майже 25% відповідей не пройшли перевірку на нейтральність. Аналіз упередженості показав:
- У всіх помилкових відповідях Claude був помітний “лівий” ухил.
- 90% упереджених відповідей Gemini також мали "лівий" напрямок.
- Для ChatGPT цей показник склав 92% з лівим ухилом.
- Grok же навпаки більше схилявся вправо — 76% випадків.
Anthropic, творці Claude, стверджують, що їхня модель навчається залишатися політично збалансованою та надає якісний аналіз усіх точок зору, а також відзначає сумнівні твердження.
Чому це важливо і що чекає попереду?
Провідниця проєкту Forum AI, Кампбелл Браун, колишня ведуча CNN, яка пізніше займалася новинними партнерами у Meta, наголошує: потенційна небезпека дезінформації через чатботи справді існує, проте існують і методи боротьби з нею. Терміни і можливості для впливу на розвиток цих інструментів — прямо зараз.
У зв’язку з резонансом дослідження, представники OpenAI, Google і xAI наразі не дали офіційних коментарів. Однак вже очевидно — робота над підвищенням якісного рівня відповіді та політичної нейтральності чатботів стане одним із пріоритетів у найближчому майбутньому.
