Який штучний інтелект найбільше помиляється у фактах? Порівняння флагманських чатботів у 2026 році
Чому показники «галюцинацій» чатботів стали критично важливими у 2026 році
У 2025 році всі основні лабораторії змаганнялися за кращі результати у кодуванні та логічному мисленні. Проте до вересня 2026 року фокус змістився на набагато важливішу метрику — наскільки часто чатбот впевнено дає неправдиву інформацію. OpenAI, Anthropic, Google та xAI зовсім недавно запустили свої нові флагманські моделі, і кожна компанія тепер публікує хоча б деякі дані про свою точність, навіть якщо ці цифри не завжди вигідні.
Чому це важливо? На відміну від простих запитів, моделі сучасного покоління часто відповідають на складні питання, де даних для навчання може не вистачити. Тест AA-Omniscience від компанії Artificial Analysis спеціально створений для виявлення ситуацій, коли чесною відповіддю є «Я не знаю». Якщо ж модель все одно вигадує відповідь, це означає «галюцинацію», тобто впевнене, але хибне твердження. Саме такі відповіді можуть призводити не просто до втрати рейтингу, а й до судових позовів.
Коли користувачі порівнюють Grok, ChatGPT або Gemini, це не просто про ціну чи інтерфейс. Люди, що працюють з юридичними, медичними чи дослідницькими питаннями, прагнуть дізнатися, на яку модель можна покластися, щоб уникнути фейкових цитат або неправдивих цифр. Тут ми розглянемо реальні дані, а не рекламні обіцянки.
Як насправді вимірюють «галюцинації» у ШІ-моделей
Відомі чотири основні організації, які публікують статистику, близьку до рівня галюцинацій, і кожна оцінює це по-своєму. Ось особливості кожного тесту:
- Artificial Analysis AA-Omniscience ставить перед моделями складні фактичні питання, вираховуючи показник точності та окремо — частку випадків, коли модель впевнено відповідає неправильно замість того, щоб зізнатися в невизначеності.
- Vectara Hallucination Leaderboard (HHEM) перевіряє, чи дотримується модель фактичності при створенні резюме з документів. Це більш давній індекс з відкритими даними, але він актуальний частіше для старших версій моделей.
- Google DeepMind FACTS Grounding аналізує, наскільки відповідь моделі вірна стосовно реальних документів із галузей фінансів, права, охорони здоров’я, рітейлу та технологій, а оцінка йде від спеціальних експертних суддів.
- LMArena Factuality Elo — це рейтинг на основі голосів користувачів, які обирають більш переконливу відповідь серед двох анонімних, але цей підхід показує перевагу людської сприйнятливості, а не об’єктивної істини.
Жоден із цих тестів не покриває повністю всі п’ять моделей, тому порівняння має базуватися лише на доступних підтверджених даних, без припущень.
Хто вони — головні гравці? Порівняння характеристик чатботів
| Модель | Розробник | Дата виходу | Обсяг контексту | Ціна API (за млн токенів) | Рівень галюцинацій | Основне застосування |
|---|---|---|---|---|---|---|
| GPT-6 Astra (API) | OpenAI | 03.09.2026 | 1,05 млн | $10 вхід / $50 вихід | 51% (AA-Omniscience) | Аналітика, агентські завдання, корпоративний використок |
| Claude Opus 4.8 | Anthropic | 28.05.2026 | 200 тис. | $5 вхід / невідомо вихід | 35,9% (AA-Omniscience) | Кодування, агентські робочі процеси |
| Claude Fable 5.1 | Anthropic | 01.09.2026 | 200 тис. | ~$0.25 кеш | ~63,6% (дані від Fable 5) | Пошук знань, наукові дослідження |
| Gemini 3.8 Flash (API) | 02-03.09.2026 | 1 млн | $0.75 вхід / $3.75 вихід | Поки немає даних AA-Omniscience | Довготривалий кодинг, автономні агенти | |
| Grok 4.5 (API) | xAI | 08.07.2026 | Немає відкритої інформації | $2 вхід / $6 вихід | 54% (AA-Omniscience, ріст пасьянсу з 25%) | Кодування, агентські робочі процеси |
Цікаво, що Grok 4.5 розроблений спеціально для програмістів і складних завдань, а не для загального спілкування, тому безкоштовна версія Grok у соцмережі X працює на старіших моделях з іншими характеристиками. Також Gemini 3.8 Flash не має поки підтвердженого результату за основним порівняльним тестом AA-Omniscience.
Контекст, мультимодальність і їх роль крім «галюцинацій»
Визначаючи якість чатбота, показник помилкових тверджень — це не все. Величина вікна контексту теж відіграє серйозну роль. GPT-6 Astra API має найбільший контекст — 1,05 млн токенів, хоча в додатку ChatGPT це обмежено 400 тис. токенів для Pro-користувачів і ще менше для Plus і Free. Google Gemini 3.8 Flash приблизно дорівнює за розміром контексту — 1 млн токенів і додає 5 ТБ прив’язки до сховища на рівні користування.
Claude Opus та Fable мають значно скромніший контекст – 200 тис. токенів, що важливо враховувати, якщо хочете завантажити у розмову цілий код або ґрунтовне юридичне досьє. Grok 4.5 наразі не розкриває цей параметр публічно, що дивно, адже модель орієнтована на спеціалізований кодинг.
Щодо генерації зображень — тут моделі також різняться. Grok пропонує Aurora для користувачів X Premium, з обмеженнями на фото реальних людей та захищених авторським правом персонажів. Gemini має розвинені функції створення фото і відео, вбудовані до Deep Think і Canvas. ChatGPT інтегрує власні генератори зображень у чат із GPT-6 Astra. Anthropic натомість поки не пропонує вбудованої генерації зображень у Claude.ai.
Як моделі доходять до користувачів: від запуску до доступності
Запуск і масштабування моделі впливають на наявність даних про реальні помилки у чатботів. OpenAI представила GPT-6 Astra поступово: спочатку обмежена версія для корпоративних клієнтів із фокусом на кібербезпеку, і лише згодом розширення на Plus, Pro, Business та корпоративних користувачів. Очільник OpenAI, Сем Альтман, вибачився за «хаотичний» запуск, через який платні клієнти спершу не могли отримати доступ.
Anthropic розподіляє доступ інакше: Claude Fable 5.1 доступний для широкого кола платних користувачів, а версія Mythos 5.1 — лише для перевірених спеціалістів із кібербезпеки та наук про життя. Google ж інтегрував Gemini 3.8 Flash у Workspace-додатки та окремий додаток Gemini для користувачів підписки. А компанія xAI залишила Grok пов’язаний із соцмережею X, без окремого додатка, і безкоштовна версія все ще працює на старіших алгоритмах.
AA-Omniscience від Artificial Analysis — основний тест для чесного порівняння
AA-Omniscience — єдиний тест, що вимірює рівень «галюцинацій» за однаковою методологією трьох із чотирьох моделей. Він використовує максимальну потужність логіки і чітко відокремлює помилки, зроблені з надмірною впевненістю, від неправильних відповідей.
Вражаюче, що GPT-6 Astra знизив показник «галюцинацій» з 92% (у попередника GPT-5.6 Sol) до 51%. Це величезний крок вперед, хоча ще більше половини відповідей — помилкові, але впевнені.
Натомість Grok 4.5 програв: рівень «галюцинацій» піднявся з 25% до 54%, хоча точність зросла з 35% до близько 52%. Це означає, що модель тепер більше відповідає, але і помиляється частіше, замість того, щоб визнавати невпевненість.
Anthropic має дві моделі з найнижчим (Claude Opus 4.8 — 35,9%) та найвищим (Claude Fable 5 — 63,6%) рівнями «галюцинацій». Gemini 3.8 Flash за цим тестом не має офіційного результату, тож поки залишається невідомим гравцем.
Що показує рейтинг Vectara HHEM?
Vectara HHEM тестує точність під час створення резюме на основі заданих документів — завдання простіше за AA-Omniscience. Найкращі показники у Google Gemini 2.0 Flash — 0,7% галюцинацій і 99,3% достовірності, а GPT-5.4-nano від OpenAI — 3,1% галюцинацій. Старі моделі Claude варіюються від 4,4% до 10,1%, а Grok 4.1 показує 17,8% галюцинацій.
Однак Vectara також тестує складніший набір із логічними завданнями, де всі моделі мають більше 10% «галюцинацій». Це підтверджує, що зі зростанням складності завдань знижується точність моделей.
Позиції Gemini 3.8 Flash за даними DeepMind FACTS
Google DeepMind не використовує AA-Omniscience для Gemini 3.8 Flash, але має власний набір FACTS Grounding — аналіз вірогідності відповідей у документах з різних галузей. Gemini 3 Pro лідирує з загальним балом 68,8%, вражаючи особливо в параметричних знаннях і пошукових відповідях.
Gemini 3.8 Flash ще не має офіційних даних у цій системі, тож складно порівняти його «галюцинації» з іншими моделями. Водночас ці результати показують, що Gemini відмінно тримається при роботі з підтвердженими джерелами.
Що говорить людський фактор — рейтинг LMArena Factuality Elo
LMArena робить ставку на думку живих користувачів, які обирають більш «переконливі» відповіді. Тут Claude Opus 4.8 отримує найвищий бал (1472-1493 Elo), Gemini 3.6 Flash йде після нього на 1473, Grok 4.5 — трохи нижче на 1466. GPT-6 Astra поки не має достатньо голосів.
Така оцінка демонструє, що стиль відповідей має значення для сприйняття, але це не гарантує реальної точності, що підтверджує розбіжність із результатами AA-Omniscience.
OpenAI і контроверсія з 4,2% галюцинацій
OpenAI є єдиним розробником, який оприлюднив власні цифри внутрішніх тестів. Вони показали, що GPT-6 Astra має лише 4,2% «галюцинацій», що значно менше, ніж 51% за зовнішніми тестами.
Проте внутрішні метрики OpenAI охоплюють іншу задачу — додержання вірності інструкціям і здатність уникати раптових хибних тверджень. Тобто ці показники не суперечать, а доповнюють один одного, просто відображають різні грані точності.
Два різних методи вимірювання — причина широких розбіжностей і необхідність критично ставитись до «офіційних» цифр.
П’ять реальних випадків, що демонструють наслідки «галюцинацій»
- Позов Winters проти OpenAI — Флорида вимагає відповідальності за медичні поради ChatGPT-4o, які нібито спричинили тяжкий стан пацієнта.
- Позов Генерального прокурора Флориди — звинувачення OpenAI у наданні небезпечної інформації з медицини, права та бухгалтерії, що становить загрозу для молоді.
- Позов Craddock проти OpenAI — через хибні юридичні документи, згенеровані ChatGPT.
- Регресія Claude Opus 4.6 — подвійний рівень «галюцинацій» у кодингу, що викликало публічне вибачення Anthropic і виправлення проблеми.
- Звіт BBC про Grok — найбільша ймовірність підживлення хибних уявлень у розмовах, що узгоджується з ростом «галюцинацій» за офіційним тестом.
Anthropic є єдиною компанією, яка публічно пояснила технічний відкат точності, що свідчить про більшу відкритість перед користувачем.
Порівняння цін моделей у вересні 2026
Ціна і точність моделей далеко не завжди корелюють. Найдешевший API — Grok 4.5 (2$/6$ за млн токенів) — показав найбільший ріст помилкових тверджень. Gemini 3.8 Flash найвигідніший у ціні (0,75$/3,75$), але без підтверджених даних по відкритих фактах.
| План / Чатбот | Ціна мес. | Що пропонують |
|---|---|---|
| ChatGPT Free | 0$ | Обмежено GPT-5.6 Luna або урізаний Astra |
| ChatGPT Plus | 20$ | GPT-6 Astra, більший ліміт повідомлень |
| ChatGPT Pro | 200$ | Повний доступ до Astra з довгим контекстом |
| Claude Free | 0$ | Обмежений доступ до моделей Claude |
| Claude Pro | близько 20$ | Вищі ліміти на Opus та Fable |
| Gemini Free | 0$ | Gemini 3.8 Flash з обмеженням 32К токенів |
| Google AI Pro | 19,99$ | Gemini 3 Pro із 1М контекстом і 5ТБ сховища |
| X Premium (Grok) | бл. 8$ | Повний Grok і Aurora генерація зображень |
Огляд методів тестування
| Тест | Організація | Що вимірює | Моделі з підтвердженими результатами 2026 |
|---|---|---|---|
| AA-Omniscience | Artificial Analysis | Рівень галюцинацій на складних питаннях без джерела | GPT-6 Astra, GPT-5.6 Sol, Claude Opus 4.8, Claude Fable 5, Grok 4.5, 4.3 |
| HHEM | Vectara | Точність резюме документу | Старіші: Gemini 2.0 Flash, GPT-5.4, Claude-3 Opus, Grok-4-1 |
| FACTS | Google DeepMind | Перевірка фактів у документах різних сфер | Gemini 3 Pro, 2.0 Flash, 1.5 Pro/Flash |
| Factuality Elo | LMArena | Оцінка уподобань користувачів з фактором точності | Claude Opus 4.8, Gemini 3.6 Flash, Grok 4.5 |
Кого обрати залежно від завдання: практичні поради
Жодна модель не є універсальним лідером, тож вибір залежить від конкретної мети:
- Юридичні, бухгалтерські дослідження: Найкраще підійде Claude Opus 4.8 за мінімальний рівень «галюцинацій» (35,9%). Рекомендується додаткова перевірка.
- Резюме та робота з документами: Gemini 3.8 Flash через високу точність згідно з FACTS стане вагомим вибором для контрактів і звітів.
- Кодування і агентські робочі процеси: Grok 4.5 — найвигідніший за ціною та оптимізований саме для розробки, але варто пам’ятати про його підвищений рівень помилок.
- Спілкування для широкої аудиторії: GPT-6 Astra відзначається суттєвим покращенням у порівнянні з попередником і доступний у версіях ChatGPT Plus і Pro.
- Дослідження в кібербезпеці і Life Sciences: Claude Mythos 5.1 — вибір для спеціалізованих, обмежених за доступом випадків.
Як уникнути ризиків при переході на інший чатбот
- Визначте категорію завдання — юридична, резюме, кодинг або щоденне спілкування.
- Збережіть контекст і налаштування зі старої платформи, оскільки прямий перенос не підтримується.
- Перевірте відповіді на кілька останніх складних запитів на новій моделі в порівнянні зі старою.
- Для всіх фактичних даних просіть джерело інформації.
- Якщо точність критична, проганяйте той самий запит через дві моделі різних розробників і вирішуйте сумніви вручну.
- Активуйте додаткові функції, що відображають посилання на джерела, де це можливо.
- Регулярно оновлюйте інформацію про показники моделі, оскільки вони можуть змінюватися.
- Ведення журналу відповідей допоможе у випадку юридичних спорів.
Переваги та недоліки для задач із високою вимогою до точності
GPT-6 Astra пропонує найбільший прогрес із показника галюцинацій, широкий контекст і доступність, однак має суперечливі внутрішні та зовнішні результати щодо точності.
Claude Opus 4.8 та Fable 5.1 — Opus 4.8 має найкращу підтверджену точність у тестах, а Anthropic відома своєю відкритістю щодо технічних проблем. Однак Fable 5.1 показала найгірші результати за «галюцинаціями» і на теперішній час не має публічного оновлення точності.
Gemini 3.8 Flash пропонує найнижчі тарифи й відмінну точність у документальній роботі, але без підтверджених даних за аналогом AA-Omniscience.
Grok 4.5 найпривабливіший за вартістю для розробників та агентських задач, проте показує суттєве зростання “галюцинацій” і має репутацію моделі, схильної підтримувати хибні ідеї у діалогах.
Який чатбот найменше схильний до «галюцинацій»?
На основі однакових зовнішніх тестів AA-Omniscience менше за всіх помиляється Claude Opus 4.8 (35,9%), далі йдуть GPT-6 Astra (51%) і Grok 4.5 (54%). Claude Fable 5 лідирує за поганим показником у 63,6%. Gemini 3.8 Flash поки не має таких даних, але судячи з інших тестів, він досить добре справляється з фактичністю в рамках заданих документів.
Загалом, ціна, точність і можливості моделей не завжди йдуть рука об руку. Найдешевша або найшумніша новинка не гарантує найвищу надійність через три тижні після виходу. Якщо точність справді має значення, підбирайте модель, ґрунтуючись на відповідних тестах і завданнях.
Часті питання
Хто має найменший рівень галюцинацій у 2026?
За даними AA-Omniscience, Claude Opus 4.8 лідирує з показником 35,9%. Gemini 3.8 Flash поки не має офіційного рейтингу цього тесту.
Чи GPT-6 Astra надійніший за GPT-5.6 Sol?
Так, згідно з незалежними тестами, Astra показала значне покращення – з 92% “галюцинацій” у Sol до 51% у Astra.
Чому рівень помилок у Grok 4.5 зріс?
xAI орієнтувалась на продуктивність у кодуванні, тому модель тепер більше відповідає і більше помиляється, замість обережно відмовлятися від відповіді.
Чи Gemini 3.8 Flash менше помиляється, ніж ChatGPT чи Claude?
Поки нема офіційних даних на основі AA-Omniscience, порівняти точно не можливо. Але Gemini відомий гарною роботою з підтвердженими документами.
Чи можна довіряти офіційним показникам компаній?
Цифри виробників — лише відправна точка. Вони часто базуються на різних тестах, тож краще додатково перевіряти незалежні оцінки.
Що відбулося з галюцинаціями у Claude на початку 2026?
Рівень помилок Opus 4.6 подвоївся, але Anthropic пояснила це технічними проблемами, які швидко усунули.
Чи були судові позови через помилки чатботів?
Так, зокрема декілька позовів проти OpenAI у 2026 році пов’язані з шкідливими порадами ChatGPT, зокрема із медициною та юриспруденцією.
Який чатбот найкраще підходить для складних особистих розмов?
Жоден із порівнюваних моделей не є спеціально створеним ментальним помічником. Проте звіт BBC відзначив, що Grok більше за інших схильний підтримувати хибні уявлення в складних бесідах.
