Стало відомо: чи можуть штучні інтелекти перевершити людських перекладачів?
Цей матеріал створений у партнерстві з IEEE Xplore у рамках ексклюзивної серії IEEE Journal Watch.
Що показало недавнє дослідження?
Група вчених поставила на випробування одразу кілька великих мовних моделей (LLM) у протистоянні з професійними перекладачами різного рівня. Виявилось, що лише сертифіковані експерти з понад десятьма роками досвіду без проблем обходять машини. У певних моментах роботи штучного інтелекту навіть виявились кращими, ніж людські.
Результати цього дослідження були опубліковані 15 грудня у журналі IEEE Transactions on Big Data.
Як швидко розвиваються мовні моделі?
Юе Чжан, заступник декана факультету інженерії Університету Вестлейк у Китаї, відзначає, що за останні 20 років алгоритми машинного навчання зазнали радикальних змін. Особливо помітний якісний стрибок у новітніх моделях, так званих великих мовних моделях. Проте питання залишається відкритим: наскільки добре вони справляються саме з перекладом?
Як він зауважує: «Були заяви про “рівність з людьми” раніше, але вони викликали дискусії. Ми вирішили перейти від розмитих порівнянь до чіткої наукової оцінки продуктивності LLM у залежності від кваліфікації перекладачів – від початківців до досвідчених фахівців.»
Хто такі початкові, середні і старші перекладачі?
Для дослідження перекладачів поділили на групи:
- Початковий рівень – 1-2 роки досвіду;
- Середній рівень – 3-5 років досвіду або носії мови;
- Старший рівень – мінімум 10 років роботи та офіційна кваліфікація Китайського національного тесту для перекладачів.
Команда системних моделей — GPT-4, ALMA-R, Deepseek-R1 — працювала над перекладом тих самих текстів разом із людьми. Чотири професіонали анонімно оцінювали якість перекладів, не знаючи, хто саме за ними стоїть — людина чи машина.
Різні мовні пари на практиці
Участь у дослідженні брали як розповсюджені комбінації (англійська-китайська), так і рідкісні — наприклад, китайська-гіінді. Це дозволило перевірити гнучкість моделей у різних умовах.
Результати виявились цікавими:
- GPT-4 демонстрував здібності, порівнянні з перекладачами початкового та середнього рівня;
- При перекладі текстів близько 200 речень GPT-4 робив у середньому 3,71 суттєві помилки;
- Початкові та середні перекладачі відповідно допускали 3,27 і 3,30 великих похибок;
- Але досвідчені експерти припускалися помилок лише 1,83 рази в середньому.
Помилки ставали частішими при роботі із незвичайними мовними поєднаннями, особливо китайсько-гііндійською.
Чим відрізняються помилки людей і машин?
Виявилося, що LLM часом були надто буквальними, переводячи фрази буквально, що іноді призводило до парадоксів. Натомість люди частіше проявляли творчу ініціативу, інтерпретуючи неясності досить вільно — це призводило до помилок іншого типу. Наприклад, один перекладач неправильно витлумачив вислів «entering his second year» як «йому два роки», хоча йшлося про спортсмена, що починає другий сезон.
Саме ця здатність людини аналізувати контекст і знаходити приховані значення є одночасно перевагою і слабким місцем людських перекладачів.
Де нині потрібна людина, а де – штучний розум?
Для завдань, де важлива точність, культурна адаптація або творча інтерпретація (наприклад, у літературі), досвідчені фахівці залишаються незамінними. Проте:
- DeepSeek R1, модель з глибоким аналітичним мисленням, продемонструвала найкращі результати серед LLM, уникаючи критичних помилок;
- Очікується, що майбутні моделі на кшталт OpenAI o1, GPT-5 або DeepSeek v 3.2 з просунутим мисленням зможуть суттєво скоротити дистанцію до найкращих живих перекладачів.
Таким чином, радикальні зміни у світі перекладу стають дедалі очевиднішими і вже сьогодні варто уважно слідкувати за розвитком штучних інтелектів у цій галузі.
