Відоме дослідження щодо ефекту ChatGPT на навчання відкликають через сумніви у достовірності
Ще не так давно широка мета-аналіз, який стверджував про значущий позитивний вплив ChatGPT від OpenAI на успішність учнів, викликав бурхливе обговорення у наукових колах. Проте менш ніж за рік після публікації, поважний журнал Humanities and Social Sciences Communications (Springer Nature) прийняв рішення відкликати цю роботу через виявлені невідповідності.
Про що йшлося у дослідженні
Автори статті — Джін Ванг і Веньсян Фан із Педагогічної школи «Цзін Хенгі» Ханчжоуського педагогічного університету — дослідили 51 експериментальне та квазіекспериментальне дослідження за період з листопада 2022 по лютий 2025 року. Вони заявляли:
- ChatGPT має великий позитивний вплив на навчальні результати (ефект g = 0,867),
- помірно позитивно впливає на сприйняття процесу навчання (g = 0,456),
- а також сприяє розвитку вищого рівня мислення (g = 0,457).
Стаття дебютувала 6 травня 2025 року та здобула неабияку популярність: понад 486 тисяч переглядів, 266 посилань у наукових публікаціях і Altmetric бал 1023. Все це свідчило про її вагомий вплив до моменту відкликання 22 квітня 2026 року.
Причини відкликання
Редакція журналу повідомила, що під час перегляду матеріалу було виявлено «розбіжності у мета-аналізі», які значно підривають довіру до правильності проведеного аналізу та отриманих висновків. Більше того, автори не відреагували на запити редакції щодо з’ясування ситуації.
Які саме помилки стали причиною сумнівів, офіційно не розкривають. Можливо, проблеми пов’язані з:
- відбором даних,
- помилками у розрахунках розміру ефекту,
- чи неправильним вибором досліджень для аналізу.
Що спочатку стверджувала робота
Дослідження привертало увагу своїм масштабом і практичними рекомендаціями. Основні моменти, про які говорили автори:
- для досягнення найкращих результатів ChatGPT варто використовувати від 4 до 8 тижнів безперервно,
- найефективнішим інструмент виявився в середовищах проблемно-орієнтованого навчання,
- особливо потужним чатбот виявився для курсів, які спрямовані на розвиток певних умінь і компетенцій.
Крім того, вони показали, що вплив ChatGPT може змінюватись залежно від:
- типу курсу,
- моделі навчання,
- тривалості втручання.
Загалом, автори рекомендували «гнучко інтегрувати ChatGPT у навчальний процес як розумного наставника, партнера з навчання та освітній інструмент».
Ці відкриття швидко поширилися серед освітян і дослідників штучного інтелекту, слугуючи базою для прийняття рішень у сфері впровадження генеративного ШІ в освітні заклади.
Які наслідки має відкликання для освітньої спільноти
Вилучення цього дослідження означає втрату одного з найбільш відомих кількісних доказів на користь ефективності ChatGPT як навчального інструменту серед академічної літератури. При тому, що роботу вже процитували 266 разів, її відкликання змушує замислитись про те, як зміняться наукові роботи, які базувалися на цих результатах.
Цей випадок також підкреслює проблему в дослідженнях штучного інтелекту в освіті: темпи публікації і цитування часто випереджають ретельну перевірку методології та даних, що може призводити до поспішних висновків.
Звернемо увагу, що з 51 дослідження, включених у мета-аналіз, лише 9 стосувалися розвитку вищого рівня мислення, а 19 — сприйняття навчального процесу. Автори самі визнавали, що вибірка має обмеження, що потребує додаткових досліджень у майбутньому.
