Студенти Гарварду перевершили ChatGPT на два ступені оцінок у дослідженні
Вчені з Гарвардського університету провели дослідження, у якому студенти магістратури суттєво перевищили можливості моделі ChatGPT, набравши бал, вдвічі вищий за штучний інтелект. Вони спочатку припускали, що чат-бот OpenAI буде демонструвати рівень знань, схожий із докторськими студентами на нижчих когнітивних рівнях — зокрема, добре запам’ятовуватиме матеріали, але матиме труднощі з критичним осмисленням.
Чому студенти змогли обійти ChatGPT
Проте результати показали дещо інше: модель значно відставала, оскільки їй було складно не тільки “запам’ятовувати”, а й “застосовувати” завдання правильно. Звичайно, дослідникам вдалося покращити роботу ботa, використовуючи спеціальні підказки, але ці вдосконалення не змогли компенсувати основних недоліків.
- Модель погано справлялася з інтерпретацією наукових графіків та сирих даних;
- Відставання помітне у коротких відповідях і тестах із вибором варіанту;
- Навіть версія ChatGPT, підготовлена для обробки зображень, не показала суттєвих покращень.
“Ми виявили суттєвий дефіцит у здатності ChatGPT інтерпретувати наукові графіки й сирі дані як у коротких, так і в тестових питаннях,” — зазначили автори дослідження.
Обсяг і особливості дослідження
Дослідження проводилось на курсі “Принципи молекулярної біології” Гарвардського університету — це 200-рівневий семестровий курс. Студенти мали підтримувати мінімальний прохідний бал у 80%, що є стандартом для студентів докторських програм. Величезну роль у порівнянні відіграли завдання із 2022 року — до масового використання ШІ у навчанні.
Яку версію AI тестували
Відповіді від штучного інтелекту надавав GPT-4o — модель, яку OpenAI представила у травні 2024 року. Враховуючи це, дослідники могли отримати актуальні результати, хоча деякі обговорення наукової спільноти вказують, що сучасніші моделі показують кращі результати.
Основні результати і порівняння
- Пам’ять і запам’ятовування: Студенти на 98% відповідали вірно, тоді як ChatGPT — на 82%, хоча ці питання не були надто складними і просто вимагали резюме технік.
- Довгі відповіді й дизайн експериментів: Студенти справились значно краще, ніж штучний інтелект.
- Задачі на розуміння, застосування та аналіз: Тут відрив був найбільшим — 87% у студентів проти лише 66% у ChatGPT.
Особливо важко ШІ давалися завдання на “застосування”, де потрібно було ідентифікувати й описувати експериментальні контрольні точки, що студенти добре опанували під час навчання.
Як сприйняла спільнота такі результати
Обговорення на Reddit, у розділі r/science, було досить стриманим:
- Користувачі наголосили, що наразі великі мовні моделі ще далекі від рівня досвідчених людей;
- Для вузькоспеціалізованих задач, таких як програмування, необхідна пильність через можливі помилки або “галюцинації”;
- Також зауважили, що моделі, які були в рамках дослідження, уже застаріли і нові версії значно потужніші.
Один із учасників обговорення поділився, що за рік розвиток ШІ у лабораторних дослідженнях стрімко просунувся і ці технології вже краще справляються з науковими та інженерними завданнями без складних підказок.
Зв’язок із дослідниками та OpenAI
Редакція Newsweek звернулась до науковців і представників OpenAI з проханням прокоментувати отримані результати, але на момент публікації відповіді не отримано.
