Чи можуть ШІ-моделі замінити наукову роботу? Враження від експерименту з ChatGPT
Сучасні вчені дедалі частіше хвилюються щодо того, як студенти та дослідники можуть використовувати великі мовні моделі (LLM), такі як ChatGPT чи ClaudeAI, для написання наукових робіт. Хоч я й не часто викладаю, проте керую магістерськими дослідженнями, і останнім часом помічав роботи, які ймовірно, були створені штучним інтелектом або за його допомогою.
Що може зробити ШІ у науковому процесі?
Більшість фахівців погодяться, що повністю чи частково доручати написання академічної статті великій мовній моделі — це порушення етики досліджень. Однак, деякі функції використання ШІ викликають менше суперечок. Ось перелік завдань, які LLM здатні виконувати:
- Допомога у пошуку інформації: добір тем, пошукових запитів, джерел, напрямків досліджень.
- Роз’яснення та узагальнення: пояснення складних понять або стислий виклад матеріалів, відібраних самим дослідником.
- Систематизація літератури: порівняння джерел, визначення дискусійних тем, організація наявних досліджень.
- Формулювання запитань: уточнення дослідницького питання, пропозиція гіпотез.
- Побудова аргументації: формулювання тверджень, контраргументів, прикладів, відповідей на заперечення.
- Планування структури: розробка плану роботи та послідовності викладу ідей.
- Редагування тексту: коментарі до наявного варіанту і пропозиції правок.
- Переписування: суттєве оновлення тексту, організації або аргументації.
- Генерація окремих фрагментів: написання абзаців чи розділів для вставлення в роботу.
- Повне написання статті: підготовка тексту на основі загальних інструкцій чи наданих джерел.
Свій підхід до співпраці зі ШІ
Оскільки під час моєї кар’єри LLM не існували, я дотримуюсь більш традиційних підходів. Особисто мені комфортно користуватися допомогою ШІ на етапі пошуку літератури. Часто я прошу ChatGPT створити докладний анотований список джерел по темі. Також не викликають у мене заперечень допоміжні функції, як-от пояснення чи аналіз літератури.
Втім у моєму сприйнятті розробка дослідницьких питань, формулювання аргументації, планування структури та переписування текстів — це ті справи, які дослідник має виконувати самостійно. Коли ШІ бере на себе такі завдання, це вже порушення академічної етики, а створення частин або навіть повного тексту статті може вважатися плагіатом.
Виклик виявленню використання ШІ
Одна з найбільших проблем — як точно визначити, коли хтось користується LLM для написання робіт неправомірно. Системи виявлення штучного інтелекту часто недооцінюють обсяг AI-контенту, хоча деякі, як-от Pangram, працюють краще й рідко дають хибнопозитивні результати.
Експеримент: як написати академічну статтю за допомогою ChatGPT і пройти детектор ШІ
Після завершення великого звіту для Міністерства оборони Данії я вирішив трохи розслабитися і провести експеримент. Мета: створити коротку наукову статтю (приблизно 6 000 слів) на тему міжнародного кримінального права, пов’язану з автономними кіберзброями, виключно за допомогою ChatGPT, так аби Pangram визнав її на 100% написаною людиною, і при цьому мені не потрібно було писати жодного речення самотужки.
Спершу я склав інструкції для ChatGPT, орієнтуючись на власні знання та інформацію з мережі, щоб змусити модель «писати як я». Написав 150-слівний анотаційний опис статті, окреслив головний правовий виклик і перелік тем, які хочу розглянути. Після вільної постановки завдання, отримав повний текст — понад 6 400 слів із 52 посиланнями.
Як виглядав результат першої чернетки
Структура статті була логічною, розділи відповідають академічній практиці, а аргументи — сформульовані зрозуміло з урахуванням контраргументів. Усі джерела вказані правильно, без вигадок. Але юридичний аналіз виявився трохи розмазаним та поверхневим, відчувався брак уваги до деталей. Як для першого варіанту — цілком пристойна робота. За умови, що це була студентська робота з міжнародного кримінального права — я б оцінював її на «добре».
Подальше удосконалення тексту зі ШІ
Я попросив ChatGPT вигадати гіпотетичний приклад, який ілюстрував би центр правової проблеми, долучити його до вступу і згадувати далі у статті. Модель швидко впоралась із завданням — і переписала низку розділів. Наступним кроком було моє ретельне читання та 22 детальних коментарі з пропозиціями щодо покращень.
Переробка зайняла ШІ ще 17 хвилин і результат вийшов значно кращим — поняття стали чіткішими, аргументація логічнішою, стиль натуральнішим. Модель навіть переставила два розділи в більш оптимальному порядку, не отримуючи на те вказівок. Цю версію я оцінив би вже як «добре з мінусом».
Ітеративний процес і остаточний результат
Процес повторювався: я перечитував кожен новий варіант, залишав загальні та специфічні коментарі, уникаючи вказівок, як саме виправляти проблеми. ChatGPT редагував текст, ми так пройшли ще три раунди, і в підсумку отримали вже п’яту, фінальну чернетку.
Цей фінальний текст, на мою думку, був достатньо якісним, щоб подаватися в добрий журнал чи отримати “відмінно” у навчальному курсі. Однак перевірка Pangram показала, що найбільший бал за ступенем “людяності” сегмента тексту — лише 75%.
Як обійти детектор ШІ вручну
Тоді я спробував інший підхід. Вибрав один розділ близько 700 слів і ретельно обробив його: змінював слова, переставляв частини речень, трансформував абзаци у списки. Не писав нічого повністю з нуля, але значно перефразував і переробив текст.
Редагування зайняло стільки ж часу, скільки й ChatGPT на всі п’ять чернеток, але тепер Pangram уже визнав цю частину 100% написаною людиною. Хоч це і не зовсім так.
Наближення великого майбутнього ШІ у науці
Я ніколи не подав би таку статтю під своїм ім’ям, бо не вважаю її виключно своєю працею. Адже модель виконала частину ключових дослідницьких завдань, на які я, як науковець, маю покладатися лише на себе. Однак багато колег не так суворі й, здається, погоджуються із використанням ШІ в цих процесах.
Проблема полягає не тільки в етичній площині, а й у тому, що подібні “напівфабрикати” можуть заполонити наукові видання, позбавивши їх автентичності. Уявіть собі професора, який “написав” понад 250 статей лише за один рік — це вже звучить як наукова фантастика, але реальність змінюється саме так.
Що далі?
Експеримент показав, наскільки швидко і просто сьогодні можна створити й подати науковий текст за допомогою ШІ, уникаючи виявлення. І хоча мовні моделі поки не ідеальні, скоро вони лише покращаться. Як академічна спільнота реагуватиме на це — велике питання.
До слова, деякі занепокоєні, що цей допис можуть сприйняти як посібник, а не застереження. Проте будь-хто, хто хоче скористатися ШІ для написання, і без моєї допомоги зможе це зробити. Важливо, що маємо усвідомлювати: такі ризики існують не лише для молодих технічно підкованих студентів, а й для всіх, хто прагне швидких результатів.
