Чи може штучний інтелект довірити вашому коду? Розбір можливостей ChatGPT в статистичному програмуванні
Питання вже не у тому, чи може штучний інтелект писати код, а у тому, наскільки можна довіряти цьому коду.
Останні роки ChatGPT та подібні мовні моделі щільно увійшли в повсякденне життя студентів, аналітиків, дослідників і дата-сайентистів. Багато хто вже скористався штучним інтелектом для написання простої функції на Python, виправлення помилки, автоматизації рутинних завдань чи швидкого перекладу коду з однієї мови на іншу.
Проте велика різниця — це просити ChatGPT написати невеликий допоміжний скрипт і просити його реалізувати складну економетричну модель.
Чи зможе ChatGPT грамотно запрограмувати модель Difference-in-Differences? Чи впоратися з Inverse Probability Treatment Weighting? А що з Regression Discontinuity? І чи це можливо не лише на Python, а й на R та Stata?
Саме тому мене зацікавила стаття “Can AI write your code? A case study of ChatGPT’s statistical coding capabilities for quantitative research”, опублікована 22 січня 2026 року в журналі Health Economics Review. Автори досліджують можливості ChatGPT-4.0 Pro генерувати код для задач причинно-наслідкового аналізу у трьох мовах програмування: Python, R та Stata. Вони використовували зразки з книги Causal Inference: The Mixtape Скотта Каннінгема як стандарт.
Що робить це дослідження унікальним?
Більшість попередніх робіт оцінювали здатність ChatGPT писати код на основі суб’єктивних вражень — експерти дивилися на код і судили, чи виглядає він правильним.
Цей підхід корисний, але має великий недолік — він дуже залежить від особистої думки оцінювача.
Winberg та колеги пішли іншим шляхом: вони порівнювали код, згенерований ChatGPT, із стандартизованими зразками та контрольними результатами з Causal Inference: The Mixtape. Оцінювали не лише вид коду, а й його здатність відтворювати очікувані результати.
Ще один вагомий внесок — включення мови Stata у дослідження.
Для багатьох емпіричних науковців, особливо в економіці, державній політиці чи галузі охорони здоров’я, Stata залишається ключовим інструментом. Проте в дискусіях про помічників із кодування штучного інтелекту часто акцент робиться тільки на Python та R. Вивчаючи Stata, автори перевірили можливості ChatGPT у сфері, найважливішій для прикладних економетричних досліджень, але менш висвітленій раніше.
Як проводилося дослідження?
Автори обрали ChatGPT-4.0 Pro — платну версію, доступну на момент роботи. Їхня мета — оцінити, як добре ШІ створює код для причинно-наслідкових завдань у Python, R та Stata.
Вони користувалися загальнодоступними даними та задачами з Causal Inference: The Mixtape. Ця книга широко відома у прикладній економетрії і має приклади коду на R, Stata та Python. Для дослідження було встановлено середовища R 3.6.0, Stata 18 і Python 3.13.
Основна увага приділялась трьом поширеним методам:
- Difference-in-Differences (Diff-in-Diff);
- Inverse Probability Treatment Weighting (IPTW);
- Regression Discontinuity (RD).
Ці методи вибрали, бо вони часто використовуються у дослідженнях і потребують не тільки знання синтаксису, а й правильної підготовки даних, специфікації моделей та інтерпретації результатів.
Дослідження включало три ключові етапи.
1. Створення запитів із завданнями для ChatGPT
Спершу дослідники надавали ChatGPT завдання та просили згенерувати код для відповідного економетричного аналізу.
Прикладом є завдання з Difference-in-Differences, де контекстом була легалізація абортів у п’яти штатах США перед загальною легалізацією у 1973 році за рішенням Roe v. Wade. Потрібно було оцінити вплив на захворюваність на гонорею серед дівчат 15–19 років.
Замість простого визначення після лікування, запит вимагав врахування взаємодії року і лікування, щоб відобразити динамічні ефекти з часом.
Такі промпти більш складні, ніж базові регресії. Модель мала зрозуміти контекст, визначити показник лікування, сформувати взаємодії і створити коректний код.
Аналогічним чином сформували завдання для IPTW і RD.
2. Запит на повний робочий процес кодування
На другому етапі автори створили розширені запроси. Вони просили ChatGPT відтворити повні робочі процеси з книги: управління даними, економетричний аналіз, створення графіків.
Це важливо, бо реальні дослідницькі процеси — це далеко не одна модель. Зазвичай потрібно імпортувати і чистити дані, формувати індикатори, оцінювати моделі, готувати таблиці і візуалізації, порівнювати результати.
Цей крок показує, як ChatGPT справляється з практичною складністю роботи прикладного аналітика.
3. Запуск коду і порівняння результатів
Нарешті, код запускали у відповідних середовищах (Python, R або Stata) і порівнювали вихідні дані з референсними з The Mixtape.
Як створювали запити?
Цікава деталь — хто і як підбирав промпти. Чотири дослідники з глибоким знанням економетрії (двоє докторів наук, двоє аспірантів) працювали над завданнями.
Троє спеціалізувалися по одній мові — Python, R чи Stata, а четвертий дублірував результати для всіх трьох мов, перевіряючи сталість відповідей.
Це гарно відображає реальний спосіб роботи з ChatGPT — інтерактивне спілкування, запуск коду, аналіз помилок, підказки для моделі.
Щоб уникнути упередженості через різний стиль формулювання, промпти стандартизували — зробили чіткими, структурованими і загальними для різних завдань.
Хороший промпт має:
- дати контекст,
- визначити метод,
- показати потрібні змінні,
- описати бажані результати,
- уточнити припущення.
П’ять критеріїв оцінки роботи ChatGPT
Автори оцінювали продуктивність за п’ятьма параметрами:
- Точність — порівняння результатів ChatGPT із еталонними. Результат вважають успішним, якщо він співпадає, і навпаки.
- Ефективність — кількість команд у згенерованому коді у порівнянні зі стандартом.
- Помилки — чи запускається код без збоїв. Це ключово, адже несправний код треба виправляти, і це забирає час.
- Редагування — випадки, коли код працює, але потребує доопрацювання чи уточнень для правильних результатів.
- Стійкість — повторність результатів при повторному запуску з тими ж промптами іншою людиною, новим акаунтом ChatGPT.
Що показало дослідження?
Основна зведена таблиця ілюструє результати.
ChatGPT найкраще проявив себе у Python і R, де згенерував точний код і вірні результати для більшості завдань. Stata виявився менш надійним.
Це не дивно, адже Python та R — це гіганти у громадах дата-сайєнсу, машинного навчання та статистики. Вони мають величезні бібліотеки, спільноту та приклади коду вільного доступу. ШІ навчається на величезних обсягах текстів і коду — логічно, що з цими мовами він справляється краще.
Водночас варто ставитися до таких результатів з обережністю — це кейс-стаді на кілька конкретних завдань, а не масштабне тестування безлічі сценаріїв.
Так чи інакше, для тестованих складних причинно-наслідкових завдань ChatGPT виглядав більш надійним у Python і R, аніж у Stata.
Як вплинуло використання великих мовних моделей на мій стиль роботи
Для мене ця робота цікава не лише як теоретичне дослідження — вона відображає і практичні зміни в моєму щоденному розумінні.
Раніше основна частина часу при написанні кількісного дослідження йшла на вивчення літератури, пошук потрібних статей, розбір методів і вибір найоптимальніших під наші дані.
Тепер ChatGPT значно прискорює цей етап. Він не замінює детальне вивчення, зате допомагає швидше структурувати тему, зрозуміти ключові поняття, сформулювати конкретні питання.
Особливо це вплинуло на роботу з мовами програмування. Якщо раніше ми в основному працювали в SAS для обробки даних і R для моделювання та візуалізації, то з приходом LLM зробили ставку на Python.
Чому Python? Бо інструменти штучного інтелекту дають більш якісні результати саме на цій мові — менше помилок, більше готових прикладів і варіантів коду.
У нашій команді це підтвердилося зворотним зв’язком моделлерів, а також стало стратегічним вибором. Ми перейшли від середовищ SAS Studio та RStudio до VS Code, який краще підходить під інтеграцію з ChatGPT, Claude і GitHub Copilot.
Це не просто зміна софту, а глибинний зсув у способі роботи. ШІ покращує ефективність, але також змінює обрану мову, інструменти і підхід до робочих процесів.
Окрім коду, LLM допомагають і з даними. Наприклад, збір публічних наборів даних (дані INSEE, кліматичні звіти IPCC, сценарії NGFS для ESG-моделювання) раніше займав від кількох днів до тижнів.
Нещодавно мені потрібно було отримати коди NAF з сайту INSEE в зручному форматі. Раніше це б зайняло години. Тепер кілька коректних промптів — і я отримав робочий скрипт для завантаження, очищення і експорту результатів у Excel. Оце маленька магія, що мінімізує розрив між ідеєю і реалізацією.
Найвагоміша роль LLM — у допомозі статистикам і аналітикам швидко обробляти дані, моделювати, писати математику, створювати звіти, форматувати результати.
Вони також корисні для створення готових документів: структурують тексти, покращують описи, оформлюють таблиці і пояснюють графіки. Якщо раніше моделі помилялися у складних технічних питаннях, то сьогодні рівень помилок суттєво зменшився — хоча уважність і перевірка все ще потрібні.
Я бачу їх як швидких помічників, які можуть за кілька годин зробити роботу, на яку зазвичай ішли дні чи тижні у молодшого помічника: дослідити метод, запропонувати код, створити першу версію графіку, переписати пояснення чи автоматизувати частину звіту.
Проте є одне важливе «але»: людський контроль і верифікація залишаються незмінними.
Численні помилки та вигадки, як, наприклад, скандал навколо звіту EY Canada з фейковими даними й підробленими посиланнями, показують, що сліпо довіряти ШІ небезпечно.
Зрештою, питання не в тому, чи пише AI ваш код, а в тому, за яких умов можна йому вірити. Людина відповідає за перевірку припущень, верифікацію даних, тестування коду і правильне тлумачення висновків.
ШІ змінює стиль роботи, але не позбавляє потреби у професіоналізмі — навпаки, робить його ще необхіднішим.
Імовірно, ці зміни триватимуть: деякі процеси стануть простішими, інші видадуться зайвими, з’являться нові складніші схеми роботи. Щоб залишатися у грі, доведеться вчитися, практикуватися і інтегрувати ці інструменти у повсякденність.
Подібна революція торкнеться і самого поширення знань. Якщо раніше стаття створювалася тижнями, тепер процес займає дні завдяки LLM — це позитивно, бо допомагає більше людям думати і швидко ділитися ідеями.
Але з’являється виклик: підвищення обсягу контенту призведе до його сатурації в мережі, і далеко не всі матеріали матимуть належний резонанс. Можливо з’явиться розрив між тими, хто вміє працювати із AI, і тими, хто йому опирається.
Значущими залишаться саме ті автори, які захоплені темою, прагнуть глибокого розуміння, хочуть чесно поділитися знаннями. ШІ може пришвидшити процес, але не витіснить допитливість, дисципліну і бажання творити щось корисне.
Джерела
Winberg, D., Tsai, E., Tang, T., Xuan, D., Marchi, N., & Shi, L. (2026). Can AI write your code? A case study of chatgpt’s statistical coding capabilities for quantitative research. Health Economics Review.
