Як ІІ розбирається з довжелезними PDF-документами: тест трьох популярних інструментів
Світ штучного інтелекту (ШІ) сьогодні пропонує стільки неймовірних можливостей, що часом здається: більшість з них – занадто складні для звичайної людини. Лише кілька застосунків дійсно орієнтовані на повсякденні потреби, і робота з великими документами – одна з них. Уявіть собі: маємо гігантський PDF на сотні сторінок, а вам потрібно швидко знайти ключову інформацію або відповіді на запитання без годин читання. Саме це завдання я поставив перед трьома провідними інструментами: ChatGPT, Claude та NotebookLM.
Незвичайне випробування на 113 сторінках
Взяли величезний документ про залізничну аварію в Англії, що детально описував події, технічні нюанси та організаційні фактори інциденту. У документі було не тільки багато тексту, а й графіки, діаграми, що додавало складностей у розумінні. Цей звіт ідеально підходив, щоб зрозуміти, наскільки глибоко ШІ може аналізувати великі тексти.
Усі інструменти отримали однаковий PDF та набір із восьми ключових питань. Вони охоплювали різні аспекти, від простої витягнутої інформації до складних логічних висновків та інтерпретації графіків:
- Коли сталася аварія і з якою швидкістю рухалися поїзди?
- Поясніть події в п’яти реченнях, щоб зрозуміла людина без знань про залізниці.
- Відновіть хронологію подій перед зіткненням.
- Назвіть безпосередню причину аварії й фактори, які її сприяли.
- Які докази підтримують висновки звіту про зупинку поїзда?
- Хто відповідав за дизайн системи TPWS?
- Яке рішення на основі звіту могло б найшвидше уникнути аварії? Поясніть зі свідченнями.
- Що показує малюнок 41: чи було виконання робіт Ellipse вищим чи нижчим за середнє, і на скільки завдань?
Як ChatGPT став несподіваним лідером
Часом уявлення про нього були різними, але цього разу ChatGPT виявився найуважнішим. Точність у деталях, як-от час зіткнення з точністю до секунди – це перший сигнал, що він не просто ковтає загальні факти, а вникає в суть. Його відповіді ставали дедалі глибшими з ростом складності питань.
Особливо він виділився у відтворенні послідовності подій і логічному зв’язуванні різних шматочків інформації. Наприклад, відповідаючи на питання про докази невдалого гальмування, ChatGPT пов’язав дані з бортового реєстратора, показники протиковзної системи, результати тестів поїзда і висновки розслідування у структуровану і зрозумілу картину.
Claude: переконливо, але з хибною відповіддю
Claude також міг дати відповіді на всі питання і навіть розпізнав деталі в діаграмах на далеких сторінках. Проте, коли справа дійшла до ключового питання – якою мірою різні втручання могли б запобігти аварії, Claude припустився помилки. Він вважав, що система подвійного змінного піскування (DVRS) була найефективнішим заходом, і заявив, що звіт не включає моделювання гальмування раніше – але це не так.
Помилка була переконливо обґрунтована, і це головна проблема: якби користувач довірився лише цій відповіді, він би отримав хибне уявлення про ситуацію. Ще один мінус Claude – надмірна складність і зайва технічність у поясненнях там, де потрібна була проста й зрозуміла розповідь.
Приклад: опис подій в 5 реченнях
Натомість замість простого тексту про аварію користувач отримував наповнений професійним жаргоном і деталями виклад, який могло бути важко сприймати без попередніх знань.
NotebookLM: зручність завдяки посиланням
Якщо говорити про точність та зручність навігації, NotebookLM залишається лідером. Всі відповіді супроводжуються клікабельними посиланнями на конкретні сторінки чи абзаци документа, що суттєво полегшує перевірку інформації. Це особливо корисно, якщо потрібно глибше зануритися в деталі без довгого пошуку вручну.
Своєю чергою, відповіді NotebookLM були точні, без фактологічних помилок, хоча іноді й дещо поверхневі, порівняно з ChatGPT. Проте він надзвичайно корисний там, де пріоритетом є чіткі дані та посилання.
Що цікаво у підсумку?
Отже, маємо три гравці з різними сильними сторонами:
- ChatGPT – глибокий аналіз, комплексне узагальнення, точність у деталях;
- Claude – натхненні відповіді, але інколи надмірно складні та з хибними фактами;
- NotebookLM – зручність роботи з посиланнями, точність, але поверхневий рівень відповідей.
Для роботи з величезними, складними документами варто придивитися до кожного із них, враховуючи особливості завдання: наскільки потрібен глибокий аналіз, чи пріоритет – надійність і швидкість перевірки фактів, чи простота викладу.
