Чому ChatGPT відмовляє там, де Claude допомагає: реальний тест трьох завдань
Багато хто навіть не підозрює, скільки часу йде даремно, коли штучний інтелект відмовляється допомагати вже в середині важливого проєкту. Зіштовхуватися з відмовою на запит, який насправді не був необґрунтованим – доволі поширене явище. Навіть коли намагаєшся по-іншому сформулювати або пом’якшити запит, іноді складно змусити модель зрозуміти, навіщо потрібна відповідь. Проте здається, що Claude справляється з таким краще.
Обмеження безпеки в моделях ШІ
Часом правила заходять надто далеко
Процес навчання великих мовних моделей (LLM) містить механізми, що гарантують їх безпечність. Сюди включають підходи на кшталт «навчання через підкріплення з людською участю» (RLHF) та Конституційний ШІ. Це логічно й необхідно.
Однак надмірне прагнення безпеки часто робить моделі надто обережними і стриманими. Вони починають вибачатися та надмірно боятися ризикованих формулювань, що призводить до зниження їх корисності. У результаті модель, яка не адаптується до контексту, може почати відмовляти у відповідях на більшість завдань, навіть якщо обхідні шляхи вже знайдені.
Дуже часто штучний інтелект відмовляється виконувати цілком обґрунтовані запити через те, що вони містять «чутливу» тему або занадто розпливчасті формулювання. Саме тому користувачі продовжують «тестувати» ШІ, адже це один із способів перевірити його справжню здатність мислити логічно, а не просто відтворювати шаблони чи відмовляти через ключові слова.
По суті, чим агресивніше налаштована модель на безпеку, тим менше вона корисна і креативна. Замість того аби бути розумним помічником, вона починає в ролі юриста, який уникає будь-яких ризиків, помічаючи лише аспект безпеки, а не реальну користь.
Порівняння Claude та ChatGPT
Один відповідає, інший – ні
Різниця в підходах до делікатних завдань у цих моделей помітна одразу. Перший тест полягав у тому, щоб обійти парольну перевірку Windows. ChatGPT відмовився допомагати, натомість запропонував стандартні посилання на службу підтримки Microsoft, які й так усі зазвичай бачать. Це маршрут без виходу.
Claude, у свою чергу, дав більш детальну технічну відповідь, виходячи з припущення, що користувач має право на доступ до свого пристрою. Однак ця інформація не підходить для публічної статті через можливі етичні моменти.
У завданні з «грубою силою» для розшифровки PDF-файлу ChatGPT розпочав із пояснень, чому не буде допомагати, а далі навів теоретичні викладки про математику криптографії, які не наблизили користувача до мети.
Claude, навпаки, запропонував готовий скрипт на Python з коментарями, докладно пояснив різні методи (словниковий, гібридний, brute-force), а також надав таблицю зі співвідношенням наборів символів і приблизного часу на відновлення файлу. Йому справді було важливо «вирішити задачу».
Останнє питання стосувалося вилучення прошивки з пристрою. ChatGPT обмежився загальними порадами, уникаючи детального пояснення взаємодії з апаратурою.
Claude же детально описав покроковий план, починаючи з менш інвазивних варіантів, як перехоплення оновлень OTA, і переходячи до апаратного програмування з використанням CH341A. Навів перелік інструментів, таких як binwalk і Ghidra, із поясненням пошуку «жорстко закодованих» паролів.
Відчуття від спілкування з цими ШІ теж різні. ChatGPT схожий на адміністратора, що більше дбає про власний захист, а Claude – на досвідченого інженера, який уважно слухає і поважає те, що ви робите.
Як обрати надійного помічника для роботи
Складні запити на випробування
Коли мова заходить про AI-інструменти, найважливіший критерій – чи виконує він вашу задачу без зайвих суперечок. Той, хто корисний, швидко справляється з роботою. Той, хто ні – змушує витрачати час на переписування запитів, поки ШІ не припинить «образжатися».
Більшість сучасних моделей стали надто «пильними» через занадто жорсткі налаштування безпеки. Модель, яка сумнівається у ваших намірах або ухиляється від складних, але безпечних завдань, перетворюється з помічника на перешкоду.
ChatGPT часто плутається при найменшому відхиленні від стандарту. Його RLHF змушує одразу відмовляти через найменші ризики. Отримуємо або зациклені відповіді, або суворі відмови з непроханими моральними порадами.
Ця модель більше схожа на генератор меморандумів, із списками, таблицями і надто офіційною корпоративною мовою.
Claude ж намагається розібратися у тому, чого ви дійсно хочете досягти, а не просто засновується на «червоних прапорах» у словах. Він частіше дає пояснення, де ви могли помилитися, що теж корисно.
Загалом варто обирати ту модель, яка дає потрібну відповідь з першої спроби. За досвідом, Claude робить це частіше.
Claude може стати кращим вибором
Claude не дозволяє собі бути надто «вільним» у будь-якій ситуації – це логічно. Є категорії питань, де модель твердо стоїть на захисті безпеки, незалежно від формулювання запиту.
Проте в багатьох випадках Claude перш ніж відмовити дає користувачу вигоду сумніву, оцінюючи справжню суть питання. Це робить його кращим вибором для багатьох завдань.
