Чи можна довіряти ChatGPT? Нове дослідження про штучний інтелект і наукові факти
Штучний інтелект захоплює своєю здатністю допомагати в різних сферах, тож не дивно, що багато хто з нас активно користується ним для отримання інформації. ChatGPT став у нагоді для уточнення правопису, пунктуації, пошуку відповідей та навіть у творчих завданнях. Проте, варто пам’ятати: ІІ — це не магічна машина істини, він весь час вчиться, і не всі його знання бездоганні.
Чому ця тема важлива?
Нещодавно з’явилися свіжі дані, які підкреслюють обмеження ChatGPT в науковій сфері. Виявилось, що цей інструмент не завжди вірно і послідовно оцінює наукові гіпотези, що ставить під сумнів його надійність у таких питаннях.
Дослідження від Вашингтонського університету
Група науковців на чолі з доцентом Месутом Чічеком із Вашингтонського університету провела експеримент, де перевірила точність відповідей ChatGPT щодо правдивості приблизно 700 наукових гіпотез. Кожне запитання повторювалось 10 разів, аби оцінити послідовність відповідей.
Основні етапи та методика
- Збір великої бази гіпотез із наукових статей.
- Постановка запитів до ChatGPT з проханням підтвердити чи спростувати кожну.
- Повторення процедури по 10 разів для кожної гіпотези, щоб перевірити стабільність відповідей.
Результати і їх непередбачуваність
Очікувалося, що ІІ даватиме сталу відповідь при повторних запитах. Але все виявилось інакше: лише у 73% випадків відповіді були послідовними. Це означає, що ChatGPT часто міняв свої судження над одними й тими ж гіпотезами.
Щодо правильності відповідей, у 2024 році показник точності становив близько 75%, а в 2025 – трохи збільшився до 80%. Проте варто врахувати, що для задачі типу «правда чи неправда» випадкове вгадування дає 50% шансів, а тому реальна корисність ChatGPT була лише на 60% кращою за просту випадковість.
Де ж найбільші труднощі?
- Інструмент найгірше справлявся з виявленням хибної інформації — лише 16,4% правильних відповідей, коли відповідь мала бути «хибно».
- Послідовність і точність бралися у понад 10 повторних тестах і показували значні коливання.
- Це ставить під питання використання ChatGPT як надійного джерела для критичних рішень.
Що варто взяти на замітку бізнесам і користувачам?
Для тих, хто застосовує ІІ у професійній діяльності, важливо пам’ятати, що:
- Перед тим, як покладатися на відповіді штучного інтелекту, варто перевіряти факти з інших джерел.
- Навчання співробітників, як правильно взаємодіяти з ІІ, допоможе уникнути необдуманих рішень.
- Варто сформувати критичний підхід і скептицизм навіть до «безпомилкових» відповідей машин, особливо у сфері науки.
Розуміння можливостей і обмежень штучного інтелекту допоможе ефективніше користуватись цим потужним інструментом без ризику покладатися на неперевірену інформацію.
