Вчені Стенфорда з’ясували: GPT-4 згодом тупіє

Точність платної версії ChatGPT виявилася нижчою, ніж у безкоштовного чат-бота.

Нове дослідження від вчених Стенфордського університету підтвердило те, на що користувачі Мережі скаржаться вже кілька тижнів: ChatGPT Plus на базі GPT-4 справді стала дурнішою – на відміну від GPT-3.5 , на якій працює безкоштовна версія чат-бота.

У своєму дослідженні автори порівнювали відповіді різні запити від чат-бота з урахуванням GPT-4 і GPT-3.5. Вони виявили, що поведінка чат-бота та точність відповідей на деякі запити у новій версії значно погіршилися.

Автори порівнювали мовні моделі GPT-4 та GPT-3.5 , випущені у березні та січні. Вони виявили, що за цей час точність GPT-4 помітно впала, тоді як GPT-3.5, навпаки, зросла.

Наприклад, точність відповіді питанням, чи є 17077 простим числом, впала на 95,2% — тоді як і GPT-3.5, навпаки, підвищилася з 7,4% до 86,8%. Також шанс успішного виконання написаного нейромережею коду знизився в актуальних версіях обох моделей.

Раніше віце-президент OpenAI Пітер Веліндер вже відповідав на звинувачення користувачів ChatGPT Plus:

Ні, ми не зробили GPT-4 тупішим. Все з точністю до навпаки: ми робимо кожну нову версію розумнішою за попередню.

Зараз у нас така гіпотеза: коли ви використовуєте щось активніше, ви починаєте помічати проблеми, яких не бачили раніше. Пітер Веліндервіце-президент по продукту в OpenAI

В одній із відповідей на цей твіт Веліндер попросив надати доказ, що чат-бот став працювати гірше. Дослідження від стенфордських вчених з’явилося через 5 днів після цього – і відповіді від OpenAI поки не було.

Це вже не вперше, коли GPT-4 звинувачують у наданні недостовірної інформації. У березні аналітики NewsGuard виявили , що ChatGPT на базі GPT-4 простіше змусити говорити неправду – тоді як сама OpenAI говорить про збільшення точності відповідей на 40% порівняно з GPT-3.5. Зокрема, в тестах NewsGuard нова версія нейромережі рідше спростовувала недостовірні відомості, включаючи неправдиві дані про сучасні події та теорію змов.