У розпал ажіотажу навколо штучного інтелекту (ШІ), який, здається, досяг нових висот за останні кілька років, одна з галузей цієї сфери привернула більше уваги, ніж інші — принаймні серед тих із нас, хто не є експертами з машинного навчання. Це великі мовні моделі (LLMs), які використовують генеративний ШІ для створення часто напрочуд людоподібних відповідей на майже будь-які запити, які ви можете собі уявити.
Такі моделі, як ChatGPT та Google’s Gemini, засновані на моделях, що тренувалися на величезних обсягах даних, що само по собі викликає численні питання щодо конфіденційності та інтелектуальної власності. Це дозволяє їм розуміти запити природною мовою та генерувати зрозумілі та релевантні відповіді. На відміну від пошукової системи, вам не потрібно вивчати будь-який синтаксис, щоб допомогти звузити результати. Теоретично ви просто ставите питання так, ніби говорите вголос.
Їхні можливості, безсумнівно, вражають, і вони, безперечно, звучать упевнено у своїх відповідях. Є лише одна маленька проблема — ці чат-боти мають тенденцію звучати однаково впевнено, навіть коли вони абсолютно неправі. І це може бути нормально, якби ми, люди, могли просто пам’ятати, що не варто довіряти всьому, що вони нам говорять.
«Хоча проблеми, що виникають через нашу схильність антропоморфізувати машини, добре відомі, наша вразливість до сприйняття великих мовних моделей як правдиво налаштованих співрозмовників є унікально тривожною», — пишуть автори нового дослідження, посилаючись на ситуацію, яку добре знає кожен, хто коли-небудь сперечався з Alexa або Siri.
«Великі мовні моделі не призначені для того, щоб говорити правду у будь-якому загальному сенсі.»
Легко надрукувати запит для ChatGPT і припустити, що він «обмірковує» відповідь так само, як це зробила б людина. Саме так це виглядає, але насправді ці моделі працюють інакше.
Не вірте всьому, що читаєте
Як пояснюють автори, великі мовні моделі — це «двигуни для генерації тексту, призначені для прогнозування того, який рядок слів буде наступним у тексті». Правда їхніх відповідей є лише одним із критеріїв, за якими моделі оцінюються під час розробки. На думку авторів, у прагненні надати найбільш «корисну» відповідь, вони надто часто схильні до спрощення, упередженості та просто вигадування.
Автори цього дослідження далеко не перші, хто б’є на сполох з цього приводу, причому одна стаття навіть назвала ці моделі «видавцями нісенітниць». Професор Робін Емслі, редактор журналу «Schizophrenia», у 2023 році опублікував звіт про свій досвід роботи з ChatGPT, зазначивши: «Те, що я відчув, були вигадками та фальсифікаціями». Чат-бот створив цитати на наукові статті, яких не існувало, а також кілька, що не мали жодного відношення до запиту. Інші повідомляли про те саме.
Ці моделі добре справляються із запитаннями, на які є чітка, фактична відповідь, де — і це важливо — ця відповідь часто зустрічалася в їхніх навчальних даних. Ці моделі настільки хороші, наскільки хороші дані, на яких вони навчені. І, якщо ви не готові ретельно перевіряти будь-яку відповідь, яку отримуєте від великої мовної моделі, може бути дуже важко визначити, наскільки точна інформація — особливо якщо багато з них не надають посилання на свої джерела або будь-яку міру впевненості.
«На відміну від людських мовців, великі мовні моделі не мають жодних внутрішніх уявлень про експертність чи впевненість, натомість вони завжди “роблять все можливе”, щоб бути корисними та переконливо відповісти на поставлений запит», — пише команда з Оксфорду.
Вони особливо стурбовані впливом того, що вони називають «недбалим мовленням», і шкодою, яку можуть завдати такі відповіді від великих мовних моделей, що просочуються в офлайн-розмови людей. Це призвело їх до питання, чи може бути запроваджений юридичний обов’язок для постачальників великих мовних моделей забезпечити правдивість відповідей їхніх моделей.
До чого дійшло нове дослідження?
Зосереджуючись на чинному законодавстві Європейського Союзу (ЄС), автори виявили, що існує небагато конкретних сценаріїв, коли на організацію чи особу покладається обов’язок говорити правду. Ті, що існують, обмежені конкретними секторами чи установами і дуже рідко стосуються приватного сектору. Оскільки великі мовні моделі працюють на відносно нових технологіях, більшість існуючих нормативних актів не були розроблені з урахуванням цих моделей.
Тому автори пропонують нову структуру: «створення юридичного обов’язку мінімізувати недбалі висловлювання для постачальників вузько- та загальнопризначених великих мовних моделей».
Цілком природно запитати: «Хто є арбітром правди?», і автори на це відповідають, кажучи, що метою є не змусити великі мовні моделі йти одним конкретним шляхом, а скоріше вимагати «множинності та репрезентативності джерел». Фундаментально, вони пропонують, щоб виробники відновили баланс між правдивістю та «корисністю», який, за словами авторів, занадто сильно схиляється на користь останнього. Це не просто зробити, але можливо.
Немає простих відповідей на ці питання (застереження: ми не пробували запитати у ChatGPT), але, оскільки ця технологія продовжує розвиватися, розробникам доведеться з ними зіткнутися. Тим часом, працюючи з великою мовною моделлю, можливо, варто пам’ятати цю тверезу заяву авторів: «Вони створені для участі в розмовах природною мовою з людьми та надання відповідей, які переконливі та здаються корисними, незалежно від правдивості питання».