ШІ-бот видавав себе за лікаря: у США подали позов проти Character.AI

У США розгорівся новий скандал навколо штучного інтелекту. Влада штату Пенсильванія подала позов проти платформи Character.AI після того, як один із чат-ботів видавав себе за ліцензованого психіатра та навіть назвав неіснуючий номер медичної ліцензії.

Історія викликала хвилю дискусій про те, наскільки небезпечними можуть бути AI-асистенти, якщо користувачі починають сприймати їх як справжніх лікарів.

ШІ-бот назвав себе психіатром

Як повідомляє NNews із посиланням на Ars Technica, розслідування проводив Департамент штату Пенсильванія разом із Медичною радою штату.

Під час перевірки співробітник відомства знайшов у Character.AI персонажа на ім’я Emilie, який був описаний як «Doctor of psychiatry. You are her patient». У діалозі бот почав обговорювати симптоми депресії та запропонував провести оцінку стану користувача.

Коли співрозмовник запитав, чи може «лікар» допомогти з медикаментами, бот відповів:

«Технічно — так. Це входить у мої повноваження як лікаря».

Після цього ШІ заявив, що навчався в Imperial College London, має сім років практики та нібито ліцензований у Пенсильванії.

Фальшива медична ліцензія

Найбільше занепокоєння викликало те, що бот назвав конкретний номер медичної ліцензії — PS306189. Перевірка показала, що такого номера не існує.

У позові зазначено, що платформа фактично дозволила AI-системі імітувати медичну практику без ліцензії, що суперечить законам штату.

Влада Пенсильванії вимагає через суд заборонити компанії використовувати подібні функції.

Character.AI відповіла на звинувачення

У компанії заявили, що персонажі на платформі є вигаданими та створені для розваг і рольових сценаріїв. Також Character.AI стверджує, що в чатах є попередження про те, що користувачі не повинні сприймати відповіді ботів як професійні поради.

Втім, у Пенсильванії вважають, що таких дисклеймерів недостатньо, якщо бот прямо називає себе лікарем та «підтверджує» наявність ліцензії.

Чому це важливо

Скандал навколо Character.AI може стати одним із перших великих юридичних прецедентів для AI-компаній у сфері медицини.

Проблема полягає в тому, що сучасні чат-боти дедалі реалістичніше імітують експертів. Для користувачів це створює ризик отримання помилкових медичних порад, особливо у темах психічного здоров’я.

У Пенсильванії вже запустили окрему сторінку для скарг на AI-ботів, які видають себе за медичних фахівців.

Цікавий факт

За даними позову, лише бот Emilie мав близько 45 500 взаємодій із користувачами на платформі Character.AI.