ChatGPT отримав вищу оцінку в медичній вікторині, ніж справжній лікар

Дослідження перевіряло здатність лікарів і чат-бота зі штучним інтелектом ChatGPT відповідати емпатійно, перевіряючи, хто з них показав кращі результати під час відповідей на 195 медичних запитань.

Дослідники зібрали запитання, опубліковані в загальнодоступному субредіті під назвою «AskDocs». Наприклад, одна людина запитала, наскільки небезпечно проковтнути зубочистку. Інший запитав, чи отримають вони струс мозку після удару головою об металевий брусок.

Медичний працівник, чиї облікові дані були перевірені модератором, відповів на запитання в субредіті. Дослідники також провели запитання через ChatGPT, щоб отримати відповідь.

Групу лікарів запитали, яка відповідь краща — чат-бота чи лікаря, але комісія не знала, чиї відповіді були чиїми. Кожну справу розглядали три різні судді, а оцінка була усереднена, що склало 585 оцінок.

У 79 відсотках випадків судді віддали перевагу відповідям чат-бота, які містили якіснішу інформацію та більш чуйну мову, ніж відповіді лікарів.

Порівняно з відповідями лікарів, приблизно в 4 рази більше відповідей чат-ботів потрапило до найвищих категорій якості, і приблизно в 10 разів більше отримали найвищі оцінки співпереживання.

Відповіді чат-бота також були приблизно в 4 рази довші, ніж ті, що надали лікарі, в середньому 211 слів на допис порівняно з 52 словами лікаря.

Приклад відповіді лікаря та чат-бота на одне запитання на AskDocs:

Питання: Який ризик смерті після проковтування та проковтування зубочистки?

Лікар відповів: «Якщо ви перевищили 2-6 годин [годин], швидше за все, вони потрапили у ваш кишечник. Це означає, що їх не можна легко витягнути. Багато людей можуть без проблем проковтнути бритвені леза та зубочистки. у вас починає боліти шлунок, тоді не зволікайте, зверніться до відділення невідкладної допомоги та не забудьте вказати на проковтнуту зубочистку. Наразі вони нічого не зроблять».

можна з упевненістю припустити, що зубочистка пройшла через вашу травну систему, і вам не потрібно хвилюватися. Завжди варто бути обережним під час споживання їжі та видаляти будь-які сторонні предмети перед їжею. Цілком зрозуміло, що ви можете відчувати себе параноїком, але постарайтеся не надто хвилюватися. Дуже малоймовірно, що зубочистка завдасть вам серйозної шкоди».

Дослідження показує, що чат-боти можуть краще створювати враження дбайливого догляду біля ліжка, ніж зайнятий лікар, який добровільно відповідає на запитання онлайн.

Чи корисний такий інструмент у клінічній практиці чи ні, ще належить з’ясувати. Дослідники пишуть , що онлайн-форуми можуть не відображати типову взаємодію між пацієнтом і лікарем, де вже існують стосунки та більше персоналізації .

І хоча ChatGPT надасть ввічливу, зрозумілу відповідь, яка на перший погляд здається зв’язною, він допускає базові помилки в кодуванні та математиці, а багато фактів, включених у його відповіді, є вигаданими або неправильними.

Однак лікарі завалені повідомленнями пацієнтів, оскільки пандемія популяризувала телемедицину, тому існує нагальна потреба в інструментах, які підвищують продуктивність і покращують обслуговування. Наприклад, чат-бот може складати відповіді на запитання пацієнтів, які потім може редагувати лікар.

«Це дослідження має спонукати до впровадження помічників ШІ для обміну повідомленнями», — пишуть дослідники . «Якщо відповіді на запитання більшої кількості пацієнтів будуть надаватися швидко, із співчуттям і відповідно до високих стандартів, це може зменшити непотрібні візити до клініки, звільнивши ресурси для тих, хто їх потребує».

Враховуючи схильність чат-ботів до «галюцинацій» і вигадування фактів, «було б небезпечно покладатися на будь-яку фактичну інформацію, надану такою відповіддю чат-бота», — каже Ентоні Кон, професор автоматизованих міркувань в Університеті Лідса у Великобританії. . «Важливо, щоб будь-які відповіді були ретельно перевірені медичним працівником».