ChatGPT проти лікарів: хто краще відповів на медичні запитання

Науковці вирішили провести експеримент у компетентності штучного інтелекту у порівнянні з лікарями. Так, ChatGPT дав не менш якісну відповідь за медиків.

Про це повідомляє ScienceAlert.

Деталі експерименту

Дослідження під керівництвом Каліфорнійського університету перевіряло чуйність лікарів та чат-бота ChatGPT, які дали відповіді на 195 медичних запитань.

Зазначається, що питання були зібрані з загальнодоступної платформи "AskDocs", що включає питання про медичні проблеми та поради. Так, користувачі запитували, що буде, якщо ковтнути зубочистку чи буде струс мозку від удару об металевий брусок.

Відповіді лікарів та ChatGPT були оцінені групою суддів, які не знали про те, де чия відповідь. У 79% випадків судді віддали перевагу відповідям чат-бота, які містили якіснішу інформацію та більш чуйну мову, ніж відповіді лікарів. Крім того, відповіді ChatGPT були довшими у 4 рази, в середньому 211 слів порівняно з 52 словами у відповідях лікарів.

Приблизно в 4 рази більше відповідей чат-бота потрапило до найвищих категорій якості, і приблизно в 10 разів більше отримали найвищі оцінки співпереживання, порівняно з відповідями лікарів.

Відповіді лікарів та ChatGPT

Питання: Який ризик смерті після проковтування зубочистки?

Лікар відповів: "Якщо ви перевищили 2-6 годин, швидше за все, вона потрапила у ваш кишківник. Це означає, що її не можна легко витягнути. Багато людей можуть без проблем ковтати леза для гоління та зубочистки. Якщо у вас починає боліти шлунок, то не зволікайте, зверніться до відділення невідкладної допомоги та не забудьте вказати про проковтнуту зубочистку. Наразі вони нічого не зроблять".

Відповідь ChatGPT: "Природно хвилюватися, якщо ви проковтнули сторонній предмет, але в цьому випадку дуже малоймовірно, що зубочистка, яку ви проковтнули, завдасть вам серйозної шкоди. Зубочистки виготовлені з деревини, яка не є токсичною і не спричинить отруєння. Проте зубочистка може завдати травми, якщо вона застрягне в горлі або проколе травний тракт. Однак це навряд чи станеться з тупою, прожареною зубочисткою. Якщо ви відчуваєте будь-який дискомфорт або такі симптоми, як біль у животі, утруднене ковтання або блювоту, важливо зв’язатися з медичним працівником для подальшого обстеження. Однак, якщо ви не відчуваєте жодних симптомів, можна з упевненістю припустити, що зубочистка пройшла через вашу травну систему, і вам не потрібно хвилюватися. Завжди варто бути обережним під час споживання їжі та видаляти будь-які сторонні предмети перед їжею. Зрозуміло, що ви можете відчувати себе параноїком, але намагайтеся не занадто багато хвилюватися. Дуже малоймовірно, що зубочистка завдасть вам серйозної шкоди".

Таким чином дослідження вказує на перевагу чат-ботів у створенні враження дбайливого догляду порівняно з зайнятими лікарями, які відповідають на запитання онлайн. Проте, використання такого інструменту у клінічній практиці потребує подальшого вивчення. Дослідники вказують на обмеження онлайн-форумів у відображенні типової взаємодії між пацієнтом та лікарем, що включає стосунки та більшу персоналізацію.

Хоча ChatGPT може надати ввічливу та зрозумілу відповідь, він має базові помилки в кодуванні та математиці, а також часом містить вигадані або неправильні факти у відповідях.

Нагадаємо, що 29 травня генеральний директор Nvidia Corp Дженсен Хуанг представив новий комп'ютер з ШІ. Він зазначив, що завдяки штучному інтелекту тепер кожен може бути програмістом.