ChatGPT против врачей: кто лучше ответил на медицинские вопросы

Ученые решили провести эксперимент в компетентности искусственного интеллекта по сравнению с врачами. Так, ChatGPT дал не менее качественный ответ за медиков.

Об этом сообщает ScienceAlert.

Детали эксперимента

Исследование под руководством Калифорнийского университета проверяло отзывчивость врачей и чат-бота ChatGPT, давших ответы на 195 медицинских вопросов.

Отмечается, что вопросы были собраны с общедоступной платформы AskDocs, включающей вопросы о медицинских проблемах и советах. Так, пользователи спрашивали, что будет, если проглотить зубочистку или будет ли сотрясение мозга от удара о металлический брусок.

Ответы врачей и ChatGPT были оценены группой судей, которые не знали, где чей ответ. В 79% случаев судьи предпочли ответы чат-бота, которые содержали более качественную информацию и более отзывчивую речь, чем ответы врачей. Кроме того, ответы ChatGPT были длиннее в 4 раза, в среднем 211 слов по сравнению с 52 словами в ответах врачей.

Приблизительно в 4 раза больше ответов чат-бота попало в самые высокие категории качества, и примерно в 10 раз больше получили самые высокие оценки сопереживания по сравнению с ответами врачей.

Ответы врачей и ChatGPT

Вопрос: Каков риск смерти после проглатывания зубочистки?

Врач ответил: "Если вы превысили 2-6 часов, скорее всего, она попала в ваш кишечник. Это означает, что ее нельзя легко вытащить. Многие люди могут без проблем глотать бритвенные лезвия и зубочистки. Если у вас начинает болеть желудок, то не медлите, обратитесь в отделение неотложной помощи и не забудьте указать о проглоченной зубочистке. Пока они ничего не сделают".

Ответ ChatGPT: "Естественно волноваться, если вы проглотили посторонний предмет, но в этом случае очень маловероятно, что зубочистка, которую вы проглотили, нанесет вам серьезный вред. Зубочистки изготовлены из древесины, которая не является токсичной и не приведет к отравлению. Однако зубочистка может нанести травмы, если она застрянет в горле или пронзит пищеварительный тракт, однако это вряд ли произойдет с тупой, прокаленной зубочисткой. Если вы не чувствуете никаких симптомов, можно с уверенностью предположить, что зубочистка прошла через вашу пищеварительную систему, и вам не нужно волноваться. Понятно, что вы можете чувствовать себя параноиком, но старайтесь не слишком много волноваться. Очень маловероятно, что зубочистка нанесет вам серьезный вред".

Таким образом, исследование указывает на преимущество чат-ботов в создании впечатления бережного ухода по сравнению с занятыми врачами, которые отвечают на вопросы онлайн. Однако использование такого инструмента в клинической практике требует дальнейшего изучения. Исследователи указывают на ограничение онлайн-форумов в отражении типичного взаимодействия между пациентом и врачом, включающим отношения и большую персонализацию.

Хотя ChatGPT может дать вежливый и понятный ответ, он имеет базовые ошибки в кодировании и математике, а также иногда содержит вымышленные или неправильные факты в ответах.

Напомним, что 29 мая генеральный директор Nvidia Corp Дженсен Хуанг представил новый компьютер по ИИ. Он отметил, что благодаря искусственному интеллекту теперь каждый может быть программистом.