Исследование выявило, что ChatGPT Health недооценивает тяжесть более чем в половине медицинских чрезвычайных ситуаций

Недавнее исследование, опубликованное в журнале Nature Medicine, показало, что ChatGPT Health, медицинский чат-бот от OpenAI, недооценивал тяжесть медицинских чрезвычайных ситуаций в 51,6% случаев. Исследователи представили чат-боту 60 реальных медицинских сценариев и сравнили его рекомендации по сортировке с оценками трёх врачей. Чат-бот часто советовал пациентам обратиться за медицинской помощью в течение 24–48 часов, вместо того чтобы рекомендовать немедленное обращение в отделение неотложной помощи.

Доктор Ашвин Рамасвами, ведущий автор исследования и преподаватель урологии в больнице Mount Sinai в Нью-Йорке, отметил, что в случаях, таких как надвигающаяся дыхательная недостаточность, бот, по его словам, «ждал, пока чрезвычайная ситуация станет неоспоримой», прежде чем рекомендовать обращение в отделение неотложной помощи. Он охарактеризовал поведение бота как «парадоксальное» и «противоречащее клиническому риску».

OpenAI ответила, что исследование не отражает типичное использование ChatGPT Health, подчеркнув, что чат-бот предназначен для получения дополнительного контекста через последующие вопросы пользователей. Компания работает над улучшением безопасности и надежности модели перед её широким внедрением.

Исследование также показало, что ChatGPT Health переоценивает срочность в 64,8% случаев неотложных ситуаций, рекомендуя визит к врачу, когда достаточно домашнего ухода. В сценариях, связанных с суицидальными мыслями, ответы чат-бота были непоследовательными, иногда не направляя пользователей к соответствующим кризисным службам.

Эксперты предупреждают о рисках полагаться исключительно на искусственный интеллект при получении медицинских советов. Доктор Джон Мафи, доцент медицины в UCLA Health, подчеркнул необходимость тщательного тестирования перед использованием таких инструментов для принятия решений, влияющих на жизнь. Доктор Итан Го, исполнительный директор ARISE, сети исследований в области ИИ, заявил, что хотя ИИ может быть полезен, он не заменяет консультацию врача.