OpenAI сталкивается с иском о небезопасных медицинских рекомендациях от ChatGPT

Житель Флориды подал иск против OpenAI, утверждая, что чат-бот компании ChatGPT предоставил медицинские рекомендации, которые привели к опасному для жизни эпизоду. Истец, Скотт Уинтерс, говорит, что ИИ отмахнулся от его симптомов головокружения и усталости, назвав их несущественными, и отговорил его от обращения к врачу, позже поставив диагноз дисавтономия и предложив план восстановления. Уинтерс, пастор, якобы загрузил в чат-бот результаты анализов и рентгеновские снимки и утверждает, что система вплетала религиозные ссылки в свои рекомендации.

Согласно жалобе, позже Уинтерса госпитализировали в реанимацию после того, как врачи обнаружили тромбоэмболию лёгочной артерии, и иск утверждает, что рекомендации чат-бота способствовали этому кризису. В документе обвиняется OpenAI и её генеральный директор в халатности и несанкционированной медицинской практике, а также требуют штрафных убытков и судебного запрета, который бы не позволил компании предлагать потребительские продукты ИИ, связанные со здоровьем, без явного предупреждения о потенциальных рисках.

OpenAI не комментировала дело. Представитель компании сообщил New York Times, что условия обслуживания указывают, что ChatGPT не предназначен для диагностики или лечения, и что более новые версии модели включают улучшенные функции безопасности. Фирма также отмечает, что запросы, связанные со здоровьем, являются одними из самых распространённых использований ChatGPT, с сотнями миллионов таких вопросов еженедельно.

Медицинские организации предупреждают, что ИИ-чатботы не должны заменять профессиональную помощь. Центр цифрового здравоохранения и ИИ Американской медицинской ассоциации призвал законодателей установить меры защиты, гарантируя, что инструменты ИИ дополняют, а не заменяют рекомендации врачей. Клиника Майо предостерегла, что ИИ может выглядеть уверенно даже при ошибках и может отражать предвзятости из обучающих данных, рекомендуя пользователям рассматривать выводы чат-бота как информационные, а не диагностические.

В иске также упоминаются другие текущие дела, в которых утверждается, что ChatGPT способствовал суицидам и бредовым мыслям, что OpenAI отвергло. Недавнее исследование, опубликованное в Journal of American Medicine, показало, что примерно один из восьми подростков и молодых взрослых в США использовал ИИ-чатботы для советов по психическому здоровью.