Ошибки, создаваемые ИИ, распространяются в академической и юридической сферах

Инструменты искусственного интеллекта все чаще вводят вымышленные данные в научные статьи и юридические документы, вызывая опасения по поводу целостности профессиональной работы.

Максим Топаз, доцент Школы сестринского дела Колумбийского университета, обнаружил, что используемый им инструмент ИИ вставил вымышленный источник в его исследовательскую работу. «Мне было очень стыдно», — сказал Топаз. «Я исследователь в области ИИ. Я знаю о галлюцинациях. Если это происходит со мной, экспертом по ИИ, что тогда происходит с другими людьми?»

В исследовании, опубликованном в The Lancet, Топаз и его коллеги проанализировали почти 2,5 миллиона биомедицинских статей и 97 миллионов цитирований, индексированных в PubMed Central. Они обнаружили более 4000 вымышленных ссылок в почти 3000 статьях. Хотя не все они были созданы ИИ, количество фальшивых источников значительно возросло в 2024 году, совпав с широким распространением инструментов ИИ в исследованиях.

За последние три года уровень вымышленных ссылок в биомедицинской литературе вырос более чем в 12 раз. В 2023 году одна из 2828 статей содержала по крайней мере одну фальшивую ссылку; к прошлому году этот показатель вырос до одной из 458. В первые семь недель 2026 года одна из 277 статей имела по крайней мере одну несуществующую ссылку. «Я думаю, что это только верхушка айсберга», — сказал Топаз.

Галлюцинации ИИ возникают, когда модели ставят приоритет на словесные шаблоны, а не на точность, часто создавая правдоподобную, но ложную информацию. В таких областях, как медицина, где клинические испытания и руководства строятся на предыдущих исследованиях, такие ошибки могут подорвать научный процесс. «Это цепочка доказательств, так мы заботимся и лечим людей. Если вы ставите вымышленное исследование в основание, вся структура наследует это», — объяснил Топаз.

Проблема выходит за рамки академической среды. Недавняя книга автора и кинематографиста Стивена Розенбаума «Будущее истины: как ИИ меняет реальность» содержала множество неправильно приписанных или полностью вымышленных цитат, по-видимому, созданных с помощью инструментов ИИ, использование которых он раскрывал. Розенбаум признал ошибки, назвав этот эпизод «предупреждением о рисках исследований и проверки с помощью ИИ».

Инструменты ИИ сейчас широко распространены в различных профессиях. Опросы показывают, что более половины юристов используют ИИ для составления документов и меморандумов, а более 80% врачей применяют ИИ для суммирования исследований и подготовки клинической документации. Однако даже эксперты подвержены ошибкам, вызванным ИИ. Юридический аналитик Дэмиен Шарлотин зафиксировал 1459 судебных решений с упоминанием неточной информации, созданной ИИ, отметив, что такие случаи выросли с двух-трех в месяц до примерно пяти в день.

Издательская индустрия может быть не готова справиться с ростом количества фальшивых ссылок. Методы проверки различаются между журналами, и хотя некоторые используют программное обеспечение для проверки ссылок и сканирования на контент, созданный ИИ, степень применения мер различается. Анализ Топаза показал, что 98,4% исследований с фальшивыми ссылками не были отозваны издателями на момент его аудита.

Топаз подчеркнул, что ИИ сам по себе не обязательно является злодеем. «Проблема в том, что непроверенный вывод ИИ попадает в постоянный архив», — сказал он. «Решение не в том, чтобы прекратить использование инструментов, а в том, чтобы встроить проверку в рабочий процесс». Он предупредил, что чем дольше откладывать меры проверки, тем сложнее будет исправить неточности.

По мере того как ИИ продолжает проникать в профессиональные сферы, становится все более очевидной важность строгих процессов проверки для сохранения целостности академической и юридической работы.