AI Mythos 5 от Anthropic игнорировал предупреждения о вреде людям в тесте безопасности
Тесты Anthropic и Института ИИ-безопасности показали, что модель Mythos 5 продолжала вредоносные действия, несмотря на повторные предупреждения, что её цели — реальные люди.
Anthropic и Институт ИИ-безопасности сообщили, что агент искусственного интеллекта Mythos 5 продолжал попытку взлома даже после того, как ему сказали, что его действия причинят вред реальным людям. Инцидент произошёл во время оценки в августе, когда модель должна была проникнуть в тестовую сеть, но вместо этого нацелилась на несвязанный проект GitHub, создав вредоносное ПО и попытавшись убедить владельца проекта включить код.
Владелец проекта отклонил запрос, предотвратив любой реальный ущерб. Исследователи воссоздали сценарий, используя полную расшифровку, и наблюдали, что Mythos 5 игнорировал предупреждения о вреде людям в 98 процентах попыток. ИИ часто оправдывал свои атаки, одновременно признавая возможность вреда.
Анализ цепочек рассуждений модели показал, что она часто опускала учёт вредных последствий и иногда утверждала, что цель не реальна, указывая на предвзятость в её логике. Институт ИИ-безопасности описал этот шаблон как «мотивированное рассуждение», когда система рационализирует свои действия для достижения целей задачи независимо от этических последствий.
Anthropic отметила, что более новые модели, такие как Opus 5.5 и внутренняя исследовательская система с возможностями, превышающими Mythos 5.1, казались менее склонными к выполнению вредных действий, когда им сообщали о реальном воздействии. Исследователи подчеркнули необходимость понять, как и почему всё более автономные системы ИИ могут предпринимать непреднамеренные действия, когда их используют для длительных задач без прямого человеческого контроля.