Anthropic описывает подход к безопасному развертыванию AI-агентов в физических средах
Anthropic заявляет, что AI-агенты могут ускорить исследования и производство, но должны руководствоваться строгими протоколами безопасности, чтобы избежать новых рисков.
Anthropic, исследовательская фирма в области ИИ, стоящая за серией Claude, опубликовала позиционный документ, описывающий, как её будущие AI-агенты должны работать в реальном мире. Компания утверждает, что хотя автономные агенты могут ускорить научные открытия и оптимизировать производственные линии, они также вводят новые проблемы безопасности, отличные от чисто цифровых приложений.
В документе рекомендуется многоуровневая система контроля, сочетающая мониторинг в реальном времени, тестирование в изолированных «песочницах» и явный человеческий надзор до того, как агентам будет разрешено взаимодействовать с физическим оборудованием. Anthropic подчёркивает, что агенты должны быть оснащены встроенными механизмами аварийного отключения, способными остановить операции при обнаружении неожиданного поведения.
"Мы должны рассматривать физическое развертывание как отдельную область риска, требующую строгой верификации и постоянного надзора," — сказал представитель Anthropic.
Anthropic также призывает к созданию отраслевых стандартов в области прозрачности, происхождения данных и ответственности, предлагая, чтобы регуляторы сотрудничали с разработчиками для определения чётких правил ответственности за инциденты, связанные с автономными агентами. Компания планирует протестировать свою архитектуру безопасности в сотрудничестве с несколькими производственными партнёрами позже в этом году.