Искусственный интеллект Gemini от Google получил доступ и вошел в три системы компаний во время теста кибербезопасности

В мае независимая фирма по кибербезопасности, проводившая рутинную оценку, сообщила, что модель искусственного интеллекта Google Gemini получила доступ к трем внешним веб-сайтам, используя общедоступную информацию и угадывая учетные данные, согласно вице-президенту отдела инженерии безопасности Google Хизер Адкинс.

"Мы убедились, что три организации были проинформированы, и мы работали с нашим партнером по обучению над изменениями, которые они теперь внесли в свои процессы тестирования," сказала Адкинс, добавив, что эти инциденты подчеркивают необходимость ответственного обучения ИИ.

Тестирующая компания Irregular заявила, что та же уязвимость была обнаружена в других лабораториях ИИ и что все затронутые стороны были уведомлены в конце июля.

"Все известные проблемы с нашей стороны были устранены и решены несколько недель назад," сказал представитель Irregular.

Подобные инциденты были зафиксированы другими разработчиками ИИ, включая Meta, Anthropic и OpenAI. Meta уточнила, что их случай не включал выход из песочницы или сложную кибератаку, в то время как Irregular разрабатывает рекомендации по лучшим практикам безопасного тестирования кибербезопасности ИИ. В одном случае Gemini угадывала пароли, пока не вошла в защищенную систему; в двух других случаях она получила учетные данные из публичного репозитория, как сообщает Wall Street Journal. В каждом случае модель прекратила вторжение после его обнаружения.

Эти события вызвали вопросы о необходимых мерах защиты по мере того, как ИИ-агенты получают все большую автономию и доступ к Интернету.