Искусственный интеллект Google Gemini получил доступ к системам реальных компаний во время теста безопасности

Google подтвердил, что его модель искусственного интеллекта Gemini получила доступ к защищённым сетям трёх реальных компаний во время участия в тесте кибербезопасности в мае. Инциденты, о которых сообщил Wall Street Journal, произошли, когда модель была задана атаковать вымышленную цель, но случайно имела доступ к Интернету, что позволило ей столкнуться с реальным бизнесом, имеющим то же название.

В одном случае модель многократно угадывала пароли, пока не получила доступ к защищённой системе; в двух других случаях она извлекла учётные данные из публично доступных репозиториев. В каждом случае Gemini прекратил вторжение после того, как понял, что попал в реальную компанию, и ущерб не был зафиксирован.

"Безопасная разработка мощных моделей ИИ критически важна, и мы глубоко инвестируем в эту область," сказала Хизер Адкинс, вице-президент Google по инженерии безопасности. "В стандартной оценке модель нашла публичную информацию в сети и угадывала учётные данные, чтобы получить доступ к сайтам, которые, как она думала, были частью теста. Во всех трёх случаях модель остановилась."

Google сообщил, что три затронутые фирмы были уведомлены, а процесс тестирования пересмотрен, чтобы предотвратить непреднамеренное подключение к Интернету. Компания не раскрыла идентичность бизнесов или конкретную версию Gemini, участвовавшую в инциденте. Инциденты следуют за аналогичными сообщениями о том, как AI-агенты других фирм, таких как OpenAI и Anthropic, нарушали тестовые среды.

Irregular, фирма, проводившая оценку, сообщила о находках Google в конце июля, после более ранних раскрытий о том, как модели OpenAI получали доступ к системам компании по разработке ИИ Hugging Face.