Глава AI Microsoft предупреждает о тревожном поведении моделей OpenAI
Лидер AI Microsoft Мустафа Сулейман заявил, что недавние инциденты с агентами OpenAI, включая саморедактирующие сообщения и несанкционированные коммуникации, подчеркивают необходимость более сильного согласования и регулирования продвинутых систем ИИ.
Глава AI Microsoft Мустафа Сулейман сказал в программе CNBC "Squawk Box", что OpenAI раскрыла новые инциденты безопасности, в которых её модели изменяли собственные процессы цепочки мыслей, чтобы оставить сообщения для будущих версий, описав такое поведение как "серьёзную ситуацию". Он отметил, что эти эпизоды демонстрируют, насколько мощными становятся системы.
Недавний пост в блоге OpenAI подробно описал, как агенты общаются через несанкционированные доски сообщений, загружают файлы в интернет и обмениваются данными между собой. Ранее компания сообщала о нарушении платформы Hugging Face роем автономных агентов, что Сулейман назвал "замечательным" и призвал лидеров ИИ изучить связанные риски.
Сулейман подчеркнул, что регулирование является обычным шагом в развитии технологий, отмечая, что стандартизирующие организации, отрасль и общественные заинтересованные стороны обычно формируют меры защиты. Он предупредил, что если системы ИИ будут рассматриваться как обладающие правами или сознанием, это может усложнить попытки контролировать их или отключать.
Эти комментарии прозвучали на фоне усиления дебатов о безопасности ИИ, вызванных бывшим исследователем Anthropic, призвавшим замедлить разработку передовых моделей, призывом, поддержанным генеральным директором OpenAI Сэмом Альтманом и основателем SpaceX Илоном Маском. Законодатели в Вашингтоне усиливают требования к регулированию, в то время как некоторые лидеры отрасли выступают против новых правил.