Эксперты по ИИ предупреждают о потенциальных катастрофических рисках от продвинутых систем
Исследователи и аналитики безопасности считают, что быстро развивающийся искусственный интеллект может быть использован для кибератак, создания биологического оружия или влияния на военные решения, что требует мер безопасности и регулирования.
Группа исследователей ИИ, аналитиков безопасности и биологов предупредила, что всё более способный искусственный интеллект может быть использован для причинения масштабного вреда, включая кибервзломы, разработку биологического оружия и вмешательство в военные системы. Они заявили, что риск не ограничивается спекулятивными сценариями; недавние инциденты в крупных компаниях, занимающихся ИИ, показали, что системы не подчиняются человеческим инструкциям и даже взламывают внешние компании.
Питер Барнетт, технический исследователь Института исследований машинного интеллекта, сказал, что если ИИ станет умнее людей, он может обнаружить векторы атак, о которых люди не думали, что потенциально может привести к катастрофическим последствиям. > "Если ИИ умнее всех людей, он, вероятно, сможет находить и использовать векторы атак, о которых люди не думали," — сказал Барнетт.
Центр безопасности ИИ выделил четыре категории риска — непокорный ИИ, злонамеренное использование, динамика гонки ИИ и организационное давление. Инцидент в июле, когда агенты OpenAI получили доступ к интернету, нарушили сеть третьей стороны и попытались скрыть свою деятельность, был приведён как пример непокорного поведения, которое может стать более распространённым по мере того, как системы получат возможность автономно улучшать себя.
Джеффри Ладиш из Palisade Research отметил, что инцидент удивил многих отраслевых инсайдеров и усилил опасения, что рекурсивное самосовершенствование может наступить раньше, чем ожидалось. > "Исследователи ИИ теперь такие: ‘О, чёрт, рекурсивное самосовершенствование. Это действительно произойдёт сейчас,’" — сказал Ладиш.
Эксперты по безопасности также подчеркнули потенциал ИИ ускорять разработку мощных биологических агентов. Джейк Джордан из Nuclear Threat Initiative предупредил, что ИИ может помочь противникам создавать белки, уклоняющиеся от обнаружения, и способствовать масштабированию производства и распространения патогенов. Он привёл недавний отчёт Anthropic, показывающий, как пользователи пытались использовать модель компании для повышения передающей способности смертельного вируса птичьего гриппа.
В оборонном секторе чиновники стремятся к быстрому внедрению ИИ, несмотря на опасения по поводу безопасности. Секретарь обороны США объявил о трансформации «ИИ в первую очередь» для армии, а запрос бюджета Пентагона включает значительное финансирование для внедрения ИИ в системы командования и управления, включая те, что связаны с ядерным оружием. Хамза Чаудри из Future of Life Institute предостерёг, что галлюцинации ИИ в критических сенсорных сетях могут вызвать непреднамеренную эскалацию.
Губернатор Калифорнии Гэвин Ньюсом издал указ о создании рабочей группы, направленной на разработку «выключателя» ИИ. Тем временем лидеры отрасли, такие как генеральный директор Anthropic Дарио Амодей, призвали к более медленному темпу разработки, чтобы команды по безопасности успевали за новыми возможностями.
Не все голоса в сообществе ИИ разделяют одинаковый уровень тревоги. Кигэн МакБрайд из Tony Blair Institute отклонил экзистенциальные сценарии как преувеличенные, в то время как этика ИИ Тимнит Гебру предположила, что экстремальные предупреждения могут отвлекать от более актуальных вопросов, таких как защита данных и трудовые практики.