Эксперты по безопасности ИИ предупреждают об экзистенциальных рисках при ускорении разработки
Австралийские чиновники и исследователи в области безопасности ИИ считают, что быстрый прогресс в передовых системах ИИ может создать серьёзные угрозы, требуя более активных действий правительства и развития отечественных возможностей.
Австралийский политический комментатор Джеймс Массола сообщил с учебного тура в Сан-Франциско, что ведущие компании в области ИИ, такие как OpenAI и Anthropic, ускоряют разработку продвинутых моделей, способных к рекурсивному самосовершенствованию. Встретившиеся с ним эксперты по безопасности предупредили, что если такие модели достигнут полного рекурсивного самосовершенствования в течение следующего года, они могут быстро выйти за пределы человеческого контроля.
Один специалист по безопасности ИИ предостерёг: «Если у вас есть вещи, которые вы хотите сделать в своей жизни, сделайте их к 2027 году». Другой участник отметил, что «в области ИИ частные компании проводят несколько проектов, сравнимых с Манхэттенским проектом».
Карл Берзинс, австралийский инженер и соучредитель некоммерческой организации FAR.AI, сказал, что федеральное правительство Австралии признаёт риски, ссылаясь на недавнее создание Австралийского института безопасности искусственного интеллекта (AISI). Он добавил: «Меня беспокоит, сможем ли мы двигаться достаточно быстро. Австралия традиционно предпочитает играть в безопасную игру, и это здесь просто не сработает. Я бы хотел, чтобы мы возглавили… если мы не сможем возглавить, то, по крайней мере, постараемся не отставать!»
Берзинс также подчеркнул недавний контракт на вычислительные мощности стоимостью около 50 млн долларов США на три года, который превышает четырёхлетний бюджет AISI в размере 29,9 млн долларов.
Австралийские чиновники указали, что текущие государственные финансирования недостаточны для обеспечения возможностей обучения ИИ внутри страны, что может повлиять на национальное влияние в области политики и разработки ИИ.
По сообщениям источников из разведывательного сообщества, у человечества есть до примерно 2030 года, чтобы решить потенциальную экзистенциальную угрозу, исходящую от продвинутого ИИ, хотя они считают риск немедленным.
Обсуждение в Австралии также охватывает внутренние вопросы, такие как компенсация авторам за использование их произведений в обучении моделей ИИ, предлагаемые уголовные наказания за киберинциденты и обязательные требования по докладам.
Массола заключил, что хотя технологии могут позволить добиться прорывов, таких как излечение серьёзных заболеваний, те же возможности вызывают глубокие опасения в области безопасности, требующие скоординированных международных и внутренних ответов.