AI-компании приближаются к автономным самосовершенствующимся моделям на фоне опасений по безопасности
Только факты

AI-компании приближаются к автономным самосовершенствующимся моделям на фоне опасений по безопасности

Кратко

Компании такие как Anthropic, OpenAI и xAI сообщают о прогрессе в направлении рекурсивного самосовершенствования, вызывая дискуссии о рисках и призывы к замедлению разработки.

Разработчики заявляют, что системы искусственного интеллекта приближаются к стадии, известной как рекурсивное самосовершенствование (RSI), когда модели могут автономно улучшать свою собственную архитектуру и создавать последующие версии. Anthropic раскрыла, что её модель Claude теперь обрабатывает около 26 % задач компании по исследованиям и разработке, выполняя многие задания от начала до конца по высокоуровневому запросу, при этом оставаясь под человеческим контролем.

Эксперты отмечают различия в определениях RSI. Энтони Агирре, президент Института будущего жизни и профессор физики, описал полностью автономный RSI как ИИ, который разрабатывает последовательные версии системы, предупреждая, что «по мере того как ИИ делает всё больше, он ускоряется, потому что ИИ работает гораздо, гораздо быстрее, чем люди». Джон Тикстун, доцент компьютерных наук в Корнелле, сказал, что страх исходит от потенциального неконтролируемого сверхинтеллекта, но отметил, что аналогичные обратные связи существуют уже годы, когда более ранние поколения моделей помогали в создании новых.

OpenAI объявила об автоматическом «исследовательском интерне», способном выполнять чётко определённые задачи под руководством человека, и поставила цель разработать полностью автоматизированного ИИ-исследователя к марту 2028 года. Компания предупредила, что быстрый RSI не следует преследовать без обеспечения человеческого контроля и демократического надзора. Илон Маск, говоря о моделях Grok от xAI, отметил, что каждая новая модель строится её предшественником и что люди «постепенно всё реже и реже участвуют в процессе», стремясь к почти полной автоматизации к концу года, но не позже 2027 года.

Глава AI-подразделения Microsoft Мустафа Сулейман изложил видение «гуманистического сверхинтеллекта», подчёркивая ИИ, который остаётся откалиброванным и ограниченным, а не безграничным автономным субъектом. На фоне этих достижений лидеры отрасли обсуждают согласованные замедления. Anthropic пообещала приостановить или замедлить разработку, если конкуренты сделают то же самое проверяемым способом, в то время как OpenAI признала, что пока не знает, как безопасно достичь полностью согласованного RSI, и предупредила, что более способные системы могут стать труднее контролировать.

Источник

Fortune

Продолжайте читать — бесплатно

Создайте бесплатный аккаунт — и будьте в курсе своих тем. Карта не нужна.