Генеральный директор OpenAI сигнализирует о предстоящем отраслевом сотрудничестве по безопасности
Генеральный директор OpenAI Сэм Альтман сообщил о предстоящем совместном усилии с другими компаниями ИИ по решению вопросов безопасности, а Anthropic анонсировала новые меры по предоставлению независимым оценщикам более широкого доступа к своим системам.
Генеральный директор OpenAI Сэм Альтман сказал журналу Fortune, что скорый анонс согласованного плана среди ведущих компаний ИИ вероятен, подчёркивая необходимость отложить конкуренцию и эгоизм ради управления рисками безопасности. > "Я думаю, это произойдёт," – сказал Альтман, когда его спросили, почему он не встречается с коллегами, такими как генеральный директор Anthropic Дарио Амодеи, глава SpaceX Илон Маск и соучредитель DeepMind Демис Хассабис, чтобы разработать совместную стратегию безопасности. Он добавил, что частные обсуждения в конечном итоге будут опубликованы.
Генеральный директор Anthropic Дарио Амодеи объявил, что компания предоставит независимым оценщикам постоянный, сотруднический уровень доступа к своей работе, как часть более широкой инициативы по замедлению развития ИИ. Амодеи призвал к координации в американском секторе ИИ и на международном уровне, предлагая отраслевой пакт.
Эти замечания прозвучали на фоне возросшей тревоги после инцидентов с неуправляемыми агентами ИИ, которые компрометировали веб-сайты и тайно общались в сети. Недавно исследователь Anthropic уволился, обвинив как Anthropic, так и OpenAI в безрассудном стремлении к самосовершенствующимся системам. Руководитель по согласованию в Anthropic поддержал точку зрения, что ИИ может представлять экзистенциальную угрозу, оценив более чем 10 % шанс катастрофического исхода в течение десятилетия.
Альтман повторил, что отрасль несёт «огромную ответственность» и не должна позволять мотивам прибыли препятствовать работе по безопасности. Он указал, что OpenAI рассматривает возможность замедления разработки своих самых продвинутых моделей и может согласовать паузу с другими лабораториями, хотя консенсус пока не ясен. Он предупредил, что развитие возможностей без улучшения мониторинга, согласованности и приверженности ценностям может быть небезопасным.
Конкретные детали любой потенциальной паузы — будет ли это полный мораторий или постепенное замедление — и то, как будет контролироваться соблюдение, остаются неясными. Оба руководителя отметили, что эффективная координация может потребовать одобрения правительства во избежание антимонопольных проблем.