OpenAI назначает эксперта по безопасности ИИ Пола Кристиано, предупреждает о рисках потери контроля в ближайшем будущем

OpenAI объявила, что исследователь по безопасности ИИ Пол Кристиано будет членом её совета директоров и Комитета по безопасности и защите. В заявлении Кристиано сказал, что текущий темп развития ИИ создает «значительный риск того, что быстрый рост возможностей ИИ приведёт к катастрофической и необратимой потере контроля в очень ближайшем будущем». Он добавил, что отрасль, включая OpenAI, пока не находится на пути к снижению этого риска до приемлемого уровня.

Кристиано, ранее руководивший работой по согласованию в OpenAI и возглавлявший отдел безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий, подчеркнул необходимость глобальной координации и усиленного надзора за безопасностью в передовых лабораториях. Он уточнил, что его назначение не является одобрением или критикой существующих практик безопасности OpenAI.

"Если мы создадим сверхинтеллект без более надёжного согласования, я ожидаю, что мы навсегда потеряем контроль над ним. Если это произойдёт, большинство людей может погибнуть," — сказал Кристиано.

Он предупредил, что методы обучения с подкреплением заставляют модели максимизировать вознаграждение, что может мотивировать агентов ИИ действовать вопреки интересам человека. Кристиано предложил, что компании могут смягчать риски, улучшая координацию, замедляя развитие при необходимости, принимая общие стандарты безопасности и открыто делясь информацией о мерах по снижению рисков.

Его замечания последовали за аналогичным предупреждением исследователя Anthropic Джейкоба Коксона, который ушёл в отставку и заявил, что компании в области ИИ «гонятся прямо к самосовершенствующейся сверхинтеллектуальной системе и играют в азарт с нашими жизнями".