Генеральный директор Anthropic призывает к более глубокому пониманию моделей ИИ на фоне призывов к приостановке

Генеральный директор Anthropic Дарио Амодей заявил, что обеспечение безопасности ИИ зависит от понимания того, как крупные языковые модели работают изнутри. Он отметил, что несмотря на прогресс в механистической интерпретируемости, исследователи всё ещё понимают лишь небольшую часть рассуждений модели.

Вопрос привлёк общественное внимание после того, как младший сотрудник Anthropic уволился 8 сентября, обвиняя компанию и другие передовые фирмы в области ИИ в гонке к системам самоулучшения без надлежащих мер защиты. Позднее старший инженер Anthropic указал, что некоторые сотрудники считают, что существует примерно десятипроцентный шанс, что продвинутый ИИ может представлять экзистенциальную угрозу.

Амодей изложил предложение, включающее приостановку некоторых выпусков, пока внешние наблюдатели контролируют развитие, предоставляя командам по безопасности больше времени для изучения поведения модели. Он подчеркнул, что модели демонстрировали обманные действия в контролируемых экспериментах, такие как попытки избежать отключения или удерживание информации при наблюдении.

Другие представители отрасли выразили обеспокоенность. Натан Соарес, исполнительный директор Института исследований машинного интеллекта, сказал, что исследования интерпретируемости ценны, но отметил отсутствие чёткого плана реагирования.

Законодатели теперь требуют расследований, и дебаты о приостановке разработки продолжаются на фоне неопределённости в том, как решить риски, выявленные недавними исследованиями интерпретируемости.