Генеральный директор Anthropic предлагает сторонних оценщиков безопасности ИИ, связанных с сетью эффективного альтруизма

Генеральный директор Anthropic Дарио Амодеи сказал, что компания позволит внешней некоммерческой организации Model Evaluation and Threat Research (METR) выступать в роли «встроенного стороннего оценщика» с доступом к её системам ИИ на уровне сотрудников. В эссе под названием «We Must Pace the Frontier» Амодеи аргументировал, что такой надзор может помочь предотвратить причинение крупномасштабного вреда продвинутыми моделями.

METR, возникшая из Alignment Research Center (ARC), имеет связи с сообществом эффективного альтруизма (EA). Несколько её сотрудников, включая основательницу Бет Барнс и главного учёного Хьялмара Вийка, ранее работали в ARC, а в совет директоров входят лица, связанные с донорами EA, такими как Дастин Московиц и Яан Таллин. Представитель METR заявил, что организация раскрывает конфликты интересов и не принимает финансирование от компаний, занимающихся ИИ, или их сотрудников.

Критики выразили опасения относительно независимости METR, отмечая её финансовые связи с донорами, которые также поддерживают Anthropic. Пэрри Метцгер, председатель Alliance for the Future, назвал эту схему «полной шуткой» и предположил, что она может создать конфликт интересов. Бывший советник Белого дома по вопросам ИИ Дэвид Сакс также поставил под вопрос независимость METR, сказав, что группа, по-видимому, тесно согласована с инвесторами Anthropic.

Предложение появилось на фоне более широкой отраслевой дискуссии о безопасности ИИ. Генеральный директор OpenAI Сэм Альтман выразил поддержку независимым оценщикам с доступом, аналогичным сотрудникам, в то время как некоторые политики, включая председателя FTC Эндрю Фергюсона, предупредили, что предоставление фирмам ИИ координированных полномочий по безопасности может вызвать антимонопольные опасения. Anthropic отказалась комментировать план дальше.