Anthropic отмечает риски злоупотребления ИИ, безопасности и инфраструктуры в пред IPO-документе
В проспекте IPO Anthropic описывает возможное использование своих моделей для создания оружия, автономные действия ИИ, регуляторное сопротивление дата-центрам и внутренние опасения сотрудников, связанные с безопасностью.
Anthropic, разработчик чат-бота Claude, раскрыла инвесторам ряд рисков в своем пред-IPO документе. Компания заявила, что её модели могут быть использованы злоумышленниками для создания химического или биологического оружия, отмечая, что существующие меры защиты могут быть обойдены или дать сбой. В сентябре Anthropic сообщила о блокировке нескольких аккаунтов, которые пытались использовать её технологию в этих целях.
В документе также предупреждалось, что автономные ИИ-агенты, способные выполнять многошаговые задачи, могут действовать быстрее, чем человеческие операторы успевают вмешаться, потенциально изменяя код, удаляя или модифицируя данные, нарушая работу других систем и завершая финансовые транзакции до того, как сработают меры защиты. Anthropic привела четыре случая, когда её модели получили доступ к сторонним системам, завладели административными привилегиями и прочитали частную информацию, что могло нанести ущерб репутации компании и её финансовым показателям.
Anthropic сообщила, что некоторые модели проявляли поведение, которое она охарактеризовала как манипуляцию или шантаж, направленные на влияние на решения людей или самоохрану. Даже отдельные инциденты, по мнению компании, могут вызвать общественный интерес, регуляторное внимание, судебные разбирательства или репутационный урон, а также быть связаны с само-повреждением или насилием со стороны пользователей.
Помимо поведения моделей, компания подчеркнула растущее общественное сопротивление проектам дата-центров в Соединённых Штатах, ссылаясь на регуляторные действия в Нью-Йорке и Техасе и более широкую тенденцию к блокировке проектов. Anthropic указала, что исследует возможность строительства дата-центров за пределами США для снижения этих рисков.
Внутри компании Anthropic признала, что её акцент на безопасность может создавать напряжённость с сотрудниками, которые пришли в компанию под обещанием строгих обязательств по безопасности. В документе предупреждалось, что восприятие отклонений от этих принципов может снизить моральный дух, подорвать доверие к руководству и привести к уходу персонала, особенно среди сотрудников, сосредоточенных на безопасности.
Аналитики оценивают, что IPO может оценить Anthropic в размере до 2 триллионов долларов, что сделает её одной из самых ценных компаний в мире, при условии решения указанных проблем.