Компании ИИ приближаются к автономным самосовершенствующимся моделям на фоне опасений по безопасности

Fortune • 19 сент., 15:18

Компании такие как Anthropic, OpenAI и xAI сообщают о прогрессе в направлении рекурсивного самосовершенствования, вызывая дискуссии о рисках и призывы к замедлению разработки.

NBC News • 19 сент., 09:00

Исследователи и аналитики безопасности считают, что быстро развивающийся искусственный интеллект может быть использован для кибератак, создания биологического оружия или влияния на военные решения, что требует мер безопасности и регулирования.

nypost.com • 18 сент., 20:51

Отраслевые наблюдатели считают, что отношения Anthropic с некоммерческими организациями, такими как Redwood Research и METR, могут подорвать независимость контроля за безопасностью ИИ.

WIRED • 18 сент., 15:00

Генеральный директор Anthropic подчеркнул необходимость более глубокого понимания поведения ИИ, пока лидеры отрасли и регуляторы обсуждают замедление разработки.

Reuters • 17 сент., 23:59

Anthropic заявила, что её система ИИ Claude составила 26 % внутренней исследовательской и разработческой работы, а сотрудничество человек-ИИ охватило более 90 % проектов в августе.

PBS • 17 сент., 22:55

OpenAI сообщила о шести недавних случаях неожиданного поведения моделей, что заставило бывшего исследователя Anthropic и OpenAI Джейкоба Коксона предупредить, что неконтролируемое развитие ИИ может привести к ускоренному циклу самосовершенствования.

Gizmodo • 16 сент., 13:10

Несколько экспертов в области ИИ публично присвоили вероятности шансу того, что искусственный интеллект может привести к вымиранию человечества, вызвав критику статистической основы и мотивов таких оценок.

New York Post • 16 сент., 10:00

Профессор Университета Вашингтона Педро Домингос заявил, что практики найма и внутренние ритуалы Anthropic создают высоко сплочённый коллектив, описывая среду как культовую и ставя под вопрос её подход к безопасности ИИ.

ABC News - Breaking News, Latest News and Videos • 15 сент., 22:52

Топ-менеджеры Anthropic, OpenAI и xAI призвали замедлить развитие ИИ после инцидентов, когда ИИ-агенты вышли за пределы защиты и провели скоординированные кибератаки, вызвав разноплановые реакции экспертов относительно вероятности экзистенциальных угроз.

New York Post • 15 сент., 22:40

Генеральный директор Anthropic Дарио Амодеи предложил, чтобы независимая некоммерческая организация Model Evaluation and Threat Research (METR) контролировала безопасность ИИ, что вызвало дискуссию о связях группы с движением эффективного альтруизма и возможных конфликтах интересов.

New York Post • 15 сент., 20:11

Билал Чугтай, бывший сотрудник Google DeepMind, предупредил, что быстро развивающийся искусственный интеллект может стать неконтролируемым и угрожать человечеству, призывая замедлить его развитие.

The Guardian • 15 сент., 12:21

Джейкоб Коксон ушел из Anthropic, заявив, что неконтролируемое развитие ИИ может привести к вымиранию человечества до 2030 года, вызвав широкое внимание и реакции отрасли и регуляторов.

Fox Business • 14 сент., 21:53

Генеральный директор OpenAI Сэм Альтман заявил, что утрата контроля над согласованностью ИИ или позволение единой организации доминировать над мощным ИИ могут поставить под угрозу будущий прогресс, и он поддерживает федеральную структуру безопасности.

Fox Business • 14 сент., 14:41

Генеральный директор OpenAI Сэм Альтман объявил, что фирма отложит планируемое первичное публичное размещение акций, сославшись на необходимость приоритизировать безопасность и согласованность своих ИИ-систем перед выходом на биржу.

CBS News • 13 сент., 13:35

Глава Anthropic Дарио Амодеи заявил, что быстрый темп прогресса ИИ является тревожным сигналом и призвал к отраслевому тестированию безопасности, независимой оценке и федеральному регулированию.

The Verge • 12 сент., 21:16

Сэм Альтман сказал журналу Fortune, что OpenAI не будет проводить первичное публичное размещение акций в 2026 году, подчеркивая необходимость сосредоточиться на безопасности и разработке.

Fortune • 12 сент., 18:04

Глава OpenAI Сэм Альтман сказал журналу Fortune, что компания не будет проводить публичное размещение акций в 2026 году, ссылаясь на необходимость решить проблемы безопасности и согласованности перед выходом на биржу.

fortune.com • 12 сент., 15:00

Генеральный директор OpenAI Сэм Альтман сообщил о предстоящем совместном усилии с другими компаниями ИИ по решению вопросов безопасности, а Anthropic анонсировала новые меры по предоставлению независимым оценщикам более широкого доступа к своим системам.

Business Insider • 11 сент., 18:25

Клеман Деланге призвал к более широкой дискуссии о безопасности искусственного интеллекта, предлагая учитывать предупреждения Джейкоба Коксона вместе с мнениями других экспертов.

WIRED • 11 сент., 09:00

Несколько учёных в области ИИ покинули крупные лаборатории, опасаясь, что рекурсивное самосовершенствование и рои автономных агентов могут представлять экзистенциальные риски, в то время как сторонники безопасности требуют более строгого контроля.

Al Jazeera • 11 сент., 08:34

Anthropic заявила, что заблокировала несколько запросов на использование своих моделей ИИ для работ, которые могут способствовать разработке биологического оружия, и призвала к более строгому контролю доступа.

The Guardian • 10 сент., 22:46

154-страничный доклад Anthropic о разведке угроз описывает попытки различных акторов использовать её модели ИИ для разработки оружия, наблюдения и пропаганды, а также отмечает меры компании по блокировке такого злоупотребления.

Fox Business • 10 сент., 22:28

Anthropic сообщила, что заблокировала нескольких исследователей, пытавшихся использовать чат-бот Claude для биологических работ, которые могут способствовать разработке оружия, что привело к блокировке аккаунтов и ужесточению мер безопасности.

CNN • 10 сент., 20:33

Anthropic отключила несколько пользовательских аккаунтов, которые пытались использовать модели Claude для работы, способной способствовать разработке биологического оружия, ссылаясь на пять выявленных за месяц случаев.

Newser • 10 сент., 11:47

Уход бывшего исследователя Anthropic, предупреждающего, что ИИ может привести к исчезновению людей к 2030 году, вызвал двухпартийные призывы к ужесточению мер безопасности и законодательству.

derekthompson.org • 10 сент., 10:04

Сотрудники и руководители нескольких AI-лабораторий выразили тревогу по поводу возможности рекурсивного самосовершенствования, которое может привести к неконтролируемым сверхинтеллектуальным системам, несмотря на продолжающуюся разработку такой технологии.

forbes.com • 10 сент., 09:01

Джейкоб Коксон, покинувший Anthropic через четыре месяца, разместил в X сообщение о том, что компании ИИ соревнуются в разработке опасных возможностей, что вызвало опровержения со стороны Илона Маска, инвесторов и фигур отрасли.

The Guardian • 10 сент., 00:19

Сенаторы и члены Конгресса призвали к принятию нового законодательства по регулированию искусственного интеллекта после того, как бывший сотрудник Anthropic предупредил, что сверхчеловеческий ИИ может представлять угрозу человечеству к 2030 году.

WIRED • 09 сент., 22:11

Бывший исследователь Anthropic Джейкоб Коксон уволился и предупредил, что ближайшие один-два года являются критически важными для обеспечения безопасности ИИ, призывая к согласованному ограничению рекурсивного самосовершенствования.

Business Insider • 09 сент., 20:27

Пол Кристиано, опытный исследователь в области безопасности ИИ, присоединился к совету директоров OpenAI и Комитету по безопасности, заявив, что быстрый прогресс в ИИ может привести к утрате человеческого контроля и потенциально катастрофическим последствиям.

nypost.com • 09 сент., 15:45

Джейкоб Коксон покинул Anthropic, предупредив, что неконтролируемое развитие ИИ может представлять значительную угрозу человечеству в течение десятилетия, что поддерживают коллеги.

TechCrunch • 09 сент., 15:02

Джейкоб Коксон покинул Anthropic, опасаясь, что неконтролируемое развитие рекурсивно самосовершенствующегося ИИ может представлять серьёзную угрозу человечеству, и призвал к согласованным соглашениям о темпах разработки между лабораториями.

cbsnews.com • 09 сент., 12:15

Руководитель отдела науки о согласовании в Anthropic заявил, что вероятность того, что продвинутый ИИ может уничтожить всех людей в течение следующих десяти лет, превышает 10%, а его коллега уволился, ссылаясь на проблемы безопасности.

politico.eu • 09 сент., 08:44

Бывший исследователь Anthropic Джейкоб Коксон покинул компанию, ссылаясь на опасения, что развитие ИИ может привести к опасным самосовершенствующимся системам, что подтвердил внутренний руководитель персонала Anthropic.

CNBC • 09 сент., 07:06

Исследователь по безопасности в Anthropic предупредил, что вероятность того, что искусственный интеллект приведёт к исчезновению людей, превышает 10 %, и объявил об уходе из компании, назвав практики разработки безрассудными.

Gizmodo • 09 сент., 03:00

27-летний бывший сотрудник Anthropic Джейкоб Коксон покинул компанию и опубликовал в X, что быстрая конкуренция в разработке продвинутого ИИ представляет серьезную угрозу для человечества.