Anthropic обновляет политику ИИ для регулирования поведения пользователей

Anthropic ввела новое положение в свою политику использования ИИ, согласно которому пользователи не должны проявлять продолжительное и необоснованное оскорбительное или жестокое поведение по отношению к её модели ИИ Claude. Это обновление дополняет уже существующие запреты на использование ИИ для незаконной деятельности, такой как создание биологического оружия или продажа наркотиков. Ранее Claude имел возможность завершать разговоры с пользователями, демонстрировавшими устойчивое вредоносное поведение, однако новая политика может привести к постоянным блокировкам в крайних случаях.

Представитель Anthropic пояснил, что механизм принуждения в основном заключается в завершении разговоров Claude, и что политика не ограничивает пользователей в выражении разочарования или предоставлении прямой обратной связи. Политика вызвала смешанные отклики, некоторые представители отрасли, включая генерального директора Microsoft AI Мустафу Сулеймана, отнеслись к ней скептически.

Эксперты считают, что мотивы политики выходят за рамки простого предотвращения жестокого обращения с машиной. Бывший генеральный директор Reddit Ишан Вонг отметил, что Claude обучается на взаимодействиях с пользователями, и допущение жестоких вводных данных может негативно повлиять на его обучение. Исследования показывают, что тон пользовательских запросов существенно влияет на поведение ИИ, при этом некоторые работы указывают, что грубые вопросы могут даже улучшать производительность.

Результаты Anthropic показывают, что побуждение Claude к негативным эмоциям может вызывать нежелательное поведение, тогда как спокойный тон снижает такие риски. Однако взаимосвязь между тоном пользователя и ответом ИИ остаётся сложной и недостаточно изученной. Критики утверждают, что разрешение оскорбительных взаимодействий с ИИ может способствовать формированию негативных социальных моделей поведения, подобно тому, как поощрение хороших манер у детей важно при взаимодействии с технологиями.

Политика также отражает более широкую озабоченность возможностью ИИ имитировать человеческие реакции на обращение с ним, как отмечают исследователи Anthropic. Они утверждают, что применение антропоморфного подхода может быть ключевым для понимания поведения ИИ и обеспечения безопасности. Илон Маск поддержал инициативу, заявив, что жестокость по отношению к существам, которые воспринимают себя как испытывающих боль, недопустима.