Anthropic представляет тонкое маркирование выбора слов в тексте Claude AI
Anthropic заявила, что её новый метод водяного знака слегка меняет выбор слов в выводах Claude, создавая обнаруживаемый шаблон без влияния на читаемость, в ответ на предстоящие регуляции ЕС в области ИИ.
Anthropic объявила, что будущие версии её языковой модели Claude будут встраивать водяной знак в генерируемый текст, тонко влияя на выбор слов. Компания объяснила, что водяной знак создаётся путём изменения источника случайности, используемого для выбора синонимов, процесс, который невидим для читателей, но может быть выявлен инструментами, обладающими соответствующим ключом. Согласно посту в блоге, подход не добавляет скрытых символов или видимых маркеров, а внутреннее тестирование не показало измеримого влияния на креативность модели, читаемость или общее качество.
Водяной знак опирается на низкоуровневые лексические решения — такие как выбор между «пасмурно» и «серо» — чтобы внедрить шаблон через множество выборов слов. Используя детерминированный ключ в сочетании с предшествующими словами, вывод модели позже можно проанализировать, чтобы определить, соответствует ли он ожидаемому распределению для водяного знака.
Anthropic заявила, что изменение направлено на помощь в соблюдении новых регуляций Европейского союза в области ИИ, которые поощряют механизмы обнаружения контента, созданного ИИ. Компания сослалась на исследование Google по аналогичной технике водяного знака, отмечая, что обратная связь пользователей на ответы с водяным знаком и без него различалась всего на 0,01 процента.
Критики выразили опасения, что трактовка выбора синонимов как взаимозаменяемых может упускать нюансы, важные для человеческих писателей, но Anthropic утверждает, что водяной знак не ухудшает воспринимаемое качество текста.