Американские чиновники обвиняют китайскую фирму Moonshot в копировании модели Anthropic, эксперты ставят под сомнение осуществимость
Советник Белого дома Майкл Кратсиос заявил, что Moonshot скопировал LLM Anthropic Fable, используя запрещённые чипы, но исследователи ИИ считают, что сроки и технические препятствия делают такую дистилляцию маловероятной.
Советник Белого дома по науке Майкл Кратсиос сказал, что Moonshot, китайская компания, стоящая за открытой моделью Kimi K3, построила свою систему, скопировав LLM Anthropic Fable и используя экспортно-ограниченные чипы. Он охарактеризовал предполагаемую крупномасштабную скрытую промышленную дистилляцию как «неприемлемую» и связал её с более широкими обсуждениями запрета китайских открытых моделей.
Заявление Кратсиоса отразило комментарий министра финансов Скотта Бессента о том, что в многих китайских системах обнаружены водяные знаки от американских моделей, хотя Министерство финансов не уточнило, что это за водяные знаки. Moonshot не ответила на запросы о своих методах обучения, а Кратсиос не предоставил дополнительных доказательств.
Эксперты в области ИИ выразили сомнение, что простая дистилляция может объяснить возможности Kimi K3. Брейден Хэнкок из Института Лауде отметил, что сроки нереалистичны, указав, что Fable был публично выпущен только 1 июля, и «нельзя дистиллировать столько данных, обучить модель и выпустить её за две недели». Натан Ламберт из Института Аллена по ИИ добавил, что по мере приближения моделей к передовому уровню дистилляция становится менее эффективной, и что «если бы это было так, каждый смог бы легко догнать… но мы этого не видим».
Дистилляция подразумевает запросы к целевой модели для генерации данных для пост-обучения, часто с последующей супервизированной донастройкой (SFT). Ламберт аргументировал, что влияние SFT снижается по мере роста сложности моделей, и что достижение производительности, сравнимой с Fable, вероятнее всего потребует обучения с подкреплением, которое требует значительных вычислительных ресурсов и времени.
Anthropic ранее обвиняла Moonshot и другие китайские компании в систематическом извлечении возможностей из своих моделей, ссылаясь на миллионы аномальных запросов, выявленных по IP-адресам и метаданным. Anthropic не прокомментировала конкретное утверждение о дистилляции Fable.
Практика дистилляции моделей не ограничивается Китаем; Илон Маск свидетельствовал, что SpaceX AI использовал её для разработки модели Grok, указывая на отраслевое применение. Хэнкок отметил, что среди основателей Moonshot есть бывший аспирант Carnegie Mellon, подчёркивая техническую экспертизу китайских команд.
Отдельно Кратсиос упомянул, что Moonshot якобы получил доступ к чипам Nvidia Grace Blackwell 300 и серверам с GB300, оборудование, запрещённое к экспорту в Китай. Исследователь из Джорджтауна Сэм Бресник подчеркнул необходимость регулирования «знай своего клиента» для оборудования дата-центров, чтобы предотвратить незаконное использование.
«Если вы позволяете компании проводить огромные тренировочные запуски на вашем передовом оборудовании, должна существовать система отчётности о том, какая это компания и что она делает», — сказал Бресник.