Китайские ИИ-компании используют дистилляцию моделей для обучения отечественных больших языковых моделей на фоне ограничений экспорта чипов из США
Китайские разработчики всё чаще применяют дистилляцию моделей, используя выводы американских ИИ-систем для обучения локальных моделей, поскольку доступ к передовому оборудованию ограничивается экспортным контролем.
Китайские компании в сфере искусственного интеллекта обращаются к дистилляции моделей для разработки больших языковых моделей после того, как ужесточённый экспортный контроль США ограничил их доступ к высокопроизводительному вычислительному оборудованию. Обзор более 300 китайских академических статей, патентов, корпоративных раскрытий, объявлений о найме и правительственных документов показывает, что фирмы используют выводы ведущих американских моделей в качестве обучающих данных для более мелких отечественных систем.
Дистилляция подразумевает, что мощная «учительская» модель генерирует ответы, код или шаги решения задач, которые затем используются для обучения «ученической» модели. Исследователи Шанхайского университета Цзяо Тун, например, отобрали около 5 000 ответов модели o1 от OpenAI, перевели их с помощью GPT-4o mini и создали 10 750 двуязычных примеров для дообучения модели Qwen2.5-72B от Alibaba. Похожие рабочие процессы были отмечены Alibaba и партнёрством Шанхайского университета Цзяо Тун и Meituan, которые использовали GPT-4o для генерации планов координации кодировочных задач.
OpenAI и Anthropic запрещают использование своих моделей для обучения конкурирующих систем в своих условиях обслуживания, что может усилить напряжённость между Соединёнными Штатами и Китаем. Американский чиновник, знакомый с недавними обсуждениями в Чэнду, сказал, что Вашингтон рассматривает «промышленную дистилляцию» как ключевой фактор, сужающий разрыв в производительности между китайскими и американскими ИИ-моделями.
Хотя дистилляция не является незаконной по текущему законодательству, американские чиновники рассматривают регулятивные меры, которые могли бы ограничить использование американских ИИ-выводов в обучении иностранных моделей. Практика остаётся экономически эффективной альтернативой для китайских фирм, сталкивающихся с высокими ценами на графические процессоры NVIDIA, которые резко выросли на сером рынке Китая из-за экспортных ограничений.