Генеральный директор Y Combinator призывает американские открытые AI-лаборатории применять практику дистилляции моделей
Гарри Тан сказал, что американским открытым AI-лабораториям следует разрешить использовать техники дистилляции передовых моделей, утверждая, что это расширит доступ к продвинутому ИИ без вмешательства регуляторов.
Генеральный директор Y Combinator Гарри Тан сказал CNBC, что он не будет вмешиваться в практику дистилляции моделей, и предложил Соединённым Штатам рассмотреть «американский режим дистилляции». Он объяснил TechCrunch, что небольшие открытые AI-лаборатории должны быть свободны применять те же методы обучения, что и крупные разработчики передовых моделей, создавая более широкий набор не-китайских открытых вариантов.
Дистилляция подразумевает обширное использование запросов к существующей модели для извлечения её знаний и рассуждений, метод, часто применяемый при обучении новых моделей. Anthropic недавно обвинила китайские лаборатории в проведении «незаконных атак дистилляции», которые скрывают идентичность и используют украденные учётные данные, а её генеральный директор Дарио Амодеи потребовал регуляторных мер.
Тан уточнил, что не поддерживает использование украденных учётных данных, подчёркивая, что практика должна проводиться открыто. Он аргументировал, что ограничение того, как пользователи используют API-вызовы к закрытым моделям, является чрезмерным, и что правительство может помочь рассматривать доступ к интеллекту, полученному из публично доступных данных, как общественное благо.
"Контроль над тем, что пользователи и клиенты делают с API-вызовами к закрытым моделям, кажется ограничивающим, и здесь правительство может сыграть роль в нормализации того, что доступ к интеллекту, обученному на широких публичных данных, также должен быть формой общественного блага, а не чем-то, запертым за ограничительными условиями обслуживания," — сказал Тан.
Тан, который описал себя как страдающего «кибер-психозом» от интенсивного использования ИИ, отметил, что необходим баланс между открытыми и передовыми лабораториями. Он предупредил, что концентрация передовых возможностей ИИ в одном единственном проприетарном поставщике будет вредной.
"Кошмарный сценарий, сценарий пессимиста для ИИ — это когда существует лишь одна компания. У неё лучший доступ к капиталу. У неё лучшие исследователи ИИ. Она уходит в одиночку, и внезапно появляется одна монолитная компания. И это будет плохо," — сказал он CNBC.