Gemini 4 Carbon от Google сокращает галлюцинации вдвое, но отстает от Opus от Anthropic в задачах программирования
Независимое тестирование показывает, что Gemini 4 Carbon уменьшил уровень ложных утверждений с 36 % до 18 %, однако его производительность, скорость и стоимость в программировании всё ещё хуже конкурентов, с единственным небольшим преимуществом в безопасности.
Независимый рецензент Тео Браун сообщил, что модель Gemini 4 Carbon от Google уменьшает уровень ложных утверждений при анализе кода с 36 % у предыдущей модели Gemini (Argan) до 18 %, что соответствует внутренним измерениям DeepMind. Несмотря на улучшение, конкурирующие модели, такие как Opus от Anthropic, обычно фабрикуют лишь 0–1 % утверждений, оставляя Carbon далеко позади в надёжности.
В обзоре архитектуры на Rust Carbon сгенерировал 79 утверждений, из которых 23 оказались ложными, тогда как Argan создал 36 утверждений с 24 ложными. На более широком наборе тестов Carbon провалил 23 из 86 утверждений против 47 из 92 у Argan. Браун отметил, что многие галлюцинации возникают из вымышленных названий столбцов, номеров строк и архитектурных деталей, отсутствующих в кодовой базе.
Браун также раскритиковал ярлык «быстрая модель», указав, что среднее время выполнения задач у Carbon составляло 22–27 минут, что медленнее Opus, который занимал от около трёх до 25 минут в зависимости от усилий рассуждения. Он описал пользовательский опыт как «по-настоящему раздражающий» и «ужасный в использовании».
Ценообразование — ещё одна проблема. Carbon предлагается по цене 2 доллара за миллион входных токенов и 10 долларов за миллион выходных токенов до 30 ноября 2026 г., после чего цены удваиваются. Браун утверждает, что цена токена менее важна, чем стоимость за задачу, особенно учитывая высокий расход токенов моделью и непредсказуемое кэширование, которое может увеличить объём запросов до 50 %.
Обзор выделил единственный сценарий безопасности, где Carbon превзошёл соперников. При работе с отчётом об уязвимости Carbon правильно идентифицировал проблему и предложил практическое решение, получив высокие оценки от других ИИ-моделей. Браун назвал результат «безумным», но предупредил, что его статус раннего доступа мог повлиять на исход.
Браун похвалил отзывчивость DeepMind, отметив быстрые исправления интеграционных багов и уточнения политик. Однако он заключил, что Carbon не подходит в качестве стандартного помощника по программированию, заявив: "> Выбрал бы я эту модель в качестве основной для кодинга? Нет. Абсолютно нет. Просто Opus всё ещё непобедим."
В целом, хотя Gemini 4 Carbon сокращает уровень галлюцинаций вдвое и показывает потенциал в задачах, ориентированных на безопасность, его более медленная работа, более высокая эффективная стоимость и сохраняющиеся неточности оставляют его позади ведущих конкурентов в общем программировании.