Новая техника обучения повышает качество представлений в диффузионных автоэнкодерах
Исследователи представили SteeringDRL, метод, который направляет диффузионные автоэнкодеры к более сильным скрытым представлениям, сохраняя качество восстановления изображений.
Команда исследователей представила SteeringDRL, подход к обучению, который сочетает гейтированные остаточные U-Net с учебной программой, постепенно регулирующей воздействие шума. Метод направлен на то, чтобы вести диффузионные автоэнкодеры к более надёжным скрытым представлениям без потери точности изображений.
Анализ динамики обучения выявил два траектории на ранних этапах: путь, ориентированный на восстановление, который быстро оптимизирует сходство изображений, и путь, ориентированный на разъединение, который балансирует качество восстановления с формированием более чётких внутренних представлений. Изменяя короткие соединения в диффузионном U-Net и контролируя уровни шума на ранних этапах, авторы смогли влиять на то, какую траекторию выбирает модель.
Эксперименты на стандартных бенчмарках разъединения показали, что модели, обученные с помощью SteeringDRL, достигли более высокого качества представлений и продемонстрировали сниженную чувствительность к случайной инициализации. Подход также улучшил пространственное разъединение в объектно-центрическом обучении, обеспечив лучшие результаты сегментации как на синтетических, так и на реальных наборах изображений.
