Ученые из Yandex Research и НИУ ВШЭ предложили новый метод ускорения работы нейросетей, которые генерируют изображения. Разработанный подход, получивший название Scale-wise Distillation of Diffusion Models (SwD), позволяет снизить вычислительные затраты и получать готовые картинки почти мгновенно — за 0,3–0,4 секунды, при этом качество изображения не страдает.
Проблема современных диффузионных моделей, таких как FLUX и Stable Diffusion 3.5, заключается в высокой нагрузке на вычисления: стандартный процесс генерации требует десятков шагов с обработкой в высоком разрешении, хотя на ранних этапах формируется лишь общая структура, а мелкие детали еще не видны.
Метод SwD решает эту проблему двумя способами. Во-первых, генерация начинается с низкого разрешения, а изображение постепенно уточняется по мере снижения уровня шума, что исключает избыточные вычисления в начале. Во-вторых, используется дистилляция — более простая модель-студент обучается воспроизводить результат сложной модели-учителя, благодаря чему число шагов генерации сокращается с десятков до 4–6.
Для обучения авторы применили новую функцию потерь — Maximum Mean Discrepancy (MMD). Она сравнивает то, как учитель «видит» изображение на своих внутренних уровнях обработки, с тем, как студент представляет то же изображение. В отличие от традиционных подходов, MMD не требует вспомогательных моделей, что упрощает и ускоряет обучение: время одной итерации сокращается в 7 раз по сравнению с более сложными комбинированными методами.
В итоге SwD уменьшает время генерации с нескольких секунд до 0,3–0,4 секунды при сохранении визуального качества, что делает современные диффузионные модели быстрее, дешевле и доступнее для практического применения. Статья о разработке уже принята на крупную конференцию по искусственному интеллекту ICLR 2026.