Вышел официальный релиз новой модели Stable Diffusion SDXL 0.9. После успешного выпуска бета-версии Stable Diffusion XL в апреле, модель SDXL 0.9 получила улучшенное изображение и детализацию композиции по сравнению со своим предшественником.
Что известно
Вышел официальный релиз новой модели. Модель SDXL 0.9 имеет 3.5B параметров в базовой версии. И будет еще ансамбль из двух моделей, суммарно на 6.6B параметров. Для текстового гайданса вместо одной CLIP модели используется конкатенация из двух: базовый клип от OpenAI)и OpenCLIP ViT-G/14. Это позволяет генерировать более точные детали на картинках. Во время инференса нужна будет видеокарта от AMD с 16 GB VRAM, либо от NVIDIA с 8GB VRAM.
В репозитории есть код базовой модели и код рефайнера. Рефайнер — это модель, которая тренировалась на очень качественных картинках и низких уровнях шума. Она предназначена для улучшения выхода базовой модели.
Почему это важно
Главный конкурент Midjourney на дремлет: Stability AI запустила новую модель генерации изображений. На картинке выше — сравнение результатов SDXL beta и новой версии SDXL 0.9. Качество сильно возросло. Модель SDXL 0.9 сейчас называют самой передовой из моделей для преобразования текста в изображение. После успешного выпуска бета-версии Stable Diffusion XL в апреле, модель SDXL 0.9 получила улучшенное изображение и детализацию композиции по сравнению со своим предшественником.