NVIDIA тихо, не спеша, представили метод, который помогает генерировать изображения лучшего качества или апскейлировать ваши фотографии 😮

Краткая историческая справка: обычные генераторы изображений создают черновую версия будущего изображения (латент), после чего специальный VAE-декодер пытается восстановить из шакального латента обычную картинку по текстовому промту.

Nvidia перепридумали этот метод: вместо VAE предлагают вставить в цепочку еще одну ИИ-модель под названием PiD, которая будет декодеровать латент с сохранением большего количества деталей. А ещё это можно использовать и в качестве апскейлера: просто выбирайте генерацию img2img.

Уже лежит на GitHub.