Новая версия YandexART 5/2/2024 4:33:54 PM
Компания Яндекс представила обновленную версию диффузионной нейросети YandexART 1.3, которая теперь использует технологию латентной диффузии для генерации изображений. Новая модель обучалась на датасете, увеличенном в 2,5 раза, что позволило ей лучше понимать текстовые запросы и создавать ещё более реалистичные изображения в различных форматах.
Технология латентной диффузии помогает создавать более реалистичную графику, потребляя меньше вычислительных ресурсов. Нейросеть формирует промежуточное представление изображения в виде латентного кода, содержащего основную информацию в сжатой форме, и затем разворачивает его в полноценное изображение высокого разрешения за один шаг. Этот подход эффективнее многоэтапного уточнения изображения.
Для улучшения понимания запросов пользователей в модель были внесены синтетические тексты, содержащие подробные описания изображений. Количество данных в датасете увеличено до более чем 850 миллионов пар картинок с текстом. Кроме того, в новой модели используются два текстовых энкодера, что позволяет YandexART распознавать и переводить текстовые запросы на машинный язык более точно.
Обновление YandexART также добавляет возможность создавать изображения в различных форматах, таких как 16:9, 4:3 или 3:4. Теперь пользователи могут использовать изображения, созданные в Шедевруме, для различных целей, включая обложки журналов и фотообои на телефон. По данным замеров асессорами Яндекса, новая версия нейросети YandexART 1.3 превосходит Midjourney V5.2 в 57% случаев и предыдущую версию YandexART 1.2 в 63% случаев.