Kandinsky научился понимать иностранные языки

На международной конференции по искусственному интеллекту Artificial Intelligence Journey Сбер представил Kandinsky 2.0 – усовершенствованную версию нейросети Kandinsky, которая дебютировала в июне этого года. Как заявляют создатели, это первая российская мультиязычная диффузионная модель для генерации изображений по текстовому описанию с 2 млрд параметров. Kandinsky 2.0, в отличие от предшественника, может обрабатывать запросы на 101 языке и, как утверждают разработчики, делает это одинаково быстро и качественно вне зависимости от того, какой язык используется – распространённый, вроде русского и английского, или редкий, например, монгольский.

В Kandinsky 2.0 используется набирающий популярность диффузионный подход, который даёт хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио). По словам Сбера, Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. На сайте FusionBrain изображения можно генерировать в 20 различных стилях, среди которых ренессанс, классицизм, мультипликация, Новый год и даже хохлома. В модели также реализованы функции inpainting (замена любой части изображения и любого объекта на изображении на сгенерированные нейросетью) и outpainting (возможность дорисовывать готовое изображение и фон вокруг картинки). Интересно, что одинаковые понятия по описанию на разных языках Kandinsky 2.0 нарисует по-разному: например, если сформулировать запрос «национальное блюдо» на русском языке, то это, скорее всего, будут щи, а на японском – мисо суп и суши.

Нейросеть разработали и обучили исследователи Sber AI при поддержке учёных из Института искусственного интеллекта AIRI. Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют. Как отмечают создатели Kandinsky 2.0, она за несколько секунд позволяет получить уникальное изображение под конкретную задачу и свободно распространять его без лицензии, что очень актуально для бизнеса. По их мнению, нейросеть рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди.

Read More

You may also like...

Leave a Reply

Your email address will not be published. Required fields are marked *

Generated by Feedzy