Rambler's Top100
 
Все новости Новости компаний

Создана первая нейросеть, которая генерирует картинки по описанию на русском языке

02 ноября 2021

Сбер создал первую в мире нейронную сеть ruDALL-E, которая способна создавать изображения на основе текстового описания на русском языке. Использовать ее можно для создания вариантов дизайна интерьера, стоковых изображений или векторных иллюстраций, материалов для рекламы, копирайтинга, архитектурного и промышленного дизайна. Попробовать ruDALL-E можно уже на его сайте.

Нейросеть одновременно обучается на двух видах данных — картинках и текстах, и позволяет создавать неограниченное число новых изображений по заданному описанию. Есть два варианта модели:
  • ruDALL-E XL, содержащая 1,3 миллиарда параметров;
  • ruDALL-E 12B с 12 миллиардами параметров.
Моделью ruDALL-E XL можно воспользоваться бесплатно, загрузив её с сервиса Github. Обе модели также вскоре будут доступны на платформе ML Space в хабе предобученных моделей и датасетов DataHub от SberCloud.

Создание изображений при помощи ruDALL-E происходит в три этапа: сначала одна нейросеть принимает текст на вход и генерирует заданное число картинок, затем следующая выбирает, какие из них наиболее удачны и максимально соответствуют описанию, а третья увеличивает их в размере без потери качества. Таким образом можно получить неограниченное количество новых изображений, подходящих под указанные характеристики.

Архитектура модели DALL-E для английского языка была впервые представлена OpenAI в 2021 году, однако эта модель так и не была полностью выложена в открытый доступ. На основе публикации OpenAI команды SberDevices и Sber AI при содействии SberCloud воспроизвели код и запустили обучение нейросети на платформе ML Space на базе суперкомпьютера Кристофари, получив аналогичный результат для русского языка. В результате получилась самая большая модель такого рода в мире, работающая с русским языком: обучение заняло 23 тысячи GPU-часов на массиве данных из 120 миллионов пар текст-изображение. Проект по обучению ruDALL-E стал самым большим нейросетевым вычислительным проектом в России и СНГ.
Давид Рафаловский, исполнительный вице-президент Сбербанка, CTO Сбера, руководитель блока «Технологии»: «Помимо вклада в прогресс в области ИИ, генерация изображений закрывает две важных потребности современного бизнеса — возможность получить уникальную картинку под собственное описание, а также в любой момент создавать необходимое количество licence-free-иллюстраций. При этом создание «мультимодальных» нейронных сетей, которые обучаются сразу на нескольких видах данных, даже сейчас, в эпоху big data и огромных возможностей поиска, будет очень востребованным, поскольку решает задачи на принципиально ином уровне. Технология пока совсем новая, первые шаги в этом направлении были сделаны только в 2020 году, а еще в 2018—2019 годах даже постановку такого рода задачи нельзя было себе представить. ruDALL-E можно считать настоящим прорывом для русскоязычной индустрии».

Источник: Сбербанк РФ

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Оставить свой комментарий:

Для комментирования необходимо авторизоваться!

Комментарии по материалу

2.11 18:59 Михаил Капцов :
думаю у этой технологии большое будущее, в разных направлениях можно использовать, и контент всегда уникальный будет.