На конференции GTC 2019 в Калифорнии компания Nvidia представила демоверсию нейросети GauGAN, с помощью которой можно создавать реалистичные изображения из схематичных рисунков.

GauGAN использует для обработки генеративно-состязательные нейросети (GAN): генератор создаёт изображение и передаёт его обученному на реальных фотографиях дискриминатору, который подсказывает генератору, как доработать изображение и что исправить. Для обучения Nvidia использовала 1 млн фотографий.

По словам вице-президента Nvidia по прикладным исследованиям в области глубинного обучения Брайана Катанзаро, «технология не просто склеивает кусочки изображений или вырезает и вставляет текстуры, а синтезирует уникальные изображения, словно художник рисует что-то новое».

Каждый инструмент GauGAN отвечает за создание какого-либо объекта: камня, дерева, небо, травы, воды и других. Рабочая область состоит из двух частей: слева создается набросок, а в соседнем окне на основе этого эскиза появляется реалистичное изображение. По словам Nvidia, если два человека используют одни и те же инструменты для создания наброска, то программа создаст два разных результата.

На данный момент нейросеть умеет работать только с пейзажами и элементами природы, но, по мнению разработчиков, ее можно обучить для создания и обработки изображений со зданиями, дорогами, людьми и другими объектами.

Источник новости