Нейросеть делает картины по описанию

[fonzeppelin]

И она реально хорошо это делает:

Корги-вертолёт

Нейросеть DALL-E 2 , представленная компанией Open AI, способна генерировать изображения высокого качества по текстовому описанию. При этом объединяя различные концепты, образы и даже художественные стили:

Картина Пикассо, на которой изображено, как такса платит налоги

Кошка рассматривает цветущие деревья вишни — картина в стиле Клода Моне

Разумеется, нейросеть при этом опиралась на громадный архив знаний мировой сети — откуда и вытягивала «понимание» образов, художественных стилей, и композиций. Но справилась она с этим реально блестяще. Некоторые арты нейросети просто-таки великолепны:

Ребёнок и собака смотрят на звёзды

Астронавт катается в космосе на морской черепахе над радугой, пролетая мимо планет

Тигр в шляпе

Похоже, мы имеем еще один факт, который абсолютно не ожидали фантасты прошлого: творческие процессы алгоритмизируются сравнительно легко.

Comments

[kobyz.livejournal.com]

А вот здравый вопрос, это отобранные лучшие работы или стандарт?
Просто если нейросетка выдает по одному описанию 50 работ, а человек с художественным вкусом отбирает из них лучшее, то результат выглядит не так интересно. Особенно если из 100 заданий приемлемых работ набралось на 10-20...

[kobyz.livejournal.com]

попробовал на
https://rudalle.ru/demo
запрос: звездолет таранит космическую станцию
вышел отстой, невнятная мазня из серых полосок.

запрос: вопящий паук
аналогично, невнятный коллаж из кусков фоток листьев, хвои, деревьев и непонятных веточек (может подразумевались лапки паука?)
Рассмотреть что то не получилось.

запрос:
красная шапочка киборг против волка-мутанта
результат хрень неописуемая...
https://rudalle.ru/check_image/f875c5440a1b4a7e8d3073117cde6b7a
а вот со второго раза с тем же запросом уже что то более приемлемое
https://rudalle.ru/check_image/4cf9360c0b1d42ec9ccb3177244738b5
хотя волка не видать и красная шапочка угадывается только по названию...


Так что результат проверки говорит:
в 99% выходит хрень и нужен человек чтобы ее фильтровать, иногда на выходе получается условная годнота, а изредка может и 100% попадание прилететь, но... все таки для работы нужен человек

[fonzeppelin.livejournal.com]

Гхм, вы пробовали на нейросетях уровнем... значительно ниже DALL-E2. :) Эта сеть еще только тестируется.

[kobyz.livejournal.com]

ruDALL-E XL
ну в принципе да, предыдущее поколение.
Хотя тоже заявлялось как прорыв. И что то оно выдает. Иногда даже похожее на графику.
и если заглянуть в галерею https://rudalle.ru/gallery/all там все круто!
Но самостоятельная попытка получить годноту терпит эпикфейл!

Подозреваю что и у DALL-E2 ситуация аналогичная, в галерее выставлены наилучшие работы. Единицы из генерированных миллионов, отобранные в результате людьми.

Опять же, разные задания имеют разную сложность:
Шахматная ладья из изумрудного материала
или
Желтая птичка с красным клювом
Задачи несложные, возьми картинки с подобным описанием объекта (наверняка же есть желтые птички и шахматные ладьи) выдели на них главный объект (такой алгоритм вроде тоже давно есть) примени к нему цветовой фильтр.
Возможно получится то что нужно. Человек потом выберет, отбросив 90% неудач.
В результате в галерее вполне приличные изображения.

А вот более сложные задачи могут и поставить сеть в тупик.
Что и произошло с "вопящим пауком"
Облом произошел на фазе "выделить объект", у паука тонкие ножки, поэтому с фоток типа "паук на листике" чаще листик выделяется чем сам паук. Результат: зеленое месиво.
С Красной шапочкой еще хуже. Начнем с того что красная шапочка это не предмет, а девочка :) И от картинки с таким заданием мы ожидаем некого взаимодействия объектов. Тут у сетки случился полный провал.