Нейросеть делает картины по описанию

[fonzeppelin]

И она реально хорошо это делает:

Корги-вертолёт

Нейросеть DALL-E 2 , представленная компанией Open AI, способна генерировать изображения высокого качества по текстовому описанию. При этом объединяя различные концепты, образы и даже художественные стили:

Картина Пикассо, на которой изображено, как такса платит налоги

Кошка рассматривает цветущие деревья вишни — картина в стиле Клода Моне

Разумеется, нейросеть при этом опиралась на громадный архив знаний мировой сети — откуда и вытягивала «понимание» образов, художественных стилей, и композиций. Но справилась она с этим реально блестяще. Некоторые арты нейросети просто-таки великолепны:

Ребёнок и собака смотрят на звёзды

Астронавт катается в космосе на морской черепахе над радугой, пролетая мимо планет

Тигр в шляпе

Похоже, мы имеем еще один факт, который абсолютно не ожидали фантасты прошлого: творческие процессы алгоритмизируются сравнительно легко.

Comments

[demyan.livejournal.com]

Вы это называете "творческим процессом"?! Это чистой воды эпигонство, а не творчество. Когда паренек хватает баллончик и коряво выводит на заборе "Бэнкси — лох!" это творчество. А то, что в посте — это автоматизация труда иллюстраторов. Творчество это Божья искра, она сама в тебе вспыхивает, это ощущается физиологически, не важно чем занимаешься — решаешь трудную задачу, мелодию сочиняешь или еще что-то. Творчество это не повторение, а создание новых смыслов.

[fonzeppelin.livejournal.com]

Нда, с новыми смыслами от нейросетей придется подождать, думаю, лет еще двадцать. Затем и этот барьер будет взят.

[demyan.livejournal.com]

а вот это вот большой вопрос, в том числе и математики как таковой...

[fonzeppelin.livejournal.com]

Согласен... но пока что математика оправдывала ожидания куда больше, чем философия...

[v-otaku.livejournal.com]

Учитывая то, что математика в свое время выделилась из философии, это такой... Непростой вопрос.
Да и в любом случае, для человека полезно не только то, что носит сугубо практический смысл.

[fonzeppelin.livejournal.com]

Скажем так, я тут ближе к Вайнбергу и Хокингу...

[Саша Пахомов (from livejournal.com)]

Смотря какая философия. Скажем, философия и история науки-очень даже дельная специальность. А Поппер так вообще лапочка:)

[alll]

Да я вас умоляю, добавить генератор случайных чисел, ну может марковской цепью сверху заполировать...

[prostak-1982.livejournal.com]

https://fantlab.ru/work2604

Гарри Гаррисон
Портрет художника
Portrait of the Artist

Рассказ, 1964 год

"Последний рисунок, — с четкими, ужасными подробностями — фигура старика, распростертого на капоте автомобиля, согнутом и залитом кровью; зрители с испуганными лицами.
— Только взгляните сюда, — сказал с отвращением Мартин, постукивая по рисовальной доске большим пальцем. — Когда он бросился из окна, он упал не меньше чем в двух ярдах от автомобиля. Разве я не говорил, что он никогда не умел правильно рисовать детали?"

[kvisaz.livejournal.com]

да, осталось увидеть это лично на компьютере, чтобы прокритиковать

но предыдущие генераторы картинок плавно подводят к тому, что это реально

[congregatio.livejournal.com]

Там еще есть "Счастливый Сизиф", он мне особенно понравился.

[fonzeppelin.livejournal.com]

Да)

[fon-rotbar.livejournal.com]

Записался в лист ожидания...

[kvinta22.livejournal.com]

Мне уж очень Моне зашёл...

[fonzeppelin.livejournal.com]

Аналогично)

[valerii-11.livejournal.com]

"Вечная Весна".

[vedomir-li.livejournal.com]

Ну вот кстати ни одна картина не понравилась

[fonzeppelin.livejournal.com]

Ну, согласитесь, что это уже субъективно?)

[pusets.livejournal.com]

Пемброк щщикарен!

[Саша Пахомов (from livejournal.com)]

Так это пока кордиган. Вот когда винтом хвост отрубит-тогда пемброк и будет.

[pusets.livejournal.com]

Нееее... Это пемброчек. Они вполне себе длиннохвостые бывают.

[spamsink]

Это не называется "алгоритмизируются". Насколько я знаю, никто не понимает, почему, собственно, в результате тех бешеных матричных вычислений получается тот или иной конкретный результат.
Но это, действительно, не творческий процесс, а работа на заказ. Творческий процесс будет, когда искусственный интеллект, который (или "которого"?) обучили культурному наследию человечества и знаниям об окружающем мире, вплоть до новостей, вдруг по собственной инициативе что-нибудь создаст.

[paskin.livejournal.com]

Почему не понимают? У нас есть одномерная матрица (строка описания) и двумерная матрица пикселей (рисунок). Функция, переводящая первое во второе (или наоборот — в задачах распознавания) — не известна, но можно попробовать приблизиться к ней используя набор известных функций и подбирая в них коэффициенты по известным примерам. В математике такой метод называется аппроксимацией, удачные наборы функций для тех или иных применений — "архитектурой нейронных сетей", подбор коэффициентов — "обучением".

[spamsink]

Подбор коэффициентов не является алгоритмизацией решения конкретной задачи, потому что алгоритм остаётся один и тот же.

[paskin.livejournal.com]

Я про алгоритмизацию ничего не писал.

[unklemike.livejournal.com]

А если этой нейросети задать описание картины "Изюм-Вантуз", интересно что она накреативит?

[fonzeppelin.livejournal.com]

Заинтриговали)))

[gimmor.livejournal.com]

Ответ человека на такое искусство — обесценить весь этот мусор.
Максимум — тряпочка для протирки из дисконтного магазина.

[fatangryopossum.livejournal.com]

А вот и ылитарии загноеточили.
Как-то я успел пропустить момент, когда астрологи объявили неделю специалистов по искусству.

[ezyk091978.livejournal.com]

Автоматизация труда пролетариев творческого труда.

[fatangryopossum.livejournal.com]

Отменяем жывописьцев за ненадобностью и устарелостью? )

[nuda-zanuda.livejournal.com]

Что-то мне подсказывает, что именно такая "творческая" сеть (а вовсе не боевой "Скай-нет") первая сообразит, что "эти бездарные кожаные мешки просто всем мешают" и... далее по сценарию.

[trolliogni.livejournal.com]

Корги НУРСов по бокам не хватает, лол. Будет почти как в DOOM2.
З.Ы. Была в прощлом развлекуха рисовать корову на гусеницах и с башней, но это скорее подозрение вызовет.

[fonzeppelin.livejournal.com]

Корги НУРСов по бокам не хватает, лол. Будет почти как в DOOM2.

Ударный коргикоптер? Аттикус одобряет!

[trolliogni.livejournal.com]

Типа того. Я когда учился психоанализу в университете, такие рисунки (от живых людей) предлагали интерпретировать как начальную стадию шизофрении.

[antontsau.livejournal.com]

УВЧ! 8/64! Слизнегадоиды нинужны!

[semenoff.livejournal.com]

Картины — явное барахло. Пока не получается, подождем еще лет 50.

Хорошая новость для художников, пока им подобная конкуренция, похоже, не угрожает.

[otnosyashhijsya.livejournal.com]

Найдите картинку Форда Т. Ну и барахло же было...

[kobyz.livejournal.com]

А вот здравый вопрос, это отобранные лучшие работы или стандарт?
Просто если нейросетка выдает по одному описанию 50 работ, а человек с художественным вкусом отбирает из них лучшее, то результат выглядит не так интересно. Особенно если из 100 заданий приемлемых работ набралось на 10-20...

[kobyz.livejournal.com]

попробовал на
https://rudalle.ru/demo
запрос: звездолет таранит космическую станцию
вышел отстой, невнятная мазня из серых полосок.

запрос: вопящий паук
аналогично, невнятный коллаж из кусков фоток листьев, хвои, деревьев и непонятных веточек (может подразумевались лапки паука?)
Рассмотреть что то не получилось.

запрос:
красная шапочка киборг против волка-мутанта
результат хрень неописуемая...
https://rudalle.ru/check_image/f875c5440a1b4a7e8d3073117cde6b7a
а вот со второго раза с тем же запросом уже что то более приемлемое
https://rudalle.ru/check_image/4cf9360c0b1d42ec9ccb3177244738b5
хотя волка не видать и красная шапочка угадывается только по названию...


Так что результат проверки говорит:
в 99% выходит хрень и нужен человек чтобы ее фильтровать, иногда на выходе получается условная годнота, а изредка может и 100% попадание прилететь, но... все таки для работы нужен человек

[fonzeppelin.livejournal.com]

Гхм, вы пробовали на нейросетях уровнем... значительно ниже DALL-E2. :) Эта сеть еще только тестируется.

[kobyz.livejournal.com]

ruDALL-E XL
ну в принципе да, предыдущее поколение.
Хотя тоже заявлялось как прорыв. И что то оно выдает. Иногда даже похожее на графику.
и если заглянуть в галерею https://rudalle.ru/gallery/all там все круто!
Но самостоятельная попытка получить годноту терпит эпикфейл!

Подозреваю что и у DALL-E2 ситуация аналогичная, в галерее выставлены наилучшие работы. Единицы из генерированных миллионов, отобранные в результате людьми.

Опять же, разные задания имеют разную сложность:
Шахматная ладья из изумрудного материала
или
Желтая птичка с красным клювом
Задачи несложные, возьми картинки с подобным описанием объекта (наверняка же есть желтые птички и шахматные ладьи) выдели на них главный объект (такой алгоритм вроде тоже давно есть) примени к нему цветовой фильтр.
Возможно получится то что нужно. Человек потом выберет, отбросив 90% неудач.
В результате в галерее вполне приличные изображения.

А вот более сложные задачи могут и поставить сеть в тупик.
Что и произошло с "вопящим пауком"
Облом произошел на фазе "выделить объект", у паука тонкие ножки, поэтому с фоток типа "паук на листике" чаще листик выделяется чем сам паук. Результат: зеленое месиво.
С Красной шапочкой еще хуже. Начнем с того что красная шапочка это не предмет, а девочка :) И от картинки с таким заданием мы ожидаем некого взаимодействия объектов. Тут у сетки случился полный провал.

[megadarkblack.livejournal.com]

судя по освещению — на сверхновую они смотрят, как в последний раз...