Doom на движке из нейросетки

[fonzeppelin]

Парни из лабораторий «Google DeepMind» в сотрудничестве с университетом Тель-Авива представили кое-что весьма забавное и интересное: «игровой движок» GameNGen, полностью построенный на виртуальной нейросети. И запустили на нем старый добрый «Doom» на 20 FPS.

Самое же интересное здесь то, что на самом деле никакой игры тут нет. Обученная на визуальном ряде «Doom» нейросеть реагирует на нажатия клавиш игроком, генерируя кадры, которые, как она считает, наилучшим образом соответствуют вводимому действию. Например, если игрок нажимает «вперед» — нейросеть сверяется со своей базой данных о том, какие изменения происходят на экране от этого действия, и генерирует соответствующие кадры. Если игрок нажимает «огонь», нейросеть, соответственно, начинает генерировать кадры стрельбы из оружия, поражения монстров и т.д.

Сделано это было следующим образом:

* Для начала, команда исследователей создала базу исходных данных. Поскольку требуемое количество часов игры было невозможно набрать «естественным» путем, они создали небольшого виртуального агента (по принципу обучения с подкреплением), который накручивал необходимые сотни и тысячи часов игрового времени.

* На следующем этапе, исследователи взяли небольшую нейросеть Stable Diffusion v1.4, и на ее основе создали диффузионную модель. Которая, обучаясь на предоставленной базе данных, училась сопоставлять нажатия клавиш игроком с изменением картинки на экране. Еще раз подчеркиваю; программа не имела ни малейшего представления, что имеет дело с игрой. Она обучалась только и исключительно последовательно генерировать кадры в зависимости от того, как действия (нажатия клавиш) меняют происходящее на экране.

* Обученную нейросеть доработали для максимальной точности воспроизведения игровых кадров, дополнительно обучив ее на сопоставлении сгенерированных ею кадров с игровыми. В результате, показатель пикового отношения сигнал/шум при прогнозировании каждого следующего кадра достигал 29,4 (авторы проекта использовали аналогию «как если бы кадр Doom сжимали в формат JPEG с соответствующей потерей качества»). 

И в результате получился «движок», который при полном отсутствии самой игры, чрезвычайно достоверно ее симулирует. Эксперименты показали, что люди практически не способны отличить «реальный» Doom от симуляции. Десять испытуемых, которым предложили короткие (1,5-3 секунды) ролики «реальной» игры и симуляции GameNGen, в среднем могли угадать какой «реальный» а какой нет, лишь немногим более чем в половине случаев (58-60%, что близко к случайному распределению).

Разумеется, пока что возможности GameNGen сильно ограничены. Запаса «памяти» искусственного интеллекта хватает лишь на несколько секунд интерактивного процесса — то есть если игрок решит пойти в обратном направлении, программа уже «забудет» как выглядели посещенные им комнаты, и сгенерирует совершенно новые. И чем дольше идет игра, тем больше накапливается артефактов и «дрейфа». Да и качество генераций оставляет подчас желать лучшего:

И тем не менее — это один из первых шагов в очень интересном направлении. Многие аналитики считают, что уже в обозримом будущем настанет время, когда игровые модели и игровой процесс будут не столько программироваться, сколько генерироваться, используя текстовые промты и визуальные образцы (фотографии, 3D модели, видео) как основу для дальнейшей работы искусственных интеллектов. Что может привести к настоящей революции в отрасли, сделав графические решения и процессы на уровне игр ААА-класса доступными и дешевыми в производстве.

Интригует, не так ли?

Чиби-Думгай вышел не очень точным, но узнаваемым)

Comments

[prostak-1982.livejournal.com]

"Запаса «памяти» искусственного интеллекта хватает лишь на несколько секунд интерактивного процесса — то есть если игрок решит пойти в обратном направлении, программа уже «забудет» как выглядели посещенные им комнаты, и сгенерирует совершенно новые."

Сказать что это не баг, а фича. Персонаж попадает в адский пластично-изменяющийся мир, где нет ничего постоянного. Помните, в "Обмене разумов" было понятие искаженного мира?

[sin vicious (from livejournal.com)]

У миров есть законы, типа сохранения энергии и импульса, равномерности и непрерывности пространства времени. которые в современных играх соблюдаются очень близко к реальности. Собственно наш мозг принимает игру тем лучше, чем лучше она соотносится с его картинок мира.
Так что это баг, а искаженный мир — психоз.

Впрочем возможности ИИ на современном уровне для построения игры дальше этих нескольких секунд уже исчерпаны.

[prostak-1982.livejournal.com]

Зачем же так серьезничать? )))

А так, искусство маркетинга уже так продвинулось...

[sin vicious (from livejournal.com)]

искусство маркетинга разбивается об отзывы на ГеймерсНексусе и рейтинг принятия в Стиме
игры сами по себе привлекательны именно как челендж, как поиск закономерностей, лучших стратегий: мотивация — это любопытство, помноженное на допамин достижений. но для реализации поиска закономерностей, должны быть какие-то общие координаты. например Portal не нарушает законов, т.к. мост Эйнштейна-Розена доказан, хоть и недоступен нам технологически, а на планковском уровне телепортации — вообще обыденность.

[prostak-1982.livejournal.com]

Э-э-эм, у автора же написано, что законы мира не меняются, ИИ только не может запомнить пройденные карты, в результате чего генерирует новые маршруты. А эта фишка уже неоднократно обыгрывалась и была, при этом, достаточно популярной. Можно вспомнить цикл фильмов "Куб-Гиперкуб", например, или нарушение законов, обыгрываемое в мультфильмах.

[sin vicious (from livejournal.com)]

ИИ знает карты наизусть, равно как и местоположение монстров. Если бы игрок не взаимодействовал с миром вообще и мир бы ни на что не реагировал, то можно было бы ходить по карте и смотреть чо как. Но скорее всего нейронка начинает галлюцинировать через несколько секунд взаимодействия, т.к. надо (очень сложную) модель непрерывно модифицировать дообучением, что неизбежно приводит к сваливанию в галлюцинации.

[vladicusmagnus.livejournal.com]

Глупости же пишете... Ну?

[vladicusmagnus.livejournal.com]

А почему нет? Такие игры редки (из за сложности создания), но все пользуются огромным успехом.

[vladicusmagnus.livejournal.com]

Отлично сказано и подмечено. Сам зашел написать что то подобное.

[crosszzzz.livejournal.com]

Надо научить его движку.