YouTube-блогер Харрисон Кинсли поделился видео, демонстрирующим GAN Theft Auto, нейронную сеть, которая может самостоятельно генерировать игровую часть мира Grand Theft Auto V. Работа GAN Theft Auto основана на нейросети Nvidia GameGAN.
Ранее исследователи в области искусственного интеллекта из Intel Labs продемонстрировали систему машинного обучения, которая позволяет сделать GTA V более фотореалистичной. Они использовали датасет с фотографиями реальных городов и алгоритмам обработки, которые убирают артефакты изображения.
GameGAN представляет собой порождающую враждебную сеть. Каждая GAN состоит из двух конкурирующих нейронных сетей: генератора и дискриминатора. Генератор обучается на образце набора данных, а затем получает команду создать контент на основе увиденного. Тем временем дискриминатор сравнивает выходные данные генератора с исходным набором данных.
«Каждый пиксель, который вы видите здесь, генерируется нейронной сетью, пока я играю», — говорит Кинсли на видео. — «Здесь нет правил, написанных нами или движком».
Для обучения GAN Nvidia предоставила Кинсли систему DGX Station A100. Она имеет четыре графических процессора A100 и 64-ядерный серверный процессор AMD. Эту вычислительную мощность задействовали для одновременного запуска 12 систем на ИИ. Эти программы проходят один и тот же участок дороги в игре, собирая данные, необходимые нейросети для создания собственного игрового мира. Система на ИИ с суперсэмплингом обеспечивает более чистый вывод, чтобы картинка не была пиксельной.
Как видно из видео, сеть моделирует окружающую среду. По мере движения автомобиля тень под ним и отражение солнца на его заднем лобовом стекле меняются, а горы приближаются.
В игровом процессе возникают и новые ситуации. Например, при столкновениях могут быть проблемы. Кинсли говорит, что однажды он увидел, как приближающаяся полицейская машина развалилась на две части перед столкновением с автомобилем героя.
Код GAN Theft Auto разместили на GitHub.
v1000
Выглядит, словно сон, в котором играешь в GTA V.
SergioShpadi
Мне кажется, это сходство не случайно. Наш мозг похожим образом на основе когда-то увиденного и услышанного генерирует сон.
Ark1774
Наш мозг в принципе постоянно генерирует изображение, т.к. «ширина канала» зрительного нерва, позволяет в реалтайм около 1Мп видео. Остальное мозг додумывает, из за чего у каждого случаются артефакты(когда мозг по ошибке не тот кусочек изображения вставляет), особенно в условиях плохой видимости/зрения.
gsaw
Вряд ли мозг генерирует изображение, глаз в мозгу нету, сгенерированные изображения смотреть тупо нечем. Его задача понять изображение, разложить на образы. Я думаю во сне мы только абстрактные понятия и эти образы и «видим».
Ark1774
Что то в этом есть, хотя и не уверен. Т.к. в осознанном сне мозг может создавать целую виртуальную реальность с разным набором и полноценностью ощущений(в зависимости от «прокаченности» мозга), при этом часть мозга спит, а сон идёт в ускоренном режиме. Откуда тогда высвобождается вычислительная мощность?
gsaw
Была статья на хабре, в ней сообщалось, что простейшие животные без мозга тоже спят. То-есть сон не для того, что бы мозг «остыл», а что бы организм в целом отдохнул. Это мозг «приспособился» ко сну, и продолжает работать и во сне.
Я читал, что в таламусе есть клетки, которые под воздействием серотонина тормозят информационные потоки от периферии к мозгу. Если представить себе мозг нейронной сетью, на входе которой осязание, зрение, слух и тп, а на выходе логические цепочки. То во сне мозг оказывается отключен от входных сигналов, но продолжает работать и генерировать образы, логические цепочки из рандома, из того, что все же до него проникает. Вот и «видим» мы сны, как череду смены образов. Причем все чаще всего очень схематично. Лично я не сказал бы, что вижу прямо все как наяву.
Ark1774
Потому что для этого целенаправленно тренироваться надо. Сначала научится осознавать себя во сне, а потом улучшать его чёткость.
Я несколько лет провёл в непрерывном осознанном сне, а тело лежало в коме. Путешествовал по огромным(по ощущениям) мирам совсем не похожим на нашу реальность(это вероятно повлияли книги и фильмы прочитанные/просмотренные в большом количестве), порой до дрожи реальных и пугающих своей атмосферой. Настолько что временами забывал что сплю. Под конец, когда мозг по видимому более менее восстановился, из реальности начали проникать образы и звуки, органично вплетаясь в мир.
Melaeg
Звучит чертовски интересно, я бы послушал подробный рассказ.
HappyLynx
За опыт в коме не подскажу. Но вектор движения для начала изучения тематики осознанных сновидений без всякой антинаучной эзотерики, а сугубо на экспериментальной и фактологической базе указать могу. Почитайте книги психофизиолога Стивена Лабержа. Там есть и аналитические данные и о том, что есьм состояние осознанного сновидения, и конструктивные подходы к выработке навыков по вхождению в оное.
Сам по его книгам за пару месяцев натренировался несколько раз в неделю входить в указанное состояние, после полугода экспериментов подзабросил, но до сих пор периодически испытываю. В плане реалистичности могу описать этот опыт как субъективно более реальный, чем от объективной реальности при бодрствовании, т.к. мозг без задержек подсовывает тебе именно такие образы, которые сам же воспринимает как реальные. Т.е. если во сне попробуешь всмотреться, например, в бетонную стену, то увидишь не некий урезанный абстракт серой поверхности, а бетонную стену, с трещинками, пещинками, именно такую бетонную стену и в том же многообразии деталей, какую мозг воспринимал бы реальной при рассматривании реальной стены. Это сложно объяснить, проще один раз попробовать. Основной шок от данного опыта испытал как раз от того, что ожидал, что мозг при обработке перцептивной информации функционирует на уровне неких абстракций, не думал, что он способен на такую степень детализации не только восприятия, но и самовоспроизведения восприятия. Т.е. вы верите в эту бетонную стену не потому, что у мозга отключается критический анализ и он не задумывается о том, что реальная серая стена выглядела бы не так, а потому, что мозг без участия сознания в реальном времени, видимо, проводит этот анализ и строит образ уже с его учетом еще до тогл, как вы его сознательно воспринимаете, и если вы в своей жизни видели достаточное количество бетонных стен, то он вам подсунет субъективно идеальную реконструкцию оной, и, прошу заметить, не некоторую усредненную, а просто некоторую, заглянув за угол во сне, вы можете увидеть совершенно другую по фактуре и виду бетонную стену, при этом не менее реалистичную. Более того, проснувшись и подойдя к реальной стене, не возникает ощущения, что увиденная во сне имела меньшую реалистичность.
Кроме того, видимо, есть некая самостабилизация воспринимаемых во сне образов, внутренний бессознательный критк генерирует образ, затем он воспринимается перцептивным я, которое дает положительную обратную связь бессознательному критику, и образ получается на удивление устойчивым, т.е. нужно очень постараться, чтобы смотря на бетонную стену (продолжая задействовать перцептивные цепи мозга) во сне заставить образоваться в ней, скажем, дверь. Но! Тут есть хитрость, достаточно во сне отвернуться от стены, а затем слегка сознательно постараться прочувствовать образ того, что вот сейчас, когда вы повернетесь обратно к стене, в ней должна быть дверь, как данная мысль дает бессознательному критику необходимую вводную, и когда вы поворачиваетесь обратно к стене, в ней уже присутствует дверь. Впрочем, это я уже начинаю отвлекаться в сторону методов контроля над образами осознанного сновидения, и продолжать могу долго, так что, дабы не утруждать вас и так уже затянувшимся лонгрид комментом, просто еще раз предложу ознакомиться с трудами Лабержа, а то и попробовать самостоятельно поисследовать этот невероятный феномен, благо, для этого не нужно ничего, кроме желания и вашего собственного мозга.
PS: Пример со стеной был взят для наглядности, сверхреалистичность распростоаняется на все перцептивные аспекты осознанного сновидения, в том числе, например, на тактильные, т.е. если ты плывешь в океане во сне, то тактильные и температурные ощущения воды вокруг так же будут сверхреалистичными.
engine9
Интересный пересказ опыта. У меня бывало пару раз спонтанные ОС, но в них образы выглядели как LODы из игры, причём чем дальше от меня находилось здание тем более карикатурным оно выглядело, некоторые настолько плохо проработаны, что походили на плоские силуэты в виде небрежно нарисованных краской пятен. А знакомые локации воспроизводились довольно точно, ближайшие дома имели тот же цвет, что в реальности. Но пропорции зданий и архитектурных элементов были искажены. Исчезнувшие сегменты лестниц в подьезде так же наблюдались.
HappyLynx
Если ожидать (причем, в большей степени подсознательно, чем на сознательном уровне), что сон должен быть именно таким, то он будет таким. Т.е. если ожидать, что бетонная стена во сне должна выглядеть как однотонный брусок плывущей формы, то она и будет выглядеть как однотонный брусок плывущей формы.
То, что я описывал в предыдущем комментарии относительно сверхреалистичности, это не характеристика любого сна, иначе мы бы никогда не испытывали, скажем, звуковые сны без четких визуальных образов, а это, на самом деле, достаточно часто случается. Я говорил о том, на что способен мозг, если научиться правильным способам требовать этого от него, причем научится вот ну прям совсем не сложно. Что, впрочем, не исключает сверхреалистичных снов и без приложения к этому усилий, просто внутренний бессознательный критик будет настроен на сверхреалистичность (нагружать соответствующие перцептивные отделы мозга достаточным образом) только от случая к случаю, а, умножив вероятность этого на вероятность спонтанного осознания себя во сне, получается достаточно редкое явление.
Кроме того, необходимо различать перцептивную реалистичность и материальную/математическую/логическую (в смысле формальной логики, не субъективной) реалистичность. Т.е. вы не сможете во сне записать на листке бумаги более нескольких произвольных предложений так, чтобы, вернувшись глазами вверх по листку, было возможно их перечитать, мозг просто не сохраняет информацию таким образом, чтобы это было возможным, но тем не менее и листок бумаги, и ручка в ваших руках будут ощущаться как самый настоящий листок бумаги из волокон с шероховатостями и разными реалистичными неидеальностями и как самая настоящая ручка. Так же и количество этажей в наблюдаемых зданиях не будет подчиняться строительным нормам и даже может меняться от взгляда к взгляду, т.к. на уровне восприятия наш мозг не владеет математикой и банальным счетом, если количество элементов превышает 3-5, разве что вы провели половину жизни занимаясь пересчетом чего-то, связанного с наблюдаемым, тогда есть вероятность, что процесс счета был оптимизирован мозгом до той степени, что начал работать не на уровне сознательного, а прямо на уровне восприятия.
anonymous
У меня 95% всех текстов вообще состоят из хаотичного набора букв. Причём в большинстве случаев кириллических. Хотя я одинаково хорошо использую в быту латиницу. Редко, но бывают и фразы со смыслом или пусть бессмысленные, но хотя бы читаемые (то есть набор слов, а не набор букв). Удивительный опыт!
anonymous
Истово плюсую: +
Первые же мысли лет 20 назад с этим опытом были именно такие: если это «сон», то что такое наша «реальность», если она хоть и намного более устойчивая и продолжительная, но по качеству… ))) сильно уступает «опыту во сне». Поди теперь разбери, что есть сон, а что явь. И не спим ли мы сейчас все в одном стабильном, но так себе по качеству сновидении? (да-да, отсылки к «Матрице»)
ksotar
Есть довольно простой, но пугающий способ потерять всякую "реалистичность" во сне - это посмотреть на собственные руки. То, что вместо них увидишь - не оставляет сомнений в нахождении во сне.
Ark1774
Тоже зависит от опыта. Они тоже могут быть реалистичными вплоть до паппилярных линий. Отпечатки правда с реальными не сравнить, так что может и не свои.
Nile861
Я зачитался и потерялся немного в вашем обсуждении, но если я не ошибаюсь, то это вы писали про дверь в стене. Хочу тоже дать по этому поводу совет, не знаю как у вас на практике он себя проявит, но я лично именно таким способом пользуюсь.
Способ: Не надо всю дверь целиком воплощать, можно представить, что она всегда там была, просто её не видно(она часть стены и швов тоже нет), но для её открытия просто нужно дотронуться рукой до какого-то места на стене(да это уже не совсем дверь, а скорее потайной проход?), а это место будет находиться там, куда вы дотронетесь рукой.
Лично мне этот способ кажется проще, но опять же это мне, а вот как он проявит у вас на практике себя-неизвестно.
P.S.Надеюсь понятно объяснил, а еще хотел бы поблагодарить за упоминание литературы про ОС, которую нужно будет почитать на досуге))
Ark1774
Нет особого смысла, т.к. на тот момент у меня случались только спонтанные осознанные сновидения(ОС), и до всего приходилось доходить самому, т.к. проснутся я не мог, как ни пытался.
Поначалу строил реальность по различным воспоминаниям, но они были нестабильны, любая мысль тут же исполнялась. Потом на ощущениях научился отделять себя от генерации мира(уж не знаю какая часть мозга этим занималась и как это получилось) и получались «твёрдые» миры с автономными существами(не всегда людьми) со своей волей.
Порой настолько, что казалось вышел на контакт с кем то вне своего разума. Но проверить изнутри это никак нельзя.
По поводу детализации можно почитать фантастику, Лабиринт отражений, Лукьяненко. Чувствуется что книга писалась на реальном опыте ОС.
JJBaltika
Это очень энергозатратно. Об этом почему-то рассказчики техник умалчивают. На одну лишь подготовку четкости восприятия сна после пробуждения потребуется около полугода ежедневных тренировок, которые нельзя пропускать, дабы не потерять прогресс (есть и другие техники без этого, на подобии эзотерики и подобной ерунды, но я не берусь рассуждать про них. Меня интересовал именно контроль сна на естественных человеческих процессах). Особенно момент с учётом вспоминания сюжета своих снов. Это минут пятнадцать каждый день сразу после пробуждения, до тех пор когда вселенная сна не сформируется и вы во сне не начнёте узнавать построенную мозгом местность, т.е. привязывать ощущения прибывания там ко сну. Сложность здесь распределяется на весь отрезок тренировок, нужно привязывать новые осознанно открытые локации к снам, которые в них вы видели в прошлом, но не осознавали этого.
Из опыта. Плюсы: сон видится как рассказанная история с интересным сюжетом. Это и было моей целью, без всяких там осознанности, где во сне вы повелитель мира, как многие пишут. Так же Удалось вспомнить как мой город выглядел как я его видел в далёком детстве, это очень странно как мой мозг спрятал эту информацию так далеко, открывая только во сне. Научился просыпаться сразу же как понимаю, что сон начинает приносить дискомфорт. Научные данные на этот счёт разнятся: из последнего читал, что мозг через такие сны учится справляться с предстоящим стрессом, а я, соответственно в это состояние ему зайти не позволяю.
Из минусов: на яркость снов и сюжетов влияет только постоянная практика вспоминания снов сразу после пробуждения. Поэтому время потраченное на эти эксперименты кому-то может показаться невосполнимым. Так же предостережение: кошмары выйдут на новый уровень, даже если вы их раньше почти и не видели. Только в осознанном сне я вижу блекаут кошмар в повседневных локациях. Проработанность деталей пугает больше всего. На втором месте сон во сне во сне и беспомощные попытки выбраться оттуда.
Совет: техника с будильником за час до пробуждения с последующим его отключением лучшая что я когда либо пробовал. В этот промежуток до естественного пробуждения, желательно в одно и тоже время, видятся самые запоминающиеся сны, которые помогут вам быстрее найти контроль.
Husk
Вот насчёт энергозатратности я согласен, уже около лет 6 я живу с ОС, а точнее быть полноправным доступом ко сну. И я уже не помню, чтобы я как-то высыпался полноценно, ибо каждый день ос, если проснусь, а потом усну опять ос новый. Насчёт кошмаров, они никогда не снились, так и не снятся. Прийти к ос мне помогло ежедневная практика, так ещё и сонный паралич повлиял на это сильно, с ним быстрее можно прийти к ОС.
У меня даже такие моменты были, когда я вылезал из сна и продолжал говорить то, что говорил в нем. Также ощущения времени и мгновенное пробуждение спокойно работает, когда есть примерное чувство времени во сне. Часто бывает такое, что я понимаю, что уже очень долго сплю и резко пробуждаюсь, либо устаю спать.
yokotoka
Напишите об этом, пожалуйста! Анонс уже звучит как бестселлер.
Rampages
На самом деле мозгу непрерывно надо обрабатывать информацию, поэтому когда человек помещают в камеру сенсорной депривации и не получается никаких внешних раздражителей, то мозг начинает сам генерировать эту информацию.
Также в мозгу есть ретикулярная формация, это сложная структура, которая выполняет роль фильтра сигналов, т.е. допустим вы носите одежду и не ощущаете постоянно её вес давление на кожу, а также другие подобные раздражители фильтруются (притупления чувства боли, ощущение температуры воды при купании).
Вообще наш организм довольно продуманная штука и все эти процессы саморегуляции и ответных реакций довольно интересно обсуждать.
DesertFlow
Если быть точнее, в клетках нейронов есть натрий-калиевые насосы, которые постоянно накачивают разницу электрического потенциала внутри и снаружи клетки. Пока клетка получает питание с кровоснабжением (т.к. на этот процесс нужно затрачивать энергию). Как только он превышает некоторое значение (выше 0.7 Вольт, вроде), то нейрон разряжается на связанные с ним другие нейроны. Если у тех к этому моменту накоплен свой достаточный потенциал, то они передают его дальше и т.д… А так как этот сигнал пойдет с большей вероятностью по самым толстым устоявшимся между нейронами путям, то мы это воспринимаем как знакомые образы. Вот примерно так сны и работают, пока тело в отключке.
Rampages
Да, точно. Интересно, что во снах бывают не самые разработанные нейронные связи. Давно забросил мед университет, поэтому могу ошибаться :).
anonymous
Я где-то читал или смотрел, что основная фильтрация проходит на стадиях ещё до попадания в мозг — в спинном мозге, в самих нервных окончаниях и т.д.