Это вторая часть интервью с Андреем Карсаковым (kapc3d), к.т.н., старшим научным сотрудником Национального центра когнитивных разработок, доцентом Факультета цифровых трансформаций.
С 2012 года Андрей работает в научной группе Визуализация и компьютерная графика. Занимается крупными прикладными проектами на государственном и международном уровне.
Фото Hello Lightbulb (Unsplash.com)
В первой части беседы мы обсудили опыт AR-сопровождения массовых мероприятий:
Таймкод (в Apple Podcasts) — 40:00
dmitrykabanov: Вы же занимались не только AR, у вас много вещей, связанных с визуализацией данных, начиная с обучения магистров и заканчивая проектами для крупных заказчиков?
kapc3d: Даже скажем так: вот эти проекты, они хоть и крупные, и достаточно громкие, но это 20% из всего объёма задач, которые мы делаем. Мы — команда визуализации. Занимались именно научной визуализацией и разрабатывали (и до сих пор разрабатываем) различные инструменты для визуализации данных, связанных с исследованиями. По этой ветке продолжаем работать с крупными заказчиками и с небольшими частными, назовём так, нашими внутренними заказчиками — ребятами из других научных групп, которым нужен инструментарий. Например, для визуализации данных, чтобы с ними было удобно работать. К дополненной реальности мы пришли благодаря тому, что используем технологии игровой индустрии для работы с «серьёзной визуализацией».
Дмитрий: Стоит пояснить, что можно подразумевать под визуализацией данных для самых разных проектов. Например, расчёт движения людей на определённой станции.
Андрей: Да, вы упомянули проект, который не только с визуализацией связан. Визуализация — это представление либо численной, либо абстрактной информации. Мы любим с динамическими формами работать, когда что-то во времени ещё происходит. Визуализация может быть разной, начиная от инфографики. Но визуализация и инфографика — это разные вещи. Визуализация данных — это больше инженерный процесс. Его задача состоит в том, чтобы показать информативность тех данных, которые у тебя есть. Если они завёрнуты в красивую оболочку, это дополнительный плюс.
Это может быть визуализация воздушных потоков, томография, МРТ-снимки. В таких данных пространственное измерение определёно физическими и химическими свойствами естественных объектов, и мы не можем их изменять. С точки зрения визуализации данных, в частности, абстрактных данных, мы визуальный канал пространства можем использовать как вздумается.
Ещё одна из дополнительных веток научной деятельности в нашей лаборатории — разработка систем искусственного интеллекта как раз для пешеходной мобильности. Мы занимаемся визуализацией подобных физических процессов. У нас был проект по инструментарию и визуализации гидрометеорологических данных. Занимались прогнозированием уровня, температуры, течения нашего моря, океана, осадков, ветра, геомагнитной обстановки. Работаем с урбанистикой, девелопментом. Ввиду того, что мы делаем визуальную часть, мы исполняем роль неких интеграторов, сборщиков всего в одну кучу, потому что мы предоставляем конечный пользовательский интерфейс. Поэтому какая-то конкретная предметная область для нас не сильно принципиальна, мы с большим количеством отраслей поработали: медицина, урбанистика, с финтехом сейчас крупный проект идёт.
Таймкод (в Apple Podcasts) — 48:52
dmitrykabanov: Получается, что в компьютерных играх всё это вместе складывается в междисциплинарную штуку, когда есть и данные, не привязанные к конкретным объектам, которые нужно визуализировать, и непосредственно игровые объекты, которые как-то себя ведут, в том числе руководствуются и строят свое поведение благодаря системам искусственного интеллекта.
kapc3d: Да.
Дмитрий: Вы к этому пришли исходя из общего тренда на междисциплинарные программы в университете или стали заниматься это темой, исходя из своих интересов?
Андрей: Скорее второе. Это эволюционное развитие, нежели какое-то подстраивание под тренды. Раньше ветка с научной визуализацией, с симуляторами, тренажёрами, и ветка потребительской индустрии компьютерных игр достаточно далеко друг от друга жили. Разные технологии, разный уровень оборудования. Для serious games нужны определённые компьютерные мощности, чтобы всё по-честному считалось, это какие-то реальные симуляторы, построенные на реальных моделях (например, тренажёры боевых действий). С другой стороны, компьютерные игры работают на упрощение в угоду оптимизации. Не всегда нужно достоверно что-то воспроизводить, чтобы не терять интерес игрока. Но последние три года эти области приблизились друг к другу, начали смешиваться.
Инструменты, которые используются в разработке игр, активно пошли в научную область. И очень много наукоёмких вещей из «серьёзной разработки» начали попадать в игрострой. Это системы искусственного интеллекта, генеративные методы. Мы естественным образом туда попали. Занимались научной визуализацией, но всегда хотелось принимать участие и в разработке компьютерных игр. Возникла мысль, почему бы это не начать смешивать. Почему бы не начать учить ребят, которые хотят в игровую индустрию пойти, и именно с уровня магистратуры давать им те компетенции, которые есть у нас с точки зрения академической части. То есть то, что зачастую кадрам высшей квалификации не хватает: больше свободы в принятии решений, постоянно учиться, изучать, искать новые способы решения. Компаниям как раз этого не хватает. Они ищут джунов, чтобы научить их под себя, либо профессиональных лидов уровня топ-менеджмента.
Дмитрий: Возникает логичный вопрос. Обыватель представляет себе работу над играми, как некий творческий процесс и для него научная составляющая занимает процентов 5-10% максимум. Как у вас обстоят дела с этим? Как вы объясняете людям, что эта часть имеет вес?
Андрей: Игры — это про бизнес. Сейчас в большинстве случаев, если хочешь пойти в индустрию, будь готов, что это — бизнес, где люди просто зарабатывают деньги в большинстве случаев. Когда мы говорим о какой-то творческой составляющей, это либо какие-то одиночные, либо небольшие проекты, которые люди вместе делают для души. Там больше творчества. Там берут готовые инструменты и в угоду своего творческого потенциала их используют.
С другой стороны, есть бизнес, который приносит немаленькие деньги. В прошлом году игровая индустрия в два раза превысила по объёму выручки киноиндустрию. Это огромные деньги. Нужно делать конкретные шаги, чтобы отбить стоимость этой разработки. Для этого нужны квалифицированные кадры, чтобы выстроить процессы правильно, эффективно и принимать в нужный момент оптимальные решения. Без науки здесь никуда. Всё, что мы видим в интересных игровых проектах, всё, что нас там цепляет, за всем этим есть очень мощная база R&D.
Диснеевская и пиксаровская команда внесла огромный вклад в развитие компьютерной графики. У них в каждом новом мультфильме или фильме есть новые фишки и технологии, которые они выпускают на SigGraph именно как научные публикации. Например, диснеевская команда придумала метод симуляции снега в «Холодном сердце», чтобы он корректно скатывался, следы оставлял. На это тратится невероятное количество человеко-часов, а если ты сделал систему, которая позволяет это воспроизводить, то сразу сокращается стоимость производства, но ты сразу потратился на R&D.
Там практически полностью бесшовная вселенная, притом не уровня No Man’s Sky, а в реальных масштабах. Когда ты можешь взлететь с планеты, увидеть где-то там: «О, маленькая светящаяся точка на небе, пойду-ка я до неё долечу». Ты садишься в свой космический корабль, взлетаешь с поверхности планеты, влетаешь на орбиту, видишь космическую станцию, к ней подлетаешь, видишь у неё посадочные доки, садишься туда, выходишь из корабля, идёшь по ней гулять — всё бесшовно.
И внутри там лежит большое количество технологий, с ума сойти можно. Там офигенные экономические модели, которые позволяют воспроизводить жизнь всего этого мира, различные модели, которые позволяют реалистично генерировать поверхности планет, чтобы они были максимально неповторяющимися. Когда ты видишь, что у тебя одинаковые объекты начинают повторяться, то добиться, чтобы это выглядело максимально естественно, — та ещё задача.
Кино — есть интересные кейсы. На Нетфликсе выходил «Брандашмыг», который «Чёрное зеркало». Помните, там интерактивная серия была, где можно было выбирать варианты развития событий. Но это не совсем то. Там ограниченное количество веток может развиваться. Киноиндустрия сейчас немного в другую сторону меняется с точки зрения кинопроизводства. Там всё существенно упрощается, то есть превращается именно в компьютерную игру. Ты можешь прямо на съёмочной площадке видеть практически все спецэффекты, которые идут в реальном времени, вместе с твоими актёрами.
Тут же всё править, динамически изменять. Так упрощается процесс, он становится более творческим, нежели раньше, когда режиссер должен был всё продумать в голове. Здесь больше творчества с точки зрения технических возможностей. Ты можешь многое дорисовать компьютерной графикой.
Не нужно ехать на природу, чтобы снять красивые кадры. Достаточно поставить перед гринскрином человека, плюс-минус правильно выставить свет. Кстати, и с этим поможет инструментарий условного игрового движка, когда ты знаешь, какое окружения у тебя будет. Так ты уменьшаешь дальнейшие трудозатраты по постпродакшену. В кинопроизводстве это заметно. И даже на примере профессиональных мероприятий. Раньше конференции вроде CG Event были посвящены преимущественно кинопроизводству, спецэффектам, телевизионным фишкам. Последние годы активно заходит блок производства компьютерных игр и блок игровых технологий в цифровых медиа. Например, в Москве чуть ли не отдельная секция была под Unreal Engine.
Дмитрий: Что вы можете сказать о пререквизитах для тех, кто хочет пойти в игрострой? Что нужно знать и что можно посоветовать тем, кто готов посвятить этому свое время?
Андрей: Скользкий вопрос. Мне может немножко прилететь, но у меня есть определённая позиция. Если ты хочешь попасть в геймдев, тебе необязательно идти получать для этого специализированное образование. Всё зависит от того, кем ты хочешь быть в этой индустрии. Ты без проблем можешь пойти после колледжа с базовым знанием компьютерной грамотности на QE — просто тестировать игры.
Всё, ты попал в индустрию. Дальше ты понимаешь, как ты хочешь развиваться, учишься, двигаешься, куда угодно. С другой стороны, у нас отсутствует система образования для индустрии игр в России, хотя в Европе и США это давно вполне себе академическая ветка в бакалавриате, магистратуре. У нас это пока серьезно не воспринимали. Когда игровая индустрия начала активно развиваться, у нас были лихие 90-е, где в академии не развивалось ничего. Многие хотят учиться, но не понимают зачем.
Послушать и поддержать нас можно тут:
Тем временем на англоязычной версии Хабра: memory, cyberpunk and startups.
С 2012 года Андрей работает в научной группе Визуализация и компьютерная графика. Занимается крупными прикладными проектами на государственном и международном уровне.
Фото Hello Lightbulb (Unsplash.com)
В первой части беседы мы обсудили опыт AR-сопровождения массовых мероприятий:
- Буллиты и аудиоверсия на YouTube
- Текстовый транскрипт на Хабре
Научная визуализация данных и моделирование процессов
Таймкод (в Apple Podcasts) — 40:00
dmitrykabanov: Вы же занимались не только AR, у вас много вещей, связанных с визуализацией данных, начиная с обучения магистров и заканчивая проектами для крупных заказчиков?
kapc3d: Даже скажем так: вот эти проекты, они хоть и крупные, и достаточно громкие, но это 20% из всего объёма задач, которые мы делаем. Мы — команда визуализации. Занимались именно научной визуализацией и разрабатывали (и до сих пор разрабатываем) различные инструменты для визуализации данных, связанных с исследованиями. По этой ветке продолжаем работать с крупными заказчиками и с небольшими частными, назовём так, нашими внутренними заказчиками — ребятами из других научных групп, которым нужен инструментарий. Например, для визуализации данных, чтобы с ними было удобно работать. К дополненной реальности мы пришли благодаря тому, что используем технологии игровой индустрии для работы с «серьёзной визуализацией».
Дмитрий: Стоит пояснить, что можно подразумевать под визуализацией данных для самых разных проектов. Например, расчёт движения людей на определённой станции.
Андрей: Да, вы упомянули проект, который не только с визуализацией связан. Визуализация — это представление либо численной, либо абстрактной информации. Мы любим с динамическими формами работать, когда что-то во времени ещё происходит. Визуализация может быть разной, начиная от инфографики. Но визуализация и инфографика — это разные вещи. Визуализация данных — это больше инженерный процесс. Его задача состоит в том, чтобы показать информативность тех данных, которые у тебя есть. Если они завёрнуты в красивую оболочку, это дополнительный плюс.
Это может быть визуализация воздушных потоков, томография, МРТ-снимки. В таких данных пространственное измерение определёно физическими и химическими свойствами естественных объектов, и мы не можем их изменять. С точки зрения визуализации данных, в частности, абстрактных данных, мы визуальный канал пространства можем использовать как вздумается.
Когда есть внешние ограничения, типа того, что температуру конкретного города ты не можешь показать в другом месте. Или если ты показываешь расчётные данные поведения пешеходов, понятно, что нужно продемонстрировать, как люди ведут себя на самом деле.
Ещё одна из дополнительных веток научной деятельности в нашей лаборатории — разработка систем искусственного интеллекта как раз для пешеходной мобильности. Мы занимаемся визуализацией подобных физических процессов. У нас был проект по инструментарию и визуализации гидрометеорологических данных. Занимались прогнозированием уровня, температуры, течения нашего моря, океана, осадков, ветра, геомагнитной обстановки. Работаем с урбанистикой, девелопментом. Ввиду того, что мы делаем визуальную часть, мы исполняем роль неких интеграторов, сборщиков всего в одну кучу, потому что мы предоставляем конечный пользовательский интерфейс. Поэтому какая-то конкретная предметная область для нас не сильно принципиальна, мы с большим количеством отраслей поработали: медицина, урбанистика, с финтехом сейчас крупный проект идёт.
Геймдев и магистерская программа
Таймкод (в Apple Podcasts) — 48:52
dmitrykabanov: Получается, что в компьютерных играх всё это вместе складывается в междисциплинарную штуку, когда есть и данные, не привязанные к конкретным объектам, которые нужно визуализировать, и непосредственно игровые объекты, которые как-то себя ведут, в том числе руководствуются и строят свое поведение благодаря системам искусственного интеллекта.
kapc3d: Да.
Дмитрий: Вы к этому пришли исходя из общего тренда на междисциплинарные программы в университете или стали заниматься это темой, исходя из своих интересов?
Андрей: Скорее второе. Это эволюционное развитие, нежели какое-то подстраивание под тренды. Раньше ветка с научной визуализацией, с симуляторами, тренажёрами, и ветка потребительской индустрии компьютерных игр достаточно далеко друг от друга жили. Разные технологии, разный уровень оборудования. Для serious games нужны определённые компьютерные мощности, чтобы всё по-честному считалось, это какие-то реальные симуляторы, построенные на реальных моделях (например, тренажёры боевых действий). С другой стороны, компьютерные игры работают на упрощение в угоду оптимизации. Не всегда нужно достоверно что-то воспроизводить, чтобы не терять интерес игрока. Но последние три года эти области приблизились друг к другу, начали смешиваться.
Инструменты, которые используются в разработке игр, активно пошли в научную область. И очень много наукоёмких вещей из «серьёзной разработки» начали попадать в игрострой. Это системы искусственного интеллекта, генеративные методы. Мы естественным образом туда попали. Занимались научной визуализацией, но всегда хотелось принимать участие и в разработке компьютерных игр. Возникла мысль, почему бы это не начать смешивать. Почему бы не начать учить ребят, которые хотят в игровую индустрию пойти, и именно с уровня магистратуры давать им те компетенции, которые есть у нас с точки зрения академической части. То есть то, что зачастую кадрам высшей квалификации не хватает: больше свободы в принятии решений, постоянно учиться, изучать, искать новые способы решения. Компаниям как раз этого не хватает. Они ищут джунов, чтобы научить их под себя, либо профессиональных лидов уровня топ-менеджмента.
Дмитрий: Возникает логичный вопрос. Обыватель представляет себе работу над играми, как некий творческий процесс и для него научная составляющая занимает процентов 5-10% максимум. Как у вас обстоят дела с этим? Как вы объясняете людям, что эта часть имеет вес?
Андрей: Игры — это про бизнес. Сейчас в большинстве случаев, если хочешь пойти в индустрию, будь готов, что это — бизнес, где люди просто зарабатывают деньги в большинстве случаев. Когда мы говорим о какой-то творческой составляющей, это либо какие-то одиночные, либо небольшие проекты, которые люди вместе делают для души. Там больше творчества. Там берут готовые инструменты и в угоду своего творческого потенциала их используют.
С другой стороны, есть бизнес, который приносит немаленькие деньги. В прошлом году игровая индустрия в два раза превысила по объёму выручки киноиндустрию. Это огромные деньги. Нужно делать конкретные шаги, чтобы отбить стоимость этой разработки. Для этого нужны квалифицированные кадры, чтобы выстроить процессы правильно, эффективно и принимать в нужный момент оптимальные решения. Без науки здесь никуда. Всё, что мы видим в интересных игровых проектах, всё, что нас там цепляет, за всем этим есть очень мощная база R&D.
Диснеевская и пиксаровская команда внесла огромный вклад в развитие компьютерной графики. У них в каждом новом мультфильме или фильме есть новые фишки и технологии, которые они выпускают на SigGraph именно как научные публикации. Например, диснеевская команда придумала метод симуляции снега в «Холодном сердце», чтобы он корректно скатывался, следы оставлял. На это тратится невероятное количество человеко-часов, а если ты сделал систему, которая позволяет это воспроизводить, то сразу сокращается стоимость производства, но ты сразу потратился на R&D.
В каждом проекте есть моменты, которые сильно развивают индустрию. Если говорить про игровые проекты, у нас Саша — техлид — пытается всю нашу команду затянуть в Star Citizen, которая уже долгое время находится в разработке. Каких-то оценок по нему давать не буду. Выглядит всё очень круто. Если посмотреть на техническую составляющую, что они внутри реализуют — это просто сумасшествие технологий внутри.
Там практически полностью бесшовная вселенная, притом не уровня No Man’s Sky, а в реальных масштабах. Когда ты можешь взлететь с планеты, увидеть где-то там: «О, маленькая светящаяся точка на небе, пойду-ка я до неё долечу». Ты садишься в свой космический корабль, взлетаешь с поверхности планеты, влетаешь на орбиту, видишь космическую станцию, к ней подлетаешь, видишь у неё посадочные доки, садишься туда, выходишь из корабля, идёшь по ней гулять — всё бесшовно.
И внутри там лежит большое количество технологий, с ума сойти можно. Там офигенные экономические модели, которые позволяют воспроизводить жизнь всего этого мира, различные модели, которые позволяют реалистично генерировать поверхности планет, чтобы они были максимально неповторяющимися. Когда ты видишь, что у тебя одинаковые объекты начинают повторяться, то добиться, чтобы это выглядело максимально естественно, — та ещё задача.
Кино — есть интересные кейсы. На Нетфликсе выходил «Брандашмыг», который «Чёрное зеркало». Помните, там интерактивная серия была, где можно было выбирать варианты развития событий. Но это не совсем то. Там ограниченное количество веток может развиваться. Киноиндустрия сейчас немного в другую сторону меняется с точки зрения кинопроизводства. Там всё существенно упрощается, то есть превращается именно в компьютерную игру. Ты можешь прямо на съёмочной площадке видеть практически все спецэффекты, которые идут в реальном времени, вместе с твоими актёрами.
Тут же всё править, динамически изменять. Так упрощается процесс, он становится более творческим, нежели раньше, когда режиссер должен был всё продумать в голове. Здесь больше творчества с точки зрения технических возможностей. Ты можешь многое дорисовать компьютерной графикой.
Не нужно ехать на природу, чтобы снять красивые кадры. Достаточно поставить перед гринскрином человека, плюс-минус правильно выставить свет. Кстати, и с этим поможет инструментарий условного игрового движка, когда ты знаешь, какое окружения у тебя будет. Так ты уменьшаешь дальнейшие трудозатраты по постпродакшену. В кинопроизводстве это заметно. И даже на примере профессиональных мероприятий. Раньше конференции вроде CG Event были посвящены преимущественно кинопроизводству, спецэффектам, телевизионным фишкам. Последние годы активно заходит блок производства компьютерных игр и блок игровых технологий в цифровых медиа. Например, в Москве чуть ли не отдельная секция была под Unreal Engine.
Дмитрий: Что вы можете сказать о пререквизитах для тех, кто хочет пойти в игрострой? Что нужно знать и что можно посоветовать тем, кто готов посвятить этому свое время?
Андрей: Скользкий вопрос. Мне может немножко прилететь, но у меня есть определённая позиция. Если ты хочешь попасть в геймдев, тебе необязательно идти получать для этого специализированное образование. Всё зависит от того, кем ты хочешь быть в этой индустрии. Ты без проблем можешь пойти после колледжа с базовым знанием компьютерной грамотности на QE — просто тестировать игры.
Всё, ты попал в индустрию. Дальше ты понимаешь, как ты хочешь развиваться, учишься, двигаешься, куда угодно. С другой стороны, у нас отсутствует система образования для индустрии игр в России, хотя в Европе и США это давно вполне себе академическая ветка в бакалавриате, магистратуре. У нас это пока серьезно не воспринимали. Когда игровая индустрия начала активно развиваться, у нас были лихие 90-е, где в академии не развивалось ничего. Многие хотят учиться, но не понимают зачем.
Мы запустили магистратуру, во-первых, технологическую. Мы не учим, как многие хотят, менеджеров. Мы учим именно технических специалистов высокого класса. Чтобы к нам в магистратуру попасть, нужно иметь хорошие базовые знания программирования, особенно объектно-ориентированного, высшей математики, линейной алгебры, теории вероятности.
Главное — не быть ленивым. У нас есть возможность поступления по портфолио, если есть проекты, участие в конференциях, шоукейсы или опыт работы в области, связанной с играми, интерактивными технологиями. Достаточно жёстко отбираем, смотрим мотивацию. В этом году 2-3 человека прошло по портфолио, и мы не жалеем. Ребята замотивированные.
Послушать и поддержать нас можно тут:
Тем временем на англоязычной версии Хабра: memory, cyberpunk and startups.