Привет, Хабр! Меня зовут Миша Most, я художник, который начинал как граффити-райтер. Сегодня расскажу о том, как технологии помогают нам, представителям искусства, творить, создавая необычные проекты. Сначала — немного о своих работах, которые находятся на стыке искусства и технологий. А потом вместе с моим коллегой расскажу о самих технологиях.

В статье кроме информации о моем творчестве немало технических подробностей, которые помогают понять, как работает симбиоз современного искусства и технологий. Всё самое интересное — под катом.

Этот пост — переработанная версия доклада с True Tech Day 2.0. Его запись можно посмотреть тут.

С чего я начинал

Я начал заниматься искусством с классического граффити. В художественную школу не ходил, рисовал так, как мне нравилось. В этом прелесть уличного искусства: вы просто берёте и рисуете — где хотите и что хотите. В определённый момент мне показалось, что уличное граффити зажато в шрифтовые рамки, поэтому я стал создавать рисунки на разные темы. Меня, в частности, волновали будущее, катаклизмы, то, к чему может привести деятельность человека.

В целом, случился переход к стрит-арту, в нём обычно есть определённый месседж, тогда как граффити — просто шрифты. Затем — новый виток профессиональной эволюции. В 2006 году я открыл для себя, можно так сказать, современное искусство и занялся более масштабными проектами. Например, стал рисовать холсты и большие муралы. Последние отличаются от стрит-арта тем, что это масштабный проект, причём легальный — к нему приступают с разрешения городских властей, которые, к слову, иногда выступают в качестве заказчика.

Я стал развивать тему восприятия будущего. Тогда быстро входили в обиход технологии — в первую очередь благодаря смартфонам. Стало ясно, что всё это сильно повлияет на человечество. Примерно с 2009–2010 года стал создавать работы примерно вот в такой стилистике, как на фотографии. Они были посвящены науке, технике и вообще взаимодействию человека и общества с новыми технологиями. Порой это были абстракции, иногда — инсталляции и уличные объекты.

В определённый момент у меня появилась идея: что, если сделать так, чтобы баллончик с краской стал рисовать сам по себе? Отмечу: научиться творить при помощи баллончика начинающий уличный художник сможет не ранее чем через пару месяцев. Но в целом всё оказалось не так сложно и я нашел специальную настраиваемую насадку для освежителя воздуха.

Научившись с этим работать, я стал создавать инсталляции, основа которых — история из самого объекта, результата.

В моих композициях баллончики друг на друга пшикали, «разговаривали», поэтому я назвал серию «Диалоги». Затем усовершенствовал систему — добавил электромоторчики, которые крутили холсты, баллончики срабатывали и рисовали. Я просто нажимал на кнопку, запуская всё это, и отходил, становясь зрителем. Причём результат мне был неизвестен.

VR, AR, коптеры и манипуляторы: как современные технологии творить помогают

Ещё я хотел обсудить, как наука и техника помогают создавать комплексные сложные работы. На фотографии выше представлен самый большой в мире мурал — 10 000 м². Проект я реализовал для завода в городе Выкса (это Нижегородская область) победив эскизом в открыто эм конкурсе. Над муралом я работал около 45 дней вместе с пятью ассистентами. У нас была куча техники, которая нам помогала это сделать. Начиная с компьютера, где я создавал эскиз, и заканчивая проекторами, машинами, краскопультами, подъёмниками. Если бы я был один, чтобы окончить мурал, ушло бы около года.

В 2010-х меня стала интересовать цифровизация. Например, я реализовал проект по совмещению уличного искусства и Яндекс Карт. По ссылке у вас откроется улица Капицы около Академии Наук. Я решил, что Академия Наук — очень крутой объект, на который мои работы, посвящённые науке или связанные с ней, круто бы накладывались. Как в реальной, так и дополненной реальностях.

Ещё одним проектом мне хотелось показать, как искусство может присутствовать в разных технологичных пространствах — например, экспериментальный цех «Сибура» по переработке пластмассы.

Работы, которые я делаю, посвящены разным отраслям науки. В прошлом году я реализовал очередной проект на кампусе МФТИ в Долгопрудном. Перед этим нам, художникам, показывали разные кабинеты. Запомнилась лаборатория инфракрасной спектроскопии планетных атмосфер высокого разрешения. Для меня всё это — ‘миры Гарри Поттера’, но мне очень важна была визуальная составляющая. Вдохновившись, я создал эскиз, который победил в конкурсе потом уже наносился на кампус.

И ещё расскажу о своей первой коллаборации именно с программистами в 2016 году. У нас есть такая выставочная площадка Mars в Москве, где показывают разные технологичные проекты, связанные с искусством.

Так вот, мы реализовали совместный проект с разработчиками в виртуальной реальности — компания называлась interactive lab. Так, художник создавал реальное произведение искусства, и потом вы могли надеть VR очки, пройтись по виртуальным залам с моими цифровыми работами. Мне очень понравился процесс взаимодействия с программистами, с ребятами, которые 3D отрисовывали или писали код.

Впечатленный, процессом в итоге я воспринимал их как художников. Мы вместе создавали, креативили, и это был очень крутой опыт, который я потом решил перенести на другой проект. Чуть позже, в 2017 я предложил этой же команде нарисовать что-то при помощи дрона. Темой БПЛА и дронами я интересовался с 2010 года. И мне конечно захотелось создать граффити посредством такого летательного аппарата. И вы знаете, всё получилось. Мы разработали систему на основе трекинга применяемого в VR, которая позволяла творить как на улице, так и в помещении. Первые работы довольно абстрактно выглядели, но мне очень понравилось.

Что касается аппарата, то это был первый в мире автономный запрограммированный дрон, который мог летать по заранее заданной траектории, создавать рисунки при помощи баллона. То есть до этого все пытались с пульта просто рисовать, но так не получится даже окружность ровную  сделать. Так что пришлось разработать ПО, позволяющее творить в трёх плоскостях.

Также, помимо отдельных тестовых панно мы нарисовали картину длинной 28 метров,. Здесь важен был опыт, повторюсь, я его называю process-based, то есть важно- как это было сделано. Человек, смотря на эту работу, сначала воспринимает её как есть, а потом, узнавая о процессе создания, переосмысляет её заново.

В 2019–2020 годах я стал развивать историю с переходом в цифру и диджитализацию. И здесь важный момент, о котором я бы хотел упомянуть. В процессе творчества нужно переключаться, делать разные подходы, менять технику — тогда у вас меняются результаты, они дают новые идеи и подходы. Даже если вы работаете над одной и той же идеей, различные техники дают вам как будто разный взгляд со стороны на одну и ту же проблему.

Например, создавая такие 3D-работы, я по-другому стал воспринимать свои предыдущие проекты. Там, где используется комплексный подход, важно не бояться взаимодействовать с людьми из другой сферы. Вы работаете в команде, креативите, придумываете какие-то решения, справляетесь со сложными задачами, и это классный опыт.

Вот пример, где мой проект — на улице. А потом мы всё это переводили в 3D.

И снова о дронах. Работа с ними достаточно затратна, поэтому я решил параллельно изучить роботизированные манипуляторы. Те самые, которые собирают на заводах автомобили. И это весьма интересные системы. Для одной из них, от Hyundai, мы разработали уникальную «клешню» со специальным крепежом для баллона. В итоге разных экспериментов первый публичный проект, выполненные при содействии манипулятора, я представил на ярмарке современного искусства Cosmoscow,, она проводится раз в год в Москве, обычно в сентябре. Опять же, здесь суть работы заключается не в создании просто холста, то есть задача не просто картину нарисовать, но и запрограммировать манипулятор, и то, как это выглядит вместе, как инсталляция, и весь этот перформанс по отрисовке холстов — все вместе это и есть цельный проект. Конечный холст — лишь одна пятая, наверное, от общего времени реализации проекта. А по итогу четырех дней мы создали вот такие работы, пять штук размером 180 на 180см.

Теперь расскажу немного о нейросети. Так, например, я создал огромное панно на 400 м² для международного форума AI Journey, который проводится раз в год в Москве. Создал панно я при помощи нейросети Kandinsky 3,0, оно заполняло весь зал, а работал я во время выступлений спикеров и отталкивался в содержании сюжетов от их докладов про искусственный интеллект.

Очередной проект, разработанный вместе с друзьями, с которыми мы начинали рисовать граффити. Многие из них сейчас программисты или представители иных IT-специальностей. Мы создали такую карту streeet.art. Это некоммерческий проект, который позволяет создавать карту граффити, стрит-арта, муралов и любого искусства в публичном пространстве.

Профиль художника позволяет по карте, по годам смотреть, что и где творил конкретный автор. У нас команда из восьми сотрудников: backend, frontend, дизайнеры, сисадмин и тд, я единственный художник. Вы открываете карту, приближаете города и смотрите, где какие работы создавались в разных регионах. Мы добавили строку поиска — откроется профиль, есть кнопка «Карта» — и открывается карта, где эти локации все нарисованы. 99% из этих проектов, конечно, уже не существуют, поскольку граффити живут мало, и их быстро закрашивают. Получается, это сервис с архивами работ но и перспективной перехода в формат социальной сети, над этим мы сейчас работаем. 

Коптер, который нарисовал мурал: показательный кейс

Ещё один проект, о котором хотел бы упомянуть, поскольку в нём я снова имел дело с дронами. Так, уже в 2023 году Universal University меня позвали к участию в «Архипелаг» — это форум, посвящённый дронам. Он проходит раз в год в разных городах. В 23-м году его проводили в Новосибирске на площадке НГТУ (Новосибирский государственный технологический университет). Мне предоставили стену размером 300м.кв. в кампусе, метро Студенческая, там много студентов, вокруг куча общежитий.

Задача была при помощи беспилотника создать нечто креативное. Но сначала требовалось сконструировать специализированный дрон, который сможет нарисовать мурал на улице в сложных условиях. Мы собрали команду из 8 человек, представителей МИСИС, Бауманки, МГУ. Реализовать проект нужно было всего за несколько недель.

Лучше меня о технических нюансах расскажет мой коллега Андрей Коригодский, он CEO в компании «Сверх»:

Андрей Коригодский

CEO, компания «Сверх»

«Казалось бы, дроны давно умеют летать под программным управлением. Что сложного нарисовать дроном мурал? Но на самом деле нужно было решить три очень сложные технические задачи. Во-первых, локализации. Мы должны были знать каждый момент времени, где находится дрон относительно стены, чтобы управлять им. Точность должна быть миллиметровая. Это крайне сложно реализовать. Существующие системы, которые обеспечивают сантиметровую точность — Motion Capture, коммерческие. Они стоят в районе полмиллиона долларов и покрывают не очень большое помещение. А нам надо было летать вдоль огромной стены, общий объём помещения — свыше 1 000 кубических метров. Поэтому требовалось разработать систему локализации. Но это ещё не всё. Зная, где дрон сейчас и где он должен быть, требовалось свести его в эту точку тоже с сантиметровой точностью.

Это задача, которая решена в условиях лаборатории, но в идеальных условиях. А ведь требовалось с аналогичной точностью управлять 5-килограммовой махиной, которая изображена на схеме, да ещё и на улице, когда дует ветер и погодные условия отнюдь не помогают нам вести его по траектории».

Требовалось также «подружить» коптер с баллончиком. Ведь нужно иметь правильную скорость движения баллона, рассчитать расстояние, наклон, насадку — и всё это вместе. Эти несколько показателей должны срастись, и тогда у вас будет ровная, аккуратная линия, без подтёков.

Сложность и в том, что винты дрона сдували краску. Поэтому требовалось не только защитить поток краски от воздушных потоков, создаваемых беспилотником. Крайне важно было закрыть и сам коптер от потоков краски в процессе работы. Ведь она попадает на оптику, пропеллеры, проникает внутрь двигателей, и это всё мешает дрону работать.

Поэтому нами была сконструирована защита. Конус белого цвета — то, что предохраняет струю краски от раздувания пропеллерами. А сзади у дрона выделены жёлтым три светодиода, с помощью которых мы могли понять, где наш дрон находится. На дроне установлен компьютер Raspberry Pi 4, полётный контроллер под управлением прошивки PX4 и лидар сверху, прямо как на роботе-пылесосе, который вращался и детектировал стену.

Так выглядела наша система локализации. Она включала стационарную 4К-камеру, которая установлена неподвижно напротив стены. Она распознаёт светодиоды, расположенные на дроне. Он оснащён лидаром, сканирующим стену, то есть возвращает облако точек. Их мы аппроксимируем прямой. Соответственно, получаем информацию о расстоянии до стены и об угле поворота дрона относительно этой стены. Сводя эти данные воедино, вычисляем с точностью до 1–2 сантиметров местоположение нашего дрона.

Поскольку требовалось рисовать в системе координат, связанной со стеной, понадобилось привязать то, что видит камера, к системе, неподвижной относительно стены. Поэтому каждое утро мы производили калибровку. Мы разместили по углам нашей стены четыре маркера, их мы распознавали той же камерой, что потом будет распознавать дрон. Таким образом, мы могли вычислить трансформ из системы координат камеры в систему координат стены.

И затем мы надевали на камеру инфракрасный фильтр, она осуществляла распознавание дрона. Таким образом мы получали две координаты, x и z, то есть местоположение дрона в плоскости стены. А расстояние и угол мы восстанавливали по информации с лидара.

На изображении приведена архитектура нашей системы. У нас есть стационарный компьютер на Linux, он занимается распознаванием картинки с камеры. Есть и вычислительный модуль на дроне, который берёт на себя большую часть задач. Он просчитывает местоположение коптера и передаёт его на полётный контроллер. Последний обрабатывает SVG-файл и строит траектории.

На дрон загружался SVG-файл для построения траекторий. Они отображались в нашем стационарном компьютере в интерфейсе, и дальше мы их выбирали.

Дрон летал по векторным линиям, то есть рисунок, который мной был придуман для этой стены, переведён в вектор. И каждый слой, полёт, краска, цвет — отдельный файл. При этом ещё во время процесса рисования стало понятно, какие линии легко рисовать, какие линии сложнее, и в какой-то момент мы там чуть упрощали, усложняли рисунок.

Беспилотник управлял полётом, чтобы эти линии отработать. Создавая ПО, которое выполнялось на его борту, мы основывались на платформе Klever. Это образ для Raspberry Pi и фреймворк для того, чтобы легко программировать автономные дроны. С ним мы очень сократили время разработки этой системы. Фреймворк основан на ROS (Robot Operating System) и активно использует все возможности технологии. Он позволяет упростить интроспекцию и отладку, а также связать все системы нашего робота между собой.

Вот тут на скриншотах приведено рабочее место оператора. То есть по сути то, что мы видели, когда выбирали кривые для рисования.

На фотографии — три цвета, это рисунок. Здесь был один из персонажей, такой андроид, который на планшете управляет дроном. Потом дрон нарисовал свой автопортрет. Чёрная линия — основной вектор, то есть рисунок, который я создавал. Красная — выбранные линии конкретно данного момента полёта, он занимал примерно около 10–15 минут. Всё зависело от батарейки и ёмкости баллона. Синий — результат пролёта дрона. И при этом мы могли ещё виртуально заранее делать эти пролёты, то есть посмотреть примерно, как всё будет происходить.

Оценка проводилась на симуляторе, базой для которого послужил Gazebo. Для того чтобы отлаживать это целиком в софте, мы могли делать холостые пролёты, когда строим его траекторию на картинке и можем визуально оценить, насколько точно летит дрон. Это очень полезно, например, в ветреную погоду. Просто потому, что мы могли летать уже в режиме, когда рисовали. Помимо того, чтобы пролетать какие-то контуры (=рисовать линии), требовалось заливать какие-то фигуры сплошной заливкой. Для этого мы написали программу, которая разбивает такие фигуры на горизонтальные линии, и затем дрон пролетает и рисует их.

Почему горизонтально? Это такая имитация человека. То есть робот имитировал человека, потому что обычно заливка у вас идёт горизонтально, если вы рисуете рукой, и мы здесь пытались повторить то же самое с коптером.

На скриншоте видно, как дрон рисует сам себя. Он начал с заливки раструба этой системы. На таймлапсе — калибровочные изображения, которые мы снимали каждый день. Столько дней шло само рисование. Кстати, камера — калибровочная, она давала информацию дрону, отвечала за навигацию.

Вот такая техника рисования. Если у вас есть вопросы, задавайте в комментариях — постараюсь на все ответить.