Проблему усложнения инфраструктуры отмечают все, кто ей занимается в разных ролях, от проектирования архитектуры до имплементации и ежедневной эксплуатации. Инженеры, архитекторы и разработчики признают, что управление инфраструктурой сегодня уже не тривиальная задача. Создавая open-source проект Foliage, мы исходили именно из тезиса о том, что «современная инфра — это сложно». Но обо всём по порядку.

С трибун конференций ИТ-директора больших интернет-бизнесов говорили об успехах внедрения инструментов или практик, а в кулуарах — о том, что каждое новое внедрение только добавляет им тревоги. Растущее количество инструментов только усиливало ощущение потери контроля. Стало отчётливо видно: беспокойство растёт даже у тех, кто «всё сделал правильно».

Сегодня инфраструктура «болит» у всех крупных организаций независимо от того, есть у них высокие нагрузки или нет. Оказывается, недостаточно просто собрать требования, закупить под них оборудование, лицензии на программное обеспечение и нанять людей. Но почему?

Мы с командой Foliage решили разобраться в этом и начать открытый диалог с сообществом.

О нашем опыте

Опыт нашей команды в ИТ инфраструктуре — это слияние двух различных экспертиз.

С одной стороны — построение вертикально‑интегрированных (то есть сильно оптимизированных под конкретную задачу) программно‑аппаратных конфигураций. До Foliage мы создавали пайплайны и рендер‑фермы для производства компьютерной графики либо архитектуры крупнейших российских суперкомпьютеров. В этих областях ограниченное количество узких специалистов отвечает за целостность решения от начала и до конца, от уровня инженерных систем здания до инструментов работы художников или ученых с данными.

С другой стороны — управление крупнейшей страховой компанией, её продуктовым портфелем и контролем за её операционной деятельностью. Оно подразумевало задачи построения классической корпоративной ИТ‑среды с большим количеством участников. 

Несмотря на особенности каждой предметной области, мы уловили общую тенденцию, выведенную на основе как собственного опыта, так и откровенных рассказов наших коллег.

Что говорят инженеры

Какую картину дали нам опросы инженеров и технологических руководителей различных компаний на рынке?

«Мы уже пятое поколение инженеров по эксплуатации и имеем дело с тем, что нам досталось — тушим пожары и вносим минимальные изменения. Есть ли у нас проблемы? Да, мы не знаем, что было в головах тех, кто проектировал и существенно изменял сервис до нас».

SRE Lead, крупный дейтинговый сервис

«У нас людей мало, еле успеваем хоть как-то контролировать то, что есть. Уйдёт кто-тоодин — и вообще всё посыплется. Раньше мы лучше справлялись, у нас были собственные инструменты, которые нам здорово помогали, но увы, при слиянии их авторов уволили, и поддерживать всё это некому – скорее всего, эта практика прекратится».

CTO, беттинговая компания с миллионами пользователей по всему миру

«Рассказать вам, как мы выкатываем в продакшн каждое обновление — к примеру, скидочную кампанию? Семь лидов собираются на zoom-звонок, каждый открывает свою графану с пятью дэшбордами, и мы начинаем катить. Если что-то идет не так, кто-то громко кричит в микрофон. После этого откатываем, исправляем. И так несколько раз».

СТО, крупный маркетплейс

В каждом случае перед руководителем стоит задача  спроектировать инфраструктуру правильно, то есть:

• модульно

• гибко 

• расширяемо

• безопасно для новых требований и изменений

• так, чтобы не быть заложниками прошлых ошибок

Кажется, что нужно только выбрать правильный архитектурный подход и  внедрить правильные процессы и инструменты. При этом мы заметили, что в кинопроизводстве или даже суперкомпьютерах задача сходилась быстрее. В корпоративной инфраструктуре она постоянно «разъезжается».

Что входит в понятие «инфраструктура»?

Как можно охарактеризовать сегодняшнюю инфраструктуру? Она объемная и сложная: мы должны управлять системами, которые, оставаясь человекозависимыми, перестали быть человекосоразмерными. Инфраструктура больше не умещается в одну голову. И чем больше людей вовлечено в процесс, тем ситуация сложнее. 

«Понятно, – скажете вы, – в корпоративной инфраструктуре больше участников, и нам нужны более жесткие процессы и разнообразные инструменты».

А может быть, все дело  в том, что мы, инженеры, и есть часть ИТ-инфраструктуры?

Наравне с оборудованием и сервисами. И нами, как и системами, тоже нужно управлять?

«Конечно, именно для этого существует множество менеджерских практик управления ИТ-инженером!»

Но не любая инженерная задача решается кнутом и пряником, даже в рамках Agile и CI/CD процессов. Можем ли мы, человеческая инженерная система, эффективно работать с текущей сложностью?

В чём суть человекозависимости ИТ-инфраструктуры? Её функционирование напрямую зависит от инженерного консенсуса между работающими с ней людьми и результирующего общего непротиворечивого понимания. 

A сегодня этот инженерный консенсус не только стал чаще расходиться — он вообще с трудом собирается.

Знания каждого участника консенсуса фрагментарны, поскольку проблема человеконесоразмерна. Полным и непротиворечивым знанием обо всех особенностях крупного серверного парка не обладает ни один из его эксплуатантов.

Почему инструменты и даже ИИ не спасают

Помогают ли инструменты, созданные для управления инфраструктурой? Они служат для автоматизации рутины и решения конкретных задач. Каждый из них может быть хорош в своей узкой области. 

Но ни один инструмент не даёт единого представления для всех слоёв знаний, рассредоточенных между отдельными командами. DevOps и SRE, performance, мониторинг, безопасники и сетевики видят разное. 1001 существующий инструмент только увеличивает общую сумму знаний к усвоению. Человеконесоразмерность проблемы повышается.

«Хорошо, все понятно. У нас теперь есть AI, и он упрощает».

Увы, сегодня AI только дополнительно все усложняет!  Он резко повышает скорость создания и изменения кода. То, что раньше ограничивалось пропускной способностью команды, теперь масштабируется машинно. Скорость роста инфраструктурных изменений начинает стремиться к скорости генерации кода. Это означает, что инфраструктурная энтропия растёт все быстрее, а значит, людям еще сложнее принимать оптимальные решения.  

С AI привычная модель «человек как носитель контекста» окончательно перестаёт работать: не хватает когнитивной ёмкости, чтобы успевать за скоростью изменений в человеконесоразмерной «инфре». 

«Вы предлагаете центральную базу знаний? Хорошую практику рисования архитектурных диаграмм в духе C4?»

И да, и нет. Ещё до выбора конкретного инструмента стоит посмотреть, как  этот «сверхзвуковой» барьер ограниченности человеческого понимания преодолевается в других индустриях.

Борьба со сложностью: кто уже победил?

Уже около 12 тысяч лет люди совершенствуют одну из древнейших отраслей своей деятельности – строительство. Сначала всё было просто: архитектор, строитель и заказчик часто существовали в одном лице. Человек знал, где взять камень, как его обтесать, как поставить стену, чтобы она стояла веками.

Но по мере роста масштаба и сложности проектов между замыслом и результатом стали возникать промежуточные слои — чертежи, расчёты, сметы, строительные нормы, управленческие процедуры. Каждый слой помогал справляться с конкретной задачей  – сделать процесс предсказуемым, безопасным, экономичным. Однако одновременно эти слои отдаляли инженера от реальности. Раньше он «чувствовал» материал руками, то теперь приходилось взаимодействовать с ним через документы и отчёты.

К XIX–XX векам строительство превратилось в сложнейшую кооперацию десятков профессий и сотен исполнителей. Архитекторы проектировали форму, инженеры рассчитывали нагрузку, подрядчики строили, эксплуатационные службы обслуживали  – и все они видели разные версии одного и того же объекта. Вся система напоминала оркестр без общего дирижёра: каждый инструмент звучал правильно, но вместе они создавали какофонию. Ошибки проектирования, несогласованность данных, нестыковки между чертежами и реальностью стоили колоссальных денег.

Дело было не в самих материалах или машинах, а в накопившейся за столетия сложности. Она и спровоцировала кризис модели взаимодействия. Человеческий ум больше не мог удерживать целостную картину. Чем сложнее становились здания и инфраструктура, тем сильнее рассыпалась на фрагменты общая картина мира. Инструменты не помогали. Множество чертежей, затем файлов в CAD, а позднее и сотни разрозненных систем управления проектами были лишь попытками собрать единое целое. Но каждая из них лишь создавала новый уровень разобщённости.

К концу XX века стало очевидно: физический объект невозможно эффективно спроектировать, построить и эксплуатировать, если информация о нём не собрана в едином, живом цифровом пространстве. Строительство стало настолько сложным, что управление реальностью без её цифрового аналога потеряло смысл. Индустрия подошла к тому самому «сверхзвуковому барьеру понимания» — пределу, за которым традиционные способы мышления перестают работать. Чтобы преодолеть его, требовался не новый инструмент, а новая парадигма.

Революция BIM

И этой парадигмой стал BIM — Building Information Modeling. Цифровое моделирование зданий не просто принесло новые программы и форматы данных — оно предложило иной способ существования инженерного знания. Вместо сотен несогласованных чертежей появилась единая цифровая модель, в которой геометрия, физика, экономика и эксплуатационные характеристики связаны в единую систему. Благодаря модели инженер впервые за тысячелетия получил возможность видеть всё здание целиком – не как совокупность документов, а как живую систему, в которой каждое изменение автоматически отражается на всех уровнях.

О BIM можно почитать и на Хабре. Например, мы рекомендуем статью компании КРОК, в которой рассказывается об эксплуатации собственного здания в BIM-методологии.

BIM стал не столько технологией, сколько изменением культуры проектирования. Цифровое моделирование изменило роль инженера: тот, кто раньше работал с физическим объектом, теперь работает с его цифровой моделью. Инженер перестаёт быть исполнителем отдельных задач и становится оператором целостной системы — специалистом, который управляет взаимосвязанными элементами проекта. В этом смысле BIM — не просто инструмент автоматизации, а следующий шаг в развитии инженерного мышления, где цифровая среда становится основным пространством работы.

Если сказать проще, BIM меняет саму суть инженерной деятельности. Раньше инженер проектировал физическую сущность и управлял реальным объектом – зданием, его элементами и процессом строительства. Теперь работа инженера сосредоточена в цифровой модели, которая объединяет всё: замысел, расчёты, логику взаимодействия систем и эксплуатацию. Через эту модель инженер управляет реальностью — точнее, тем, что ещё только предстоит воплотить.

В BIM инженер работает не с самим зданием, а с его цифровой моделью — посредником между замыслом и реальностью.

Что это означает для нашей индустрии?

Если вернуться к управлению ИТ-инфраструктурой, становится очевидно: главная причина растущих требований к инженерам не в сложности технологий как таковой. Настоящая сложность в том, что необходимо понимать и объединять множественность взглядов на одну и ту же систему.

Каждый инструмент, каждая команда, каждый процесс описывает инфраструктуру по-своему. И именно людям приходится удерживать эти несовместимые модели в голове и согласовывать их в коммуникации. На этом этапе и теряется целостность.

Но решение не в том, чтобы «убрать человека» и заменить его ИИ. Наоборот — роль человека возрастает. Потому что именно в человеческих качествах — любопытстве, настойчивости, ответственности, способности искать нестандартное — и заключена инженерия как профессия. Без этого даже самый совершенный интеллект, человеческий или искусственный, остаётся просто механизмом.

Однако пора признать: работать с инфраструктурой напрямую — через скрипты, панели и устные договорённости — мы больше не можем. Масштаб и скорость изменений давно превысили возможности индивидуального восприятия.

Чтобы сохранить управляемость и человеческий контроль, нужно перенести сам процесс понимания и взаимодействия в общую цифровую модель — такую, которая станет единым пространством согласованного знания, аналогом BIM в нашей области.

Для этого нам предстоит задать себе честные вопросы:

• какими именно компетенциями мы пользуемся в работе с инфраструктурой?

• как, куда и в каком порядке они должны перейти в эту модель?

Ответы на эти вопросы положат начало следующему этапу — переходу от работы «в реальности» к работе через её цифровой двойник.

Образ будущего

Что нам предстоит увидеть в ближайшем будущем? Как и в строительстве после перехода на BIM, профессии в ИТ, вероятно, изменятся и даже получат новые названия:

• Эксплуатанты станут операторами цифровой модели с разными ролями. 

• Независимые команды смогут оставаться независимыми. В большинстве простых случаев достаточно будет свериться с моделью, не отвлекая представителей смежных команд. 

• При обсуждении какого-либо нетривиального случая модель станет единым источником правды. Мы получим общее для всех обсуждающих представление обсуждаемой инфраструктуры.

• Увидеть блокеры и риски для исполнения новых требований можно будет в реальном времени и на раннем этапе. 

• Вместо дорогого метода «проб и ошибок» при проверке гипотез можно будет обратиться к цифровой модели инфраструктуры.

• Будут выявлены неочевидные зависимости и расхождения между фактическим и требуемым состоянием, что позволит проактивно решать, в частности, проблемы кибербезопасности.

С чего начать?

Сегодняшние подходы к управлению ИТ-инфраструктурой упёрлись в пределы человеческого понимания.

Мы больше не можем «оставлять всё как есть»: сложность систем растёт быстрее, чем способность отдельных специалистов и команд удерживать их целостную модель в голове и в коммуникации.

В других инженерных областях — строительстве, машиностроении, энергетике — этот барьер оказался настолько болезненным, что его стали преодолевать. Разумеется, не без трудностей и препятствий. Тем не менее, переход от работы с физическим объектом к работе с его цифровой моделью позволяет изменить саму логику проектирования и сопровождения. Настало время сделать то же самое и в ИТ.

Речь не о косметических улучшениях или очередных «панелях мониторинга», а о переосмыслении самой инженерной деятельности — о том, как мы описываем, понимаем инфраструктуру и управляем ей.

С этой идеи мы начали разработку Foliage — open source технологии построения цифровой модели ИТ-среды, которая доступна под открытой лицензией Apache 2.0.

В следующих статьях мы покажем, что уже удалось сделать, и пригласим всех, кому близка эта задача, присоединиться к обсуждению и развитию открытых практик.