Как обеспечить бесперебойную работу видеосервиса, который ежедневно смотрят миллионы? Команда производственной сетевой инфраструктуры Иви отвечает за то, чтобы внутренняя сеть и связь с интернетом работали как часы. В интервью её руководитель Сергей Митин рассказал о команде, масштабных проектах, курьёзных ошибках, поддержке инициатив и нестандартных экспериментах.
Чем занимается твоя команда?
Мы занимаемся производственной сетевой инфраструктурой. Иви — это интернет-сервис. Чтобы сервис работал, ему нужна своя внутренняя сеть и налаженное взаимодействие с интернетом. Когда-то много лет назад, на старте работы компании, мы сформировали политику и стратегию, как должна выглядеть наша сетевая инфраструктура для производственных сервисов и выстроили системные взаимоотношения с интернетом. В настоящее время мы поддерживаем ключевые процессы и архитектуру, развиваем Иви внутри дата-центров и обновляем структуру по мере появления новых технологий.
С какими подразделениями плотнее всего взаимодействуете?
В первую очередь — с командой серверной эксплуатации. Достаточно часто у нас появляются общие задачи с командой стрима «Видео» и с финансовым департаментом. С отделом информационной безопасности тоже много точек пересечения по рабочим вопросам.
Какой был самый крутой проект?
Если брать долгую ретроспективу, точно гордимся тем, какую инфраструктуру присоединения к интернету выстроили. Чтобы пользователи смотрели Иви хорошо и комфортно, нужна максимально качественная связь с основными провайдерами и операторами связи в России. А для этого — прямые отношения с множеством операторов. Работы было много, но оно того стоило: мы смогли обеспечить одно из лучших присоединений к интернету.
Если говорить про 2026-й, он стал годом, когда мы пришли к необходимости крупных реконструкций и существенных изменений в сетевой инфраструктуре сервиса. Что уже успели? Ядро производственной сети полностью переехало на новое оборудование — и сделали это незаметно для сервисов. Мы живём в айтишном мире — он быстро меняется, скорости растут. Сроки службы оборудования, когда нужна существенная замена, сокращаются, и приходится подстраиваться под новые ритмы.
Другой интересный проект, который тоже можно назвать гордостью, — партнёрские отношения с одним крупным интернет-провайдером. Суть в том, что он используется как дата-центр для размещения нашего оборудования. Этот проект был интересен и для нас, и для провайдера. Они перенимали наш богатый опыт как клиента и пользователя услуг дата-центров. Для нас это был ещё один проект, где нужно было было продумать, спроектировать и довести инфраструктуру до уровня эксплуатации. Совместными силами мы эту тему подняли — и получилась интересная синергия.
Какой был самый большой факап?
У нас была восхитительная история. К счастью, много лет назад. На тот момент у нас было несколько основных локаций дата-центров, и нужно было обновить софт на оборудовании ядра сети. Начали с самого простого дата-центра — того, где не так страшно, если что-то пойдёт не так. Обновились — всё отлично, никаких проблем. Перешли ко второму, уже более важному. Тоже гладко. Дошли до третьего — и полностью потеряли сеть. Вообще не понимаем, почему. Сначала придумали, как вернуть работоспособность, а потом сели разбираться. И выяснилось: огромнейший баг в софте этого оборудования, который воспроизводился именно на третий раз. Вендор долго не хотел признавать, что проблема на его стороне, но наши аргументы были очень весомыми.
Любой софт и любое оборудование содержат ошибки. Дальше вопрос простой: либо ты на них напорешься, либо нет. К сожалению, мы напоролись — и зацепили сервис очень сильно. Благо, все эти махинации делали глубокой ночью.
Как относишься к ошибкам?
Все люди ошибаются. Просто этим важно не злоупотреблять и делать выводы. По возможности стараться спрогнозировать, предусмотреть, чтобы ошибок не было. А если что-то пошло не так — не паниковать.
Была история: инженер пошёл конфигурировать оборудование дата-центров ближе к вечеру. В каждом из них есть взаимодействие с сетью интернет, инфраструктура спроектирована с резервированием между площадками. На границе между нами и интернетом стоят пограничные маршрутизаторы, они же пограничные роутеры. У инженера одинаковые конфигурации, которые надо раскатать на роутерах. Что он сделал? Применил на всех. А дальше стал по очереди сохранять конфигурации, не проверяя, что происходит с оборудованием после сохранения. И столкнулся с багом в софте. Баг интересный: сразу не проявляется, но если попытаться сохранить конфигурацию, маршрутизатор крашится и перезагружается. И по очереди все пограничники он случайно отправил в ребут. Пока они перезагружались, где-то на минуту был подрыв связанности с интернетом.
Получился дуэт из прекрасного скрытого бага и человеческого фактора. Невозможно было предусмотреть, что такой баг есть и что он проявится.
Но что можно было предусмотреть? Если делаешь одинаковые конфиги в одинаковых условиях, прежде чем переходить к следующему сетевому устройству, посмотри, всё ли у тебя в порядке. Потому что если бы он увидел, что железка ушла в перезагрузку, то понял, что не надо было к следующему идти. Спокойно бы разобрался: одна железка перезагрузилась — ничего страшного, другие работают.
После этого у нас родился регламент, который я называю «Меморандум о безопасном конфигурировании сети». Всем новым ребятам, которые приходят, обязательно рассказываю эту историю.
Как стать частью такой команды?
Если говорить комплексно: проект у нас интернетный, поэтому важно понимать принципы работы интернета. Важно понимать принципы настройки. Есть основной для интернета протокол — BGP, Border Gateway Protocol. И нужно понимать, как он работает. Ну и, наверное, общая эрудированность в сетевых технологиях, понимание сетевых технологий.
Как относишься к экспериментам и инициативам сотрудников?
Мы вообще часто используем нестандартные приёмы для работы сетевой инфраструктуры и её взаимодействия с серверами. Довольно часто те или иные задачи решаются необычными, не общепринятыми способами. Вот проект с дата-центром, о котором я говорил раньше, — отличный пример. Идею предложил как раз один из сотрудников: какой сетевой стэк можно попробовать для этой цели. Потом он собрал вокруг этого лабораторию и погонял технологию, чтобы понять, подойдёт ли она для наших задач. Столкнулся с трудностями, разобрался, как их решить, — и мы использовали это в новом ЦОДе. Всё это была его инициатива.
На самом деле у нас постоянно возникают какие-то интересные задачи, где нужно что-то исследовать. Бывает, человеку нужно несколько недель почитать, поизучать, покрутить идеи и варианты. И такие ситуации тоже сильно развивают. Иногда мне кажется, что сама жизнь подбрасывает такие задачи — когда тебе так или иначе нужно повышать свой уровень.
5 советов, как стать самой крутой командой, от Сергея Митина, и больше о жизни сотрудников Иви — в телеграм-канале и группе в VK!