Первые дни лета отлично подходят для развивающей поездки в Питер.
Мы посетим Миран, linxdatacenter, RETN и Метротек.

5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Марсово поле, Каптюр яндексодрайвовый, и вот он — Миран.

Миран

В Миране уже несколько лет проживает наша лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.



У входа в Миран нас встретил сначала внушительных размеров ДГУ.



Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:

• Мобильность — в паре сотен метров есть ещё несколько модулей Мирана. У них свои генераторы — но мало ли — придётся катать.
• Мобильность — их не надо регистрировать, как стационарные электростанции и соответственно, не нужна проектная документация.

ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.

И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову.



Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.

Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.

Так же под фальшполом спрятаны кабели питания.

Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.

В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал.



Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля.



Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.

У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.

Но выглядят они как снаружи, так и внутри свеженько и модно.

NOC у ребят на православном Linux, стабильном дебиане.



Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN)  в телефонном коммутаторе Меридиан. А вслед за тем и ЦОД так назвали.



ЦОД решили строить в сложный 2008-й год.

С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.

И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений.



Увы, вводить драконовские меры тут может оказаться себе во вред.



Последние фото.

А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.

---

linxdatacenter

Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.

После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами :)

Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд.



Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.

Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.

Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло.



Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства.



Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.

Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.

Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.

Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.

Здесь во всём царит порядок и продуманность.

Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.



А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.





Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:





Оно всегда заряжено и готово к работе.

Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.

Собственно сотрудники из эксплуатации:



Вот этот ничем не примечательный прибор — дифманометр.



Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.

Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение.



В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.

Решётки и отдельный от датацентрового СКУД — это только начало.

Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.

Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.

Если бы я был ФСБ, я бы поставил своё железо в linx :)

После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
Из этого царства безопасности и порядка мы двинулись в RETN.

---

RETN

С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.



У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.

RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.

А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.

Так, например, в RETNе стоит CDN Netflix'а.





Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».

Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.

У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.

Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.



Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.

На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.

---

Метротек

Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.

Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.



Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.



Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.



Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.

Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.



Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.

Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.

Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.

Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.

Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.

И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
Браво!

Полноценная вычислительная система:

• CPU: NXP i.MX6 ARM до 900 МГц
• FPGA: Lattice ECP5 до 85K LUTs
• RAM: DDR3 до 1 ГБ

Денис отметил, что в компании практикуется и поощряется обмен знаниями, опытом. И тут я подумал: «А разве бывает иначе? 0_о». — Да, зачастую к ним приходят люди, которые на прежнем месте работы варились в собственном соку, не общались, делали двойную и тройную работу и в целом избегали попыток коммуникации.

И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.

В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.

А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.

У Метротек прямо в офисе стоит оборудование для печати на платах.

Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.







К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.



Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.

Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.



Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.

---

На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.

В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.

Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.

Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.

Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.

И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.