Первые дни лета отлично подходят для развивающей поездки в Питер.
Мы посетим Миран, linxdatacenter, RETN и Метротек.

5 утра, Московский вокзал, KFC, набережная Мойки, Тарелка, голуби с крыш, Исакий, Марсово поле, Каптюр яндексодрайвовый, и вот он — Миран.

Миран


В Миране уже несколько лет проживает наша лаба с Евой, сервер трансляции, виртуальный микротиковский Роутэрос, хостинг linkmeup с IPv6-доступностью и теперь хостинг подкастов.



У входа в Миран нас встретил сначала внушительных размеров ДГУ.



Большинство Дизель-Генераторных Установок стоят на колёсах по двум причинам:

  • Мобильность — в паре сотен метров есть ещё несколько модулей Мирана. У них свои генераторы — но мало ли — придётся катать.
  • Мобильность — их не надо регистрировать, как стационарные электростанции и соответственно, не нужна проектная документация.

ДГУ Мирана зимой и летом стартует за нескольких секунд. В течение этого времени весь ЦОД питают аккумуляторные батареи.

И железный HP в стойке Мирана и экскурсия стали возможны благодаря Фёдору Русакову.



Вся экскурсия прошла в уютной домашней атмосфере. Кофе с печеньками, разговор за телекомы, за истоки компании, про перевоз двухсот серверов вкшечки из Москвы в Питер под покровом ночи. Без спешки мы прогулялись по двум зданиям ЦОДа. Оба — BrownField — переделанные из заводских помещений. В первом, принадлежащем Мирану, с которого мы начали и где на втором этаже заряжались после четырёхчасовой прогулки по Питеру, в своё время располагался завод дизельных установок, поистине гигантских дизельных установок. Собственно второго этажа не было — были огромные ворота, чтобы туда-обратно. Всё разобрали, второй этаж сделали, активное охлаждение, резервированное электропитание, газовая система пожаротушения.

Классический горячий коридор, откуда воздух подаётся в кондиционеры и под фальшполом в закрытый холодный коридор.

Так же под фальшполом спрятаны кабели питания.

Миран не родился как площадка для одного якорного клиента, а скорее планомерно развивал предложение на рынке, где есть спрос.

В своё время тут располагался крупный банк со всеми полагающимися решётками и СКУДами, но он уже съехал.



Спрос продолжал расти, Миран тоже, появилось второе здание — уже в аренду — тоже BrownField — в двухстах метрах от первого. Дорога лежит вдоль набережной Большой Невки мимо дома Нобеля.



Новое здание построено по модульному принципу с возможностью перевезти целиком модуль в случае проблем с арендодателем. Первые две коробочки купили у производителя, третью — уже собрали с учётом старых ошибок.

У модульной архитектуры оказались минусы — они сравнительно узкие — горячий коридор — 60 см — двум человекам не разойтись. А самое главное — стоимость переезда, как оказалось при первом же расчёте, сравнима со строительством нового.

Но выглядят они как снаружи, так и внутри свеженько и модно.

NOC у ребят на православном Linux, стабильном дебиане.



Своё название компания, кстати, получила от платы Система Meridian Integrated Recorded Announcement (MIRAN)  в телефонном коммутаторе Меридиан. А вслед за тем и ЦОД так назвали.



ЦОД решили строить в сложный 2008-й год.

С тех пор ребята предоставляют дедик и колокол. В специальных помещениях установлено оборудование операторов.

И это накладывает определённые ограничения и особенности на работу. Например, в стойках стоит максимально разношёрстно оборудование, как в плане машин, так и в плане сетёвки. В Миране я разве что Аристу и Мелланокс не увидел. Всё оборудование предъявляет разное требование к температуре в холодном коридоре, поэтому приходится поддерживать на очень низком уровне — порядка 20°С, то есть о низких PUE говорить не приходится — у Мирана он 1,5.
Ещё один нюанс — со змеиными свадьбами в стойках. Как только вы пускаете в помещение внешних товарищей с их коммутациями, пиши «пропала красота». Ни у кого нет исключений.



Увы, вводить драконовские меры тут может оказаться себе во вред.



Последние фото.

А потом мерч от нашего стола вашему и от вашего нашему. Загрузились всей толпой в таксо — и в линкс.



linxdatacenter


Это серьёзные ребята, на временном пропуске которых даже написано «Security Matters». Это пройдёт лейтмотивом всей экскурсии.

После пряничного Мирана в linxdatacenter ты понимаешь, что пришёл лакшери ДЦ. В свой выходной 4 человека съехались прямо скажем не в центр города, чтобы рассказать о себе другим пяти человекам, которые едва ли станут их клиентами :)

Нас встретила Мария Свистунова, проводила за большой стол переговоров. Немного праздных разговоров за гватемальским кофе и вперёд.



Экскурсии здесь поставлены на поток. Максим и Олег знают своё дело: рассказывают по накатанной: чётко и с увлечением. Где надо, делают акцент, а где нет — обходят стороной. С чувством юмора тоже полный порядок, поэтому два с лишним часа пролетели незаметно.

Гордостью ЦОДа является аптайм в 100% начиная с запуска в 2011-м году.

Уверенность настолько высокая, что для десятых долей даже не предусмотрено место на табло.



Linx — пример ДЦ в формате GreenField. Здание специально строилось под размещение в нём ДЦ. Поэтому высота потолков, прочность перекрытий вводы электропитания, его резервирование, СКС — было заложено в проект и учтено ещё на этапе строительства.



Так, по дефолту пол выдерживает стойку в 800 кг, но массу можно ещё увеличить после дополнительного укрепления. Говорят оракловые стойки стоимостью в Falcon9 требуют к себе особого отношения.

Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом. По словам Максима — это было очень правильным решением, потому что во время известного Питерского блэкаута офис и рядом стоящий БЦ пострадали, а ЦОД продолжилработу.

Дизель-генератор здесь уже не прицеп на колёсах, а вполне стационарное помещение с дымовыми трубами, вздымающимися высоко над пейзажем.

Время запуска — не более двух минут, а на батареях весь ЦОД может проработать около часа. Проработать дизеля могут 3 дня без доазправки.

Здесь во всём царит порядок и продуманность.

Вот это, например, ключинца, где клиенты ЦОДа могут сами по отпечатку пальца взять ключи от своих стоек.



А это помещение, где клиенты могут проводить любые нужные им инженерные работы, для чего на стене висит шанцевый инструмент.





Это уже полочки для местной эксплуатации со всем жизненно необходимым в повседневной работе:





Оно всегда заряжено и готово к работе.

Бейсболка начинающего хипхопера на фото выше спасла голову не одного человека. Она твёрдая аки натуральная каска — самое то лазить под полутораметровым фальшполом, где нет-нет — да торчит какая-нибудь острая железяка.

Собственно сотрудники из эксплуатации:



Вот этот ничем не примечательный прибор — дифманометр.



Он призван решить простую задачу — поддерживать разницу давлений между коридором и машинным помещением. Например для того, чтобы оно было внутри чуть выше и при открытии двери пыль не залетала внутрь, а наоборот отлетала от двери.

Система пожаротушения тоже газовая — в случае беды газ вытесняет кислород и купирует горение.



В линксе встают только серьёзные и очень серьёзные ребята, у которых есть причины для паранойи величиной в Арарат.

Решётки и отдельный от датацентрового СКУД — это только начало.

Вот когда на решение проблемы или на новые коммутации приезжают два человека — один с материальным ключом, другой с электронным — это уже интереснее. А когда от клиента приезжает аудитор в очках, спускается под фальшпол, раздвигает два листа решёток и говорит, что тут пролезет голова ребёнка, понимаешь, что человек видел некоторые интересные вещи в своей жизни.

Были забавные ситуации, когда при проектировании клетки учли всё, что только можно, все системы безопасности, все размеры, которые позволяют завозить стойку и ставить в неё оборудование, но как-то не подумали о габаритах инженеров которые будут с ним работать. А они ни в фас ни в профиль не помещаются между клеткой и стойкой.

Если бы я был ФСБ, я бы поставил своё железо в linx :)

После экскурсии мы ещё довольно долго сидели, душевно болтая под пиццу.
Из этого царства безопасности и порядка мы двинулись в RETN.



RETN


С этими ребятами мы знакомы уже давно и близко. Поэтому ничего удивительного, что наконец-то мы собрались на их крыше, чтобы пожарить шашлыков и потравить байки.



У них мы тоже уже бывали, хотя, кажется, не рассказывали. В прошлом году планы по захвату Питерских крыш провалились из-за Фифы.

RETN- вообще-то крупнейший магистральный оператор с волокном по всей планете. Их паутине позавидует любой паук.

А ДЦ на обводном — это такой домашний проект для души, который нашёл свою нишу на растущем рынке. Сюда встают те, кому нужна толстая связность с миром и выход на других местных операторов.

Так, например, в RETNе стоит CDN Netflix'а.





Я с удивлением узнал, что каждая их нода индивидуально от руки подписана какой-то фразой.
И вот такие праздничные коробочки молотят в разных городах на POPах RETNа (и, очевидно, не только его), доставляя до вас как можно быстрее «Чёрное зеркало» и «Острые козырьки».

Тут же есть и CDN гугла и куча операторов, как местного уровня, так и федерального.

У RETNа рядом со зданием стоят два крохотных (по сравнению с мирановским) дизель-генератора и машина с канистрами, чтобы съездить на заправку. Звучит почти как семейный бизнес.

Ну а вечерние переговоры на крыше довели нас до того, что RETN выдаст нам виртуалочку для резервной площадки под хостинг подкастов и картинок.
Мировые парни, суперламповый ЦОД, поражающая своими масштабами сеть.



Для кого-то этот день закончился турниром по duke nukem, для кого-то долгожданным сном в гостинице.

На следующий день у нас было не так много планов: Метротек и подкаст живьём — linkmeup IRL.



Метротек


Буквально месяц назад в гости телеком-подкаста приходили Миша Соколов и Денис Габидуллин из НТЦ Метротек слэш Plumspace, и мы разбирали, что такое Smart SFP. А теперь мы смогли их потрогать живьём.

Денис, проводивший экскурсию по Питерскому офису Метротек (который к слову не изменился с последнего нашего похода к ним), собственно с порога дал в руки один из образцов.
Я было сначала удивился, насколько он топорно сделан — словно лобзиком и напильником выточен из ключа на 32.



Оказалось, что корпус опытного экземпляра был напечатан на 3д-принтере из металлического порошка, что и видно по шероховатой поверхности. Другие — те, что готовы к серии — в полном порядке.



Но вообще, глядя на них, поражаешься, как же они всё-таки умудрились в почти стандартный корпус спрятать такой количество мозгов.



Советую послушать подкаст про Розу, Тозу и сестру их Бозу. Получилось на мой вкус интересно.

Дизайн офиса максимально обычный. Сравнительно небольшие прямоугольные кабинеты, вытянутые к окну, достаточно тёмные, что немного давило. Но атмосфера, несмотря на выходной, царила рабочая.



Оформление за два года не поменялось. Порадовали некоторые плакаты и доски.

Мы прошлись по нескольким комнатам: R&D, системщиков, FPGAшников, подержали в руках разные виды SFP, программаторы, увидели первую модель, в которой Smart было вынесено из SFP на проводочке — один из первых экспериментов — скорее, Proof of Concept, что оно вообще работает.

Говорят, некоторым клиентам даже удобно, чтобы у них из железа торчал такой хвост.
Самой первой целью два года назад было собрать обычную оптическую SFP, которая будет хотя бы передавать сигнал.

Потом отдельно собирали Smart часть с чужой SFP (как раз на шнурке), чтобы убедиться, что они в силах скомпоновать чипы.

Метротеком провёрнута огромная работа. Подумать только, что за 2 года собрали полностью рабочий оптический модуль, который умеет в инкапсуляции, телеметрию, сервер точного времени, конвертер интерфейсов.

И при этом отладить до идеала (хотя это ещё предстоит проверить временем) базовую функциональность по передаче сигнала. Не должно быть затуханий, не должно быть даже редких дропов по вине SFP. А ещё оно не должно греться, несмотря на пачку ASICов, FPGA и CPU внутри.
Браво!

Полноценная вычислительная система:

  • CPU: NXP i.MX6 ARM до 900 МГц
  • FPGA: Lattice ECP5 до 85K LUTs
  • RAM: DDR3 до 1 ГБ

Денис отметил, что в компании практикуется и поощряется обмен знаниями, опытом. И тут я подумал: «А разве бывает иначе? 0_о». — Да, зачастую к ним приходят люди, которые на прежнем месте работы варились в собственном соку, не общались, делали двойную и тройную работу и в целом избегали попыток коммуникации.

И тут я вспомнил, что, в общем-то не далее чем два года назад я работал в одной международной широкозабаненной компании, где конференции были под запретом, а knowledge exchange отсутствовал как класс. И именно я был одним из евангелистов еженедельных встреч для обмена опытом, которые, кажется, спасали одиноких инженеров в удалённых регионах.

В общем в Метротеке на регулярной основе проводятся внутренние тренинги и лекции, почему они и молодцы.

А дальше нас завели в удивительный цех монтажа. Сколько раз бы я ни бывал в них, кажется, мой детский восторг не угасает.

У Метротек прямо в офисе стоит оборудование для печати на платах.

Трафарет для нанесения катышков припоя, принтер SMD-компонентов (иначе я его назвать просто не могу), маленькая печурка для запекания плат и рядом рабочие места для ручного монтажа.







К своему удивлению узнал, что микрочипы с сотнями ног тоже припаиваются вручную. Денис говорит, что их ребята прям-таки с удивительной точностью и скоростью напаивают мельчайшие детали и порой нет смысла запускать шайтан-машину — человек сделает быстрее.



Мы между собой нарекли производственную линию Метротек Элтекс-верилайт, на волне сравнительно недавней экскурсии к ним.

Кроме того в офисе есть 3d-принтер и фрезеровочный станок для внутренних нужд, на котором однако уже гравировали медальки для прошлогоднего Chaos Construction.



Оттуда мы отправились в потрясающий по своей идейности Krang Pizza, где уже полным составом linkmeup проглотили мутантскую и по размерам и по смыслу пиццу-бургер и двинули в офис IQ option, где и записали первый выпуск linkmeup IRL.



На следующий день мы ещё заглянули в Лазерный центр по наводке Мамонта, где с нами случился технократический экстаз и немного воспаление жадности, но об этом будет отдельная история.

В заключение хочется сказать, что все экскурсии и встречи получились весьма разными, как по масштабу действия, так и по направленности.

Миран который гостеприимно приютил у себя наш хостинг, быстро растущий, но всё ещё по-дружески простой.

Линкс — поистине крутой ЦОД, с безопасностью во главе угла и опытными маркетологами.
RETN- молодые весёлые ребята «из гаражей», которые делают гигантскую сеть и пока ещё маленький ЦОДик и не прочь развести костёрчик на крыше.

Метротек — сравнительно небольшая команда российских разработчиков железа и ПО, которая делает почти «вот этими вот руками» ворох измерительного более чем конкурентоспособного оборудования, а теперь выходит на новый для себя рынок с амбициозной задачей.

И Лазерный Центр, который выходит за рамки интересов linkmeup, но является объектом наших личных интересов. Оставил очень приятное впечатление и гравировку микрофончика на диктофоне.

Комментарии (14)


  1. bliznezz
    12.06.2019 09:58

    >Meridian
    >Мередиан
    У меня тоже был как-то сервачок, который до меня назвали Meridian, и я путался какая там втоая гласная буква i или e. Мнемоническое правило родилось когда узнал что разработчики его называют Мерином.


    1. eucariot Автор
      12.06.2019 16:08

      Спасибо! Исправил.


  1. SynmanProff
    13.06.2019 09:07

    На предпоследней фотографии очень порадовала девушка))

    Если вы понимаете, о чем я :)
    image
    image


    1. upviqq
      13.06.2019 09:12

      Да тут вся статья радует непонятными терминами, которые надо искать, и несуществующем словом «вообще». Учитывая то, что статья рекламная, могли бы и объяснить, что это за гринфилды, а не натужно юморить.


      1. eucariot Автор
        13.06.2019 09:38

        А потрудитесь, пожалуйста, объяснить, на основании чего вы утверждаете, что статья рекламная?
        А так же в каком именно языке не существует словам «вообще».


        1. upviqq
          13.06.2019 10:07

          Всё уже объяснил. Вместо обьяснения непонятных терминов — ссылки на обзоры и каналы.
          Слова не существует в русском языке. Можно, конечно, говорить вообще, донат, барбершоп, эйчар менеджер, но это не нормально. Я ещё понимаю, когда в узкоспециализированной среде пользуются своими терминами и говорят инстанс вместо экземпляра виртуалки, но в рекламной статье могли бы и по-русски писать.


          1. eucariot Автор
            13.06.2019 10:15

            а) dic.academic.ru/dic.nsf/ushakov/763702
            б) Будьте аккуратны, выдавая свои предположения за истину и обвиняя кого-либо бездоказательно
            в) Это мысли после посещения интересных для меня в Питере мест, которое написано в достаточно вольном стиле. Хабр такой: кому нравится — ставит плюс, кому нет — минус, а автор делает выводы, постить в следующий раз такой материал или оставить для своих лишь.
            г) «Всё уже объяснил» — нет :)


            1. upviqq
              13.06.2019 10:35

              а) в гугле я всё, что угодно, найду, это делает всё найденное фактом, это не словарное слово
              б) спасибо, внимателен
              в) я вижу, что вы пишете про какие-то филды, восхваляете коммерческие организации, а написать по-русски, что это просто переоборудованный завод, не можете, надо искать самому
              Ну так и комментарии я могу писать, это ж не запрещено. Хотите — ставьте минус, хотите — оставляйте «для своих лишь». В карму мне кто-то уже минус поставил сегодня, скорее всего из-за конструктивной критики в вашей статье, потому, что другая с моими комментариями абсолютно некоммерческая.


    1. eucariot Автор
      13.06.2019 09:32

      Девушка, увы, не согласилась воспроизвести классическую фотографию)


  1. HighPredator
    13.06.2019 09:12

    Сам ДЦ запитан от газо-поршневой установки, а городское электричество является только резервом.
    Может кто-нибудь пожалуйста рассказать, исходя из какой логики было принято такое решение? Очень интересен ход мысли.


    1. eucariot Автор
      13.06.2019 09:40

      Передал вопрос линксу.


    1. Loxmatiymamont
      13.06.2019 11:52

      Всё просто: газ дешевле.


    1. Sam_spb
      13.06.2019 12:19

      Это было БЫСТРЕЕ и дешевле. Получить газовую магистраль проще, чем согласовать строительство и подключение ТП.
      Вот Миран, например, строился в соседнем помещении с ТП. :)


  1. tomoto
    13.06.2019 18:26

    Ну не так все плохо было в забаненой компании. :) Просто большинство каких-то мероприятий требовало выписывания спецов из поднебесной, соответственно и ограничивалось все дефолт сити.