Объект на «плавающем» фундаменте для защиты от землетрясений.

Меня зовут Павел, я руковожу в КРОК сетью коммерческих дата-центров. Мы за последние лет 15 построили заказчикам точно больше сотни ЦОДов и крупных серверных, но этот объект — самый крупный из зарубежных. Он находится в Турции. Туда я и поехал на несколько месяцев, чтобы консультировать иностранных коллег при строительстве самого объекта и облака.

Здесь много подрядчиков. Естественно, мы часто общались с местной ИТ-интеллигенцией, поэтому у меня есть что рассказать про рынок и про то, как там всё в ИТ выглядит для русского человека со стороны.


Опоры фундамента — по сути, шарнирные соединения, позволяющие сдвиги и прыжки.

Рынок

Рынок похож на российский. То есть существуют местные флагманские компании, которые из экономической обоснованности смотрят на bleeding edge, ждут обкатки технологий полгода-год и забирают себе. У нас так делают некоторые отделы банков, розницы и разные технологические бизнесы. Потом есть западные компании мирового масштаба, которые приходят в страну со своими стандартами: под них строится инфраструктура. И есть отстающие, которые пытаются вылезти из 80-х и 90-х по уровню технологий, подходу к управлению и вообще сознанию. Тем не менее сам по себе турецкий рынок отстаёт от нашего примерно так же, как наш отстаёт от Европы. Они только сейчас начинают присматриваться к коммерческим ЦОДам, как мы N-ое количество лет назад в России.

Госрегулирование — не меньше нашего, и, в частности, местный аналог Ростелекома — Турктелеком — имеет около 80% телеком-рынка страны по каналам связи. Я не до конца понял схему, но для провайдеров устанавливают минимальные тарифы, которые не должны снижаться в конкурсах. В итоге инфраструктура связи — фактически госмонополия, а все услуги поверх инфраструктуры — коммерция, но очень зависящая от госрегулирования.

Почти такая же история, как с персональными данными, и у нас. Только здесь речь идёт про критические системы, а не персональные данные. Эти критические системы нельзя вывозить за пределы страны, данные должны храниться локально. Поэтому нужны мощные ЦОДы, и поэтому этот ЦОД построили с сейсмозащитой на «плавающем» фундаменте. Многие здания серверных тут сейсмозащищены иначе: за счёт упрочнения конструкций. Но для серверов это плохо. В случае землетрясения стойки будут ходить ходуном. Этот ЦОД просто плавает в железном озере шарниров, как уточка, а стойки как будто висят в воздухе — их не трясёт.

Относительно ЦОДов: здесь совсем мало провайдеров, которые серьёзно относятся к грамотно выстроенным процессам эксплуатации. Можно сказать, что это только зарождается здесь. Тяжело найти крупный сертифицированный объект Uptime Institute. Мелких много, и много таких, которые имеют только Design. Operational Sustainability — только у двух ЦОДов, причём только один из них коммерческий, при этом на коммерческом сертифицирована только одна очередь. Оптимизируются.

В РФ три ЦОДа уже имеют даже UI TIII Operational Sustainability Gold (два коммерческих — для сдачи в аренду машзалов по частям, и один корпорации — для собственных нужд), ещё два — Silver. Тут надо сказать, что TierI, TierII и TierIII — это мера простоя. TI — это любая серверная, TII — критичные узлы дублированы, TIII — дублированы все без исключения узлы, и выход из строя любого из них не приводит к остановке ЦОДа, TIV — «удвоенный TIII»: ЦОД фактически военного назначения.

Сначала у нас было можно получить проект TierIII. Причём их получали как по TIA, так и по Аптайму. Заказчик смотрел только на третий уровень. По чему он — по стандарту строительства контакт-центров или ЦОДов — не очень важно. Потом стали котироваться только UI-сертификаты и ещё IBM. Потом заказчики начали разбираться в уровнях TIII. Их там три: что проект соответствует требованиям, что объект построен по проекту правильно, и что объект работает и поддерживает все регламенты. Вот этот с регламентами и «на практике всё получается уже несколько лет» — это и есть UI TIII Operational Sustainability.

К чему я это всё: в России уже нормально объявлять конкурсы на TIII-ЦОДы для закупки мест под размещение своего железа. Выбор есть. В Турции просто нельзя найти подходящие TIII для проведения тендера.

Третья особенность — провайдеры услуг под более жёстким присмотром в сравнении с рынком РФ. У нас если получил услуги на телематику или связь, то ответственность за системы несёт владелец. Дальше ты серваки в аренду сдал — и уже не при делах. Вроде как не твоё это дело: майнит там твой арендосъёмщик или ещё чего хуже. Тут эта тема почти не прокатывает. Фактически тут на каждом провайдере ЦОД лежат обязательства объяснить, что конкретно ты вообще никак не мог предотвратить противоправных действий. Плохо объяснял — отберут лицензию.

С одной стороны, это добавляет ещё пачку документов и усложняет вход в аутсорс-инфраструктуры бизнесу и госкомпаниям, а с другой — уровень надёжности тут выше. Если ты про IaaS, то обязательно будут услуги безопасности типа DDoS-защиты. Как обычно заказчики на нашем рынке входят:
— А, у нас там веб-сервер, будет сайт крутиться.
— Давайте защиту от дидоса поставим.
— Да не надо, кому он нужен? Но телефон оставьте, если будут атаковать — тогда и поставим, хорошо?

А тут ставят сразу. И компании готовы за это платить. Все относятся с большим пониманием к рискам. Узнают у провайдера конкретные детали реализации по пути трафика. Выливается это ещё в то, что когда заказчик приходит в IaaS со спроектированной системой, у нас ему могут сказать:
— О-о-о, у-у-у, у вас тут какие-то спеки нестандартные на физические машины. Берите стандартные или ищите другого оператора услуг. Ну или дорого…
А в Турции будет так:
— О-о-о, а-а-а, у вас тут спеки на физические машины забуённые. Давайте мы под вас купим это железо и сдадим вам его уже в аренду, только подпишите на три года, тогда и цены дадим хорошие. А лучше на 5 лет сразу!

И подписывают. И даже цену нормальную получают, потому что у нас любой договор предполагает страховку от того, что ты железо под проект купишь, а потом заказчик взбрыкнёт и уйдёт через два месяца. А здесь он не уйдёт.

Ещё отличия в мироощущении

Когда в России приходит заказчик, то диалог примерно такой:
— Продайте облако, вот техтребования.
Ему отвечают:
— Техтребования посмотрели, стоить это будет 500 попугаев.
Он такой:
— 500? Да вы чего? Нет, 500 — это очень дорого. Серваки из них сколько? 250? А ещё 250 за что?
Расписывают ему. А дальше — продолжение:
— Да ладно, давай ты часть моего железа возьмёшь, оно почти не старое. Мои спецы твоим помогут настроить. Лицензия на ВМвару своя есть. Боец по Заббиксу вот. Давай за 130, кроме серваков?

При этом это нигде не говорится, но предполагается, что, когда это стоило 500, все риски были на тебе. Когда это стоит дешевле, а часть делает заказчик, то получается, что самое простое он забрал, а тебе остались только риски. И потом по ходу проекта он ещё часто по факту пытается докидать туда рисков. Типа как ты привык к Dell-железу, но ведь для опенсорс-софта плевать, давай дам тебе Supermicro позапрошлогодние. И в итоге вся модель рисков — просто в хлам. И по-хорошему надо брать уже не на 500, а на всю 1000.

Возможно, вам сейчас не очень понятно, что я имею в виду. Раньше мне казалось, что это история про оптимизацию бюджета. Но это не так на деле. Есть странная штука в ментальности русского человека — играть в конструкторы. Думаю, мы все в детстве не наигрались в металлические с дырками, выросли, и нам дальше интересно. И когда нам приносят новомодную большую штуковину, её хочется разобрать и посмотреть, что внутри. Плюс ты отчитаешься, что отжал поставщика и использовал внутренние ресурсы.

В итоге получается не готовый продукт, а непонятный конструктор. Так вот, до первых крупных контрактов в Европе мне это казалось необычным, что они не пускают дособирать части продукта заказчика. А оказалось, что это тормозит услуги. То есть вместо того, чтобы делать типовую услугу и оттачивать её, провайдеры услуг занимаются кастомизацией под локальных клиентов. Играют вместе с заказчиком в конструкторы — допиливают кастомные детальки, чтобы это работало. А вот в Турции, напротив, хотят брать готовые сервисы, чтобы их потом не дорабатывать.

Опять же вот отличие менталитета. Если у нас провайдер типа нас приходит к крупному заказчику и рассказывает про энтерпрайз-приложение, которое заденет полкомпании, то нужны два профессионала. Один — от провайдера, который всё покажет, расскажет и раскроет кишки. Второй — от бизнеса, который разберётся, как и что приземляется, где как работает. Речь идёт не про интеграцию и не про внешние интерфейсы, а именно про ядро системы, которое снаружи не видно. У нас в нём ковыряются при покупке. А тут заказчик приходит за решением, и ему не очень интересно, что внутри. Никто не парится. Заказчику важно, что если ты пообещал, что оно работает — чтобы оно и правда классно работало, как ты обещал. А как оно это делает — неважно.

Возможно, это просто чуть больший уровень доверия друг к другу. Который опять же продиктован ответственностью за любые проблемы. Косякнул крупно — рискуешь всем бизнесом, а не одним клиентом.

Это перекликается с ментальностью местных жителей. Они очень открытые друг к другу. У них из-за этой открытости сильно развиты отношения. У нас очень многое формализуется, а у них так: «Ну ты мне доверяешь, я тебе доверяю, поэтому пойдём, ты сделаешь проект». И дальше все неформальные вещи просто делаются без лишних вопросов.

Поэтому, кстати, очень легко продавать managed-сервисы. Этот процесс шёл куда сложнее в России. В РФ тебя разбирают на винтики. А тут весь аутсорс готовых продуктов разлетается, как пирожки.

Люди

С другой стороны, у нас встречаться лично по любому поводу не обязательно. Личное общение решает меньше, чем просто внимание. А тут внимание и личное общение — это одно и то же. И по телефону или по почте вопросы не решаются. Нужно приехать на встречу, иначе местные ничего делать не станут, и дело не сдвинется с мёртвой точки.

Когда у нас ты запросил информацию в духе «А пришлите конфигу», тебе админ взял и прислал. Тут так не работает в принципе. И не потому, что они плохие, а потому, что на подсознательном уровне: а чего он меня так не любит, что черканул письмо — и всё? А пообщаться-то как?

Контакты надо поддерживать постоянно. Если надо, чтобы тебе помогали в ЦОДе местные, то надо раз в неделю приезжать, а не обсуждать удалённо. Полтора часа туда и обратно и час разговора. Но если это время сэкономить, то потеряешь месяц в ожидании. И это сплошь и рядом. Абсолютно непонятно с моим российским менталитетом уловить «А чего ты от нас хотел этого удалённо?» или «Чего не приезжал?». Как будто они не видели писем, не воспринимали. Не обижались, а просто куда-то их откладывали до твоего приезда. Ну да, ты писал. Вот приехал, теперь можно обсудить. Давай начнём вот с этого, двухнедельной давности, с пометкой «ASAP». Возьми кофе, расскажи спокойно, что случилось…



Вместо консоли у них телефон с подрядчиком. Потому что ты пообещал, и ты сам приехал и не можешь этого не сделать. Потому что посмотрел в глаза и сказал. Что-то в этом определённо есть.

Ещё поражает, что творится на дорогах. Это трешак. Никто не включает поворотники, перестраиваются, как хотят. Нормально, если люди выезжают на встречку через двойную сплошную – надо же как-то объехать автобус. На городских улицах, где мой русский разум видит 50 километров в час, они едут под сотню. Я видел много перевёртышей. Один раз я видел перевёртыша на въезде на бензоколонку. Как они ухитряются это сделать, я не понимаю.

Если красный на перекрёстке — это не тема останавливаться. «Я на нежно-розовый поехал». Дальше начинаются обиды. Вот кого-то не пустили на его зелёный, потому что кто-то другой почти успел, но не совсем. Он не выдерживает и едет, уже не когда по светофору надо, а когда ему кажется справедливым. То есть блокирует кого-то ещё на перпендикулярном потоке. Дальше это закручивается, и вся дорога блокируется. Пробки в Стамбуле — они, по моим ощущениям, в немалой части завязаны на странное отношение к правилам. Мне говорили, что рынок провайдеров тут медленнее Европы развивается примерно по тому же принципу: для инфраструктуры нужны чёткие правила, а они тут почти все понятийные.

Очень много личного общения. Напротив моего дома был местный розничный магазин вроде нашей Меги. Так вот, могут доставить любой товар до двери. Это просто сервис такой, ты просто говоришь, что тебе нужно. Или вот я палец порезал, позвонил в аптеку напротив, попросил принести на проходную пластырь (примерно за 20 рублей). Принесли бесплатно.

Все районы в Стамбуле — с очень дорогой землёй, поэтому используется каждый её клочок. И все дешёвые или не очень дорогие районы застроены вплотную. Дороги — одна полоса туда и обратно, а то и вообще односторонние. Сразу рядом — тротуар метра на полтора, и дальше — дом. На ширину тротуара нависает балкон. Говорить в таких районах о зелени или месте для прогулок странно: до зелени ещё надо дойти. Что самое неприятное: половина дорог — горизонтальная вдоль склона, а половина — под уклоном серьёзным, 15-20 градусов бывает легко (для сравнения: 30 градусов — это в Москве уклон эскалатора метро). Наши указатели «Осторожно!!! Уклон семь процентов!!!» кажутся смешными. Я тут во время дождя не знаю, не начну ли скатываться назад по мокрому асфальту. Почти как по эскалатору едешь. Может быть, в дождь придётся остановиться и поехать заново. Есть те, кто сдаёт задом наверх.


Самая старая линия метро Стамбула — 144 года. В каком-то смысле канатная дорога.

Они постоянно пьют чай по любому поводу или без. Для нас непривычный вкус, и мне он не очень нравится. Ощущение, что делается более крепкая заварка, и она держится в чайнике. Уваривают до предела по вкусу. Стоят станции везде типа наших термопотов, сверху на ней — дырочки, на которые ставятся заварники, в которых заварка горячая.



По еде, когда стал ходить с местными обедать, показали много почти домашних ресторанов. Местная специфика в том, что очень много овощей, много мяса. Но свинины нет, вместо неё — баранина.



Готовят очень вкусно. Что самое занятное — более разнообразно, чем у нас в Москве. С овощами полегче, потеплее. Разнообразных блюд много. Другой порядок блюд: не салат, первое и второе плюс десерт. Тут разница между салатом, вторым и мясом очень размыта. Вкусная клубника начиная с марта, дыни и арбузы — с мая.



Мусульманская страна, повсюду женщины в чадре. Но многие не носят, короткие юбки и открытые руки — кругом.



В офисе все одеты весьма для нас привычно, особых отличий в этикете одежды нет.



Из других контрастов: как я уже говорил, земля здесь очень дорогая, но при этом везде огромное количество лавок и магазинчиков, где можно купить очень дешёвую еду и вещи. Ещё удивило, как они подходят к вопросу утилизации мусора. Вроде бы здесь есть разделение мусора по типам, но по факту всё выбрасывается в один большой контейнер. А потом специальные люди с баулами на два кубометра на тележках в течение дня выгребают пластик, стекло, бумагу и отвозят на переработку. Тем и живут… Попрошайничество не приветствуется. По крайней мере в чистом виде. А по факту какая-нибудь бабулечка может «приторговывать» бумажными платками, подходя на перекрёстке к машинам. Цену не называет, заплатить можно, сколько есть. А многие деньги дают и платки не забирают.

Ну и могут опаздывать на встречи, но никто не будет сильно расстраиваться, если опоздаешь ты. Один раз наш контрагент прибыл на три часа позже, так мои коллеги были ему рады. Мол, классно, что приехал, рады тебя видеть. Хорошо, что у тебя получилось добраться. Заходи!

Про Турцию пока всё. Вообще мы участвуем в похожих проектах по всему миру как технологический партнер. Консультируем, помогаем местным компаниям разобраться с технологиями. Сегодня это более уже более 40 стран от Ближнего Востока до Австралии. Где-то это VR, машинное зрение и дроны – то, что сейчас на хайпе. А где-то старая добрая классика типа техподдержки или внедрения ИТ-систем. Если интересно узнать специфику — можем рассказать про некоторые особенности.

Ссылки:

• Про эксплуатацию дата-центра за 7 лет
• ЦОД повышенной ответственности: фотоэкскурсия
• Моя почта: PKolmychek@croc.ru