Когда мы выбирали место, где можно строить дата-центр с нуля, холодный климат был одним из важнейших факторов. Но именно в процессе этой стройки мы нашли технологическое решение, которое позволяет нам эксплуатировать ДЦ в более теплом климате. Сейчас мы планируем построить наш следующий дата-центр во Владимирской области. И теперь у нас есть все возможности создать в России дата-центр, который станет одним из самых передовых в мире.
В этом посте мы хотим рассказать, как мы проектировали ДЦ, с какими сложностями столкнулась наша команда в процессе строительства, как проходила пуско-наладка, в чем особенности дата-центров Яндекса и как устроена рекуперация тепла, о которой вы уже могли слышать.
Необходимость
Как мы уже рассказывали, архитектура сервисов компании позволяет организовывать резервирование на уровне дата-центров, а не подсистем, что дает бoльшую гибкость при выборе решений и позволяет снизить избыточность систем и соответствующие затраты.
Дата-центр и серверная архитектура проектируются как единая система, поэтому параметры функционирования инженерных систем могут отличаться от общепринятых — можно, в частности, использовать альтернативные источники бесперебойного питания и отказаться от громоздких технических решений по охлаждению за счет расширения допустимого температурного диапазона. Все это ведет к повышению эффективности и понижению совокупной стоимости владения инфраструктурой.
Одна из метрик эффективности работы дата-центра — PUE. Впрочем, говоря о наших ДЦ, мы не собираемся ставить ее во главу угла. Во-первых, нам незачем меряться PUE с коллегами, а во-вторых, существующие разногласия в методике измерения этого параметра не позволяют проводить сравнение даже между нашими собственными ДЦ.
Однако сама сущность параметра PUE исключительно важна для Яндекса. Коммерческие дата-центры могут позволить себе не скупиться на строительство и оснащение, понимая, что в конечном итоге за все заплатит клиент. В нашем случае мы являемся сами себе клиентом, поэтому низкая совокупная стоимость владения ДЦ (ТСО), пожалуй, самый важный критерий при выборе решений в компании.
И конечно же, нашей команде хочется не только увеличивать площади под установку новых стоек, но и чувствовать профессиональную гордость за то, что мы делаем.
Идея
До начала проектирования финского дата-центра мы успели построить (и частично закрыть) 10 дата-центров. При строительстве очередного ДЦ мы каждый раз старались использовать наиболее интересные решения, которые появлялись на рынке в тот момент. Это привело к большому разнообразию реализаций, зато теперь позволяет нам выбирать наилучшие решения не на основании рекламных каталогов, а используя накопленный в компании опыт и результаты собственных экспериментов.
Основная идея, лежащая в проекте финского ДЦ, проста: это применение прямого фрикулинга 100% времени. Прямой фрикулинг (охлаждение серверов наружным воздухом) дает возможность отказаться от использования не только теплообменников с охлажденной водой или другим подходящим теплоносителем, но и от более простых устройств, наподобие колеса Киото, которое стоит в одном из наших ДЦ. В новом дата-центре мы берем воздух с улицы, прогоняем его через серверы и выпускаем на улицу, попутно отбирая часть для смешивания в холодное время года. Наше серверное оборудование сегодня спокойно работает не только в диапазоне 20–24 градуса, который совсем недавно был тем самым разрешенным «окном ASHRAE», но и при более высоких и низких температурах. Поэтому незачем устанавливать капризные и дорогие системы охлаждения, можно просто выбрать регион, в котором среднегодовая температура пониже, а в самые жаркие дни распылять воду, чтобы добавлением влаги снизить на несколько градусов температуру входного воздуха — это называется адиабатическим охлаждением.
Камера адиабатики и каплеуловители за ней
Те из вас, кто изучал конструкцию ДЦ Facebook, которая неоднократно публиковалась в интернете, найдут много аналогий. Но надо сразу оговорить, что это только совпадение. Когда концепт нашего ДЦ был уже готов, нам довелось съездить в гости в один из ДЦ социальной сети, и мы с удивлением узнали, что коллеги только что реализовали проект, практически идентичный нашему.
Конечно же, специфика Орегона и Финляндии повлияла на различия, но принцип обдува воздухом с улицы настолько прост и очевиден, что в сходстве концепций нет ничего удивительного. С другой стороны, мы с удовольствием отметили, что кое в чем наш проект будет даже интереснее.
Дизель-генераторы и динамические ИБП
Например, менее сложная система адиабатического охлаждения и использование динамических роторных ИБП (ДРИБП) вместо сочетания дизелей и классических батарейных ИБП.
Как видно из иллюстрации, холодный воздух попадает с улицы (с правой стороны картинки) в камеры смешения, откуда после фильтрации нагнетается вентиляторными стенами через модуль увлажнения вниз, в холодные коридоры.
Первый ряд фильтров
Второй ряд фильтров и приточные вентиляторы
Из горячих коридоров воздух попадает в пространство второго этажа, играющего роль своеобразного буфера, откуда часть направляется в камеры смешения.
Камера смешения внешнего и отработанного воздуха для достижения оптимальной температуры
Не используемый в смешении горячий воздух вытяжными вентиляторами выводится с другой стороны здания.
Внутри «горячего коридора»
Решение действительно очень простое, однако оно подразумевает использование оборудования, которое умеет работать при соответствующей температуре и влажности, что трудно достижимо для коммерческих дата-центров.
Серверы в работе
Как показал первый опыт эксплуатации, у нас есть еще значительный потенциал для улучшений. Мы поняли, что можно упростить конструктив здания, полностью отказаться от использования воды в ДЦ и, наконец, расширить географию строительства вплоть до центральных регионов России. Благодаря этому мы сможем построить наш следующий дата-центр во Владимирской области, климат которой значительно теплее финского.
Почему Финляндия?
Этот вопрос является вторым по популярности, на который нам приходится отвечать. Ответ же настолько прост, что рассказывать о нем даже немного неловко.
Дело в том, что неофициальным талисманом Яндекса является лось («Наш лось!»). Во всем мире есть две страны, в которых ценят и лелеют этих животных, — Швеция и Финляндия. Но так как в Швеции уже построился Facebook, нам оставались наши северные соседи. Из всей страны мы выбрали город, на гербе которого был лось. Так жребий был брошен, и мы решили строиться в Мянтсяля.
Однако одного лося все же недостаточно. Важнейшими критериями, по которым производился отбор на тот момент, были доступная электрическая мощность (высокостабильная энергосеть Финляндии построена много лет назад для ЦБК, которые чувствительны к качеству питающего напряжения), хорошая доступность оптических линий, жаждущие работы инженеры и, конечно же, холодный северный климат, в условиях которого можно было отказаться от чиллеров и честно использовать любимый фрикулинг.
Нельзя не отметить, что работа с местными партнерами оказалась истинным удовольствием. Так, разрешение на строительство получается в течение одного месяца (sic!), а дорога, линии водо- и теплоснабжения и электропередач возникают на границах участка в невероятно короткие сроки.
Кроме того, мы реализовали с местными властями, так сказать для души, проект по рекуперации тепла. Установив теплообменники в месте выброса отработанного горячего воздуха, мы нагреваем теплоноситель и передаем его в городскую систему теплоснабжения. Для муниципалитета доводить подогретую таким образом воду тепловыми насосами до необходимой температуры оказалось дешевле, чем строить дополнительную котельную для новых районов города.
Собственно теплообменники
Это решение мы представили в марте на выставке CeBit (в этом году объединенной с Datacenter Dynamics), и оно привлекло к себе огромное внимание — тематика энергоэффективных технологий сегодня очень актуальна. 27 мая Мянтсяля получила приз Best Heat Pump City in Europe.
Проектирование
Если не касаться содержания документации, то уже в процессе проектирования мы столкнулись с некоторыми интересными особенностями работы в Финляндии.
Там нет такой жесткой формализации оформления и состава документов, к которой мы привыкли. Говоря совсем просто, детализация документации должна быть ровно такой, чтобы исполнитель смог получить всю необходимую информацию. В какой-то мере облегчило общение с разрешительными органами, которые выражали свое одобрение, основываясь на том, как они поняли документ, не уделяя внимания полноте и оформлению.
Под крышей, где происходит забор воздуха
Некоторые из представителей властей вообще не стремились выразить свое личное мнение о проекте. Пожарный инспектор, например, был удовлетворен, если на представленном пакете документации стояла виза сертифицированной компании-консультанта. Такая подпись для него значила, что проект уже проверен и соответствует всем местным нормативам.
С другой стороны, большинство мелких подрядчиков отказывались даже оценивать стоимость работ, если в чертежах не было прописано все до последнего винтика. Такой подход озадачил не только нас, но и наших партнеров из других стран. В результате очень многие чертежи содержат куда больше информации, чем мы ожидали бы увидеть.
При реализации проекта мы пользовались трехмерной моделью здания, в которой было расставлено все оборудование, проведены кабельные трассы и т. д. На привыкание к этому инструменту потребовалось какое-то время, зато потом работать с моделью оказалось очень удобно — удавалось быстрее решать некоторые проблемы при сведении систем, которые были не сразу очевидны в двухмерном представлении.
Также наши коллеги научили нас пользоваться онлайн-системой сбора комментариев по проекту, так что можно было быть уверенным, что замечания не потеряются и будут регулярно просматриваться на проектных встречах.
Строительство
О необычайных приключениях русских заказчиков в Финляндии можно было бы написать отдельную большую статью. Но главный вывод прост: успех подобных проектов определяется умением преодолевать различия в менталитете и культуре участников. И самая большая ответственность лежит на нас в момент выбора партнера, который сможет эти различия примирить. Примеров можно привести очень много. Самые забавные, пожалуй, следующие.
Начало строительства
Финская стройка работает с семи утра до трех-четырех дня. Представьте наше недоумение, когда российская команда, возвращаясь с обеда, видит дружную толпу строителей, уже закончивших на сегодня трудовую вахту. Оставшиеся полдня мы наблюдаем почти пустынную стройплощадку, и на этом фоне несколько странно выглядят заявления финских партнеров, сетующих на то, что они никак не успевают уложиться в сроки, хотя и очень стараются.
Возведение стальных конструкций
На уровне рядового рабочего финское качество строительства не слишком сильно отличается от привычного нам. Существенное приращение качества происходит при добавлении нескольких уровней профессиональных бригадиров, контролеров и руководителей. И хотя цена «менеджерской составляющей» приводит в шок, результат получается очень хороший.
И конечно, нельзя не упомянуть легендарный финский июль, когда вся страна бросает работу и начинает отдыхать. В некоторые компании бессмысленно даже звонить — в офисе нет ни единой души. Так как мы привыкли считать эти редкие погожие дни идеальным временем для завершения многих строительных работ, такое отношение со стороны подрядчиков для нас выглядело как откровенный саботаж.
Каркас готов
Но самым главным уроком этого строительства стало осознание того, что проекты такого масштаба требуют совершенно особого подхода. То, как ты организуешь стройку, оказывает несоизмеримо больший эффект на результат проекта, чем то, что ты строишь. Мы увидели, что в другой стране люди работают иначе. Это не значит, что они что-то делают плохо, — просто по-другому. Кажется, нам удалось понять друг друга, и главное, что мы вместе получили отличный результат.
Пусконаладка
Пожалуй, основное, что отличает этот проект от всех предыдущих, — понимание с самого начала важности полноценной пусконаладки (ПНР). Для качественной сдачи объекта, а следовательно, для минимизации проблем во время эксплуатации мы еще в период проектирования держали в голове целую фазу проекта под названием Commissioning. Скрепя сердце мы отдали Commissioning два месяца, зная, что на эти два месяца будет отложен ввод в эксплуатацию уже готового ДЦ, и одновременно понимая, что в дальнейшем это окупится сторицей. И в самом деле, в процессе пусконаладки было найдено некоторое количество недостатков. Ничего серьезного, но дополнительные хлопоты службе эксплуатации они бы принесли.
Не только российский, но и мировой опыт показывает, что пусконаладка ДЦ — все еще непривычное явление. В лучшем случае разрозненные поставщики приносят программы индивидуальных испытаний, а затем группа эксплуатации совместно с генеральным подрядчиком прогоняет пять-шесть самых критичных ситуаций, как правило связанных с запуском дизелей и переключением вводов.
Полноценное описание процесса заслуживает отдельного рассказа, поэтому здесь только упомянем, что мы запланировали и провели все пять ступеней ПНР с тщательным документированием результатов.
Пусконаладку выполняла специально обученная команда. Формально они были сотрудниками генерального подрядчика, однако фактически действовали независимо, оценивая качество работ, в том числе и своих коллег. Огромное участие в пусконаладке принимала и уже сформированная к тому времени служба эксплуатации. Естественно, и представители московского офиса пристально следили за результатами испытаний.
Такой подход был сравнительно новым для нас. Мы по достоинству оценили его возможности и теперь даже не представляем, как без него запускаться.
Эксплуатация
Интересно, что набор и подготовку службы эксплуатации мы начали задолго до монтажа инженерных систем. Это позволило нам потратить больше времени на поиск действительно хороших специалистов, частично привлечь их даже на период проектирования: к сожалению, это привело к изменению проекта в самый последний момент, но зато уменьшило оторванность проекта от потребностей живых людей, которые проведут в этом ДЦ не один год. На некоторых этапах пусконаладки служба эксплуатации выполняла тестирование своими силами под наблюдением ответственной стороны.
Вход в офисную часть
В Финляндии большое внимание уделяется вопросам сертификации специалистов — некоторые виды работ выполнять без подтвержденной квалификации просто незаконно. Второй серьезный момент — это соблюдение норм охраны труда и экологии. Поэтому в нашей команде соответствующий специалист появился вторым по счету, и мы могли быть уверены, что не нарушим жесткие нормы законодательства даже случайно. Также значительный временной лаг позволил нам провести все требуемое обучение и сертификацию еще до начала эксплуатации, то есть вообще «без отрыва от производства».
Обратная сторона здания дата-центра
В целом хочется отметить большую заинтересованность будущих дежурных в своей работе. Мы уверены в команде, которую набрали, несмотря на то что дата-центр, тем более такого уровня, большинство ребят увидели в первый раз.
Нельзя не отметить, что теперь департамент эксплуатации Яндекса становится по-настоящему международным коллективом. Это не только позволит компании продолжать развивать новые навыки совместной работы, но и обяжет поднимать планку для уже существующей службы.
Что дальше?
Дальше у нас в планах расширение уже построенных площадок, а также строительство нового дата-центра, который обещает быть еще более прогрессивным. Наша цель — сделать его одним из лучших в мире.
Комментарии (72)
tgz
02.06.2015 16:18+12Сказка про лося порадовала. Хотя сами сотрудники Яндекса говорят что бы подальше от «кровавого Путина». Даже не знаю кому верить…
IlyaEvseev
03.06.2015 03:45+1Ваш комментарий уникален — он получил больше всего оценок (на данный момент 18),
причем они поделились строго пополам — 9 за кровавого Путина, 9 против :-)
Даже если в кулуарах сотрудники Яндекса действительно говорят такое, утверждениям про минимальный TCO
это не противоречит, т.к. многие составляющие TCO являются прямыми следствиями в т.ч. политической обстановки.
Т.е. политические риски всё-таки учитывались, но не прямо, а косвенно.
Иначе трудно поверить, что ДЦ для обслуживания Рунета надо строить рядом с Хельсинки, а не на 200 км восточнее, под Выборгом.tgz
03.06.2015 09:49+1Видимо у одних чувство юмора в детстве злые гебешники отобрали. Но в целом здравомыслие пока побеждает, как я вижу.
Вам же всяческих успехов, как в родной стране, так и за ее пределами.
OLS
02.06.2015 16:27+4Как Ваш Дата-центр планирует сосуществовать с ФЗ о хранении персональных данных на территории РФ?
azhumykin Автор
02.06.2015 17:47+10В Финском ДЦ не хранятся и не будут храниться персональные данные россиян, которые, по закону, вступающему скоро в силу, должны храниться в России. Для этого у нас есть мощный ДЦ в Сасово и сеть из нескольких ДЦ поменьше, распределенная по России.
Финский ДЦ — наш флагман с точки зрения технологий, с очень высокой энергоэффективностью и КПД, поэтому мы нагружаем его ресурсоемкими задачами. Например, мощности ДЦ в проектах с зарубежными партнерами использует Yandex Data Factory,
Ни на какие компромиссы с законом мы не идем.
Menaskop
02.06.2015 16:35+2Скажите, а почему Яндекс не сделает дата-центр в на БЦБК (г. Байкальск, Иркутская область)? Ведь можно, раз есть такие вложения? Да и климат прекрасный (не хуже, чем у финов): у нас в регионе даже хотели сделать дата-центр, правда Иркутске и Усть-Куте, но не суть. Это было бы прекрасным стимулом для возрождения города, который находится далеко не в лучшем состоянии, т.к. многие работали на заводе.
Конечно, там есть свою нюансы, но ведь все предпосылки правовые, социальные для постройки есть. Да и главное — можно дать неплохой толчок для развития IT в регионах, которые только-только включаются в этот процесс. Про социальную ценность просто умолчу, тем более, что Яндекс — пусть и не российская компания, но вполне на эту страну ориентированная.
И главное: Иркутская область — много лет занимает первое (или одно из первых — в зависимости от года) место в мире по цене электричества, т.к. тут и ГЭС'ы есть, и Иркутэнерго сохранили от РАО ЕС.
Про Магадан уже сказали, но также есть и в этом смысле и ещё один плюс — это доступность: там и федеральная трасса рядом и ж/д. Да и спецов на самом деле хватает, просто многие едут на Запад, в большие компании, а тут бац — и Вы…
В общем: за статью — спасибо, буду трижды признателен, если ещё и ответите что-нибудь на вопросы.azhumykin Автор
02.06.2015 17:07+3В некоторых регионах стоимость прокладки или использования оптических линий связи делает проект крайне невыгодным.
Menaskop
02.06.2015 17:40+1Да, прочитал Ваш 1й комментарий к 1му комментарию: но все же с оптоволокном проблем в регионе не наблюдается. Да и проложить кабель по дну Байкала — вполне себе возможно (благо совсем недавно так и сделали на Ольхоне, правда, с электричеством). В общем, проект масштабный, но из перечисленного Вами — все, вроде бы, есть: а) квалифицированные специалисты; б) представителей компаний-поставщиков — понятие довольно широкое, но непосредственно близость ж.д. решает в общем-то и этот вопрос, а для оперативной закупки регионального центра вполне достаточно; в) про заинтересованность жителей я уже написал; г) и так далее — тут могу отметить общее развитие региона и особенно — центра за последние 10 лет, что отражено во всех стат. отчетах.
Два небольших вопроса:
— оборудование в основном производят все же в Азии?
— что понимается под «развитая экосфера сервиса»?
azhumykin Автор
02.06.2015 21:53+3Если Вы имеете в виду серверное оборудование, то да, в большинстве своем в Азии.
Инженерное оборудование выпускается по всему миру. В рамках этого проекта большая часть инженерки произведена в Европе.
Развитая экосфера сервиса, это когда все компании, осуществляющие контрактное обслуживание ДЦ, а таких контрактов может быть ориентировочно от 20 до 50, находятся в непосредственной близости и, в срочном случае и специалисты и запчасти прибывают на площадку не позднее чем в 24 часа.
Что касается регионов России, эта информация может быть полезна для других, однако, честно и просто отвечая на Ваш вопрос, Яндекс не сделает ДЦ на БЦБК, потому что в настоящее время у нас нет открытых проектов по выбору новых площадок.
miga
02.06.2015 18:45Есть еще одна причина, по которой строить датацентр в Иркутске — это плохая идея. Так уж сложилось, что большинство пользователей интернета и Яндекса находятся в центральной части России, а от, скажем, Москвы до Иркутска — 4211 км по прямой, которые сигнал в оптическом кабеле проходит за 20 миллисекунд (это еще не учитывая задержек во всяких потрохах сетевого оборудования и проч). Таким образом, если у вас, скажем, бэкенд веб-приложения живет в иркутском ДЦ (или ходит в какой-то другой сервис там), пользователи из Москвы автоматически получат минимум +40 мс ко времени ответа (а скорее всего, еще больше — бэкенд в одно место сходил, в другое записал/прочитал с кворумом и т.д.). Так что даже при условии наличия идеальной инфраструктуры, бесплатного электричества, удаленные ДЦ — это большая головная боль для архитектуры и эксплуатации приложений, который в этих ДЦ крутятся.
Menaskop
02.06.2015 18:52+1Да, конечно. Это как раз фактор понятный и объяснимый: но недавно Яндекс.Деньги (понимаю, что это уже не совсем, а точнее — совсем не — Яндекс, но сервис все же связанный) анонсировали крупнейшую торговлю с Китаем. Да и вообще регион этим и жив, и развит. Можно было бы совместить приятное с полезным. Хотя, наверное, это уже совсем другая история.
В любом случае — спасибо за ответы. Пойду читать, как про персональные данные ответили :)
Zalina
02.06.2015 19:36+7Яндекс — пусть и не российская компания, но вполне на эту страну ориентированная
Как когда-то говорил iseg: «Есть компания, созданная русскими людьми на русские деньги, которая работает в Москве, в которой 2500 работникам платят зарплату, платят налоги с этой зарплаты; работающая в России и создающая продукт для России. Эта компания называется российской».Menaskop
03.06.2015 05:21+1Это как раз аргумент за, аргумент против. поэтому Яндекс — не совсем российская компания.
P.S. Ссылку не дает мне вставить _http://cache-novosibbln03.cdn.yandex.net/download.cdn.yandex.net/company/dopusk.pdf_
Plazmoid
02.06.2015 16:44-18Очень жаль, что русские деньги ушли финскому заказчику.
DikSoft
02.06.2015 18:28+9Хорошо, что успели. Рад за Яндекс. Молодцы!
Гораздо печальнее то, что «русский» подрядчик теперь, вместо работы над ошибками, зашлёт бабла в госдуру, чтобы такие случаи были в дальнейшем запрещены каким ни будь очередным идиотским законом «во благо или в защиту чего-то».azhumykin Автор
02.06.2015 22:09+2Мы готовы работать с российскими партнерами. Это даже было бы гораздо приятнее с точки зрения языка. Однако, наши дата-центры на сегодняшний день — это технологичные предприятия с высокими требованиями по качеству материалов, монтажа, пуско-наладки и последующего сервиса. Не будем стесняться — по уровню технологии это один из лучших ДЦ в мире. Компании, способные работать на таком уровне в России есть, но их количество исчезающе мало.
Cher
03.06.2015 22:03-5интересно кто минусует этот коммент и почему? что такого в том чтобы поддержать отечественного производителя? Яндексом пользовался только пробками, после финского ДЦ принципиально перехожу на Waze
alcanoid
02.06.2015 16:50+3Лоси, говорите? На той же точно географической широте, что и Мянтсяля, есть посёлок Лосево. Расположен он примерно на таком же расстоянии от Петербурга, что и Мянтсяля от Хельсинки. Почему же не там?
KulikovPavel
02.06.2015 17:03+1Смотрите ответ на первый комментарий от автора статьи.
alcanoid
03.06.2015 02:36А я не про Магадан, я про 50 км от Питера. Там всего перечисленного вполне хватает, как мне кажется.
petr_karpenko
02.06.2015 16:54+3Интересно было бы услышать, каким образом осуществляется управление уровнем влажности при такой схеме охлаждения?
azhumykin Автор
02.06.2015 17:05+1Опыт эксплуатации всех предыдущих ДЦ показал, что управление влажностью вообще не требуется, поэтому и в этом, и в последующих проектах наши проектировщики сознательно не указывают никаких требований. Оборудование без каких-либо проблем переживает как пониженную, так и повышенную влажность.
petr_karpenko
04.06.2015 10:25скажите пожалуйста, а что будет происходить почти при 100% относительной влажности, что судя по историческим данным для этого региона далеко не редкость? так и до появления конденсата недалеко :)
azhumykin Автор
04.06.2015 10:51+3Конденсат образуется при смешивании теплого влажного воздуха с холодным сухим (или поверхностью). Проект основывался на многолетней погодной статистике в данном месте. Таких условий в Финляндии не бывает. Серверное оборудование всегда теплее обдувающего воздуха, поэтому условий для достижения точки росы нет. В тех режимах, где достижение точки росы теоретически возможно, (зимой при сухом холодном воздухе снаружи ДЦ работает на переиспользовании теплого воздуха, и роса могла бы образовываться в гидроизолированной камере смешения), нам помогают два фактора: собственно движение воздуха, и то, что, в таком случае, абсолютная влажность не может повышаться по принципу работы — воздух внутри ДЦ дополнительно не увлажняется), соответственно абсолютная влажность горячего воздуха в камере смешения не никогда не выше абсолютной влажности внешнего воздуха.
DikSoft
02.06.2015 17:23+4Очередное качественное подтверждение того, что серьезный бизнес любит стабильность, а уж потом рискованные авантюры. Спасибо, было очень интересно.
TimsTims
02.06.2015 18:15+1Скажите, почему везде в других ДЦ применяется «окно ASHRAE», а у вас более широкий коридор? У вас другое оборудование, или в других ДЦ «сидят дураки», которые зря придерживаются 20-24градусов?
azhumykin Автор
02.06.2015 21:45+5Да, Яндекс использует специальное оборудование.
Использование стандарта вызвано какой-то целью. Те, кто его применяют лучше ответят, зачем они это делают. Скорее всего, чтобы было «как у людей», и, если ДЦ коммерческий, не добавлять заказчику страхов за его оборудование, если оно будет эксплуатироваться при +30. У нас таких страхов нет, сертифицироваться нам не надо, поэтому любые ухищрения для попадания в окно ASHRAE для нас не имеют смысла.
Откровенно говоря, мы не следим за развитием документов этой организации, однако, как нам известно, они выпустили (или собираются) обновленную версию стандарта, в котором это окно расширено.
emirochnik
02.06.2015 21:46+4Мы можем позволить себе использовать более широкий коридор, потому что совместно проектируем и дата-центры, и сервера. Наши сервера проектируются и тестируются под более высокие температуры, чем это обычно принято.
Коммерческие дата-центры имеют гораздо меньше влияния на оборудование, которое будет впоследствии установлено у них в машинном зале. Не думаю, что они могут позволить себе потерять клиента из-за того, что климат в ДЦ вдруг не будет соответствовать требованиям производителя оборудования.
IRainman
03.06.2015 12:38+1Поддержу ораторов выше, даже тут на хабре статья (к сожалению, не нашёл) как то была на тему того, что серверам и в «бане» при +30-35 окружающей среды хорошо, при этом жёсткие диски, а именно из-за них вся шумиха вокруг температуры, даже дольше работают в таких условиях. В тоже время стандарты нарабатываются годами (некоторые так вообще десятилетиями), а значит и изменения в них происходят не быстро.
P.S. с дисками ситуация в том, что деградации пластин при такой температуре всё равно не происходит, а вот механике, на которую и приходится большая часть фатальных отказов (плату то заменить можно даже в полевых условиях), работается гораздо лучше.
ibKpoxa
02.06.2015 19:44+2Расскажите об используемых серверах, насколько я понял что они или вашего или сделанного специально для вас проекта, но вот подбробностей не хватает.
emirochnik
02.06.2015 21:57+7Мы действительно проектируем и используем специальное серверное оборудование. Рассказ, какое оно и почему именно такое, требует отдельного поста. Когда будем готовы, опубликуем.
ServPonomarev
03.06.2015 11:06-4Вконтакт сначала тоже переехал на зарубежные сервера, потом стремительно поменял владельца и вот, наконец, у владельца таки отжали мобилу в США.
Сдаётся мне, некоторые аналогии провести можно. Good night, sweet prince.
mammuthus
03.06.2015 21:25Существуют российские сервера?
Chamie
08.06.2015 10:07Да, причём, во всех трёх смыслах — и принадлежащие российским резидентам, и производимые под российскими брендами, и спроектированные в России.
mammuthus
08.06.2015 11:44Ух ты. Какова доля? Интересует только последний вариант, конечно.
Chamie
09.06.2015 00:22Доля рынка или доля локализации? Первым даже не интересовался, второе — по-разному. Например, в статье по ссылке выше пишут «Все платы и все железо кроме процессора произведено и спроектировано в России!»
Forward25
03.06.2015 20:15а сколько всего получилась мегават мощность?
azhumykin Автор
03.06.2015 20:19+3В проекте четыре здания, каждое здание состоит из 5 модулей. Каждый модуль держит честные 2 МВт IT-нагрузки. Тут стоить отметить, что, в отличие от большинства (в основном коммерческих) ДЦ, КПД использования у нас очень высок. 80% мы считаем нормой.
Cher
03.06.2015 21:54-7фу в Финляндии. В топку Яндекс, теперь уж точно только гугловым буду пользоваться
tundrawolf_kiba
04.06.2015 15:20+2Т.е. один ДЦ, построенный в Финляндии — вас смущает, а то что гугл из США — не смущает? 0_о
azhumykin Автор
04.06.2015 16:28+1К слову, не забывайте, что и у компании на букву Г есть большой ДЦ в Финляндии, что подтверждает привлекательность региона. Финляндия в последнее время активно зазывает именно больших игроков ДЦ. Они прекрасно понимают свои преимущества для этой индустрии и учатся как их правильно подать.
azhumykin Автор
05.06.2015 10:30Как основной инструмент во время проекта использовался revit. В начале работы проектировщики, действительно, пользовались sketchup-ом.
ALTF13
09.06.2015 11:48+1На какое количество стоек рассчитан данный датацентр?
azhumykin Автор
09.06.2015 13:28В каждом модуле 144 стойки. 5 модулей в здании.
ALTF13
10.06.2015 00:54А зданий всего 4. насколько я понял. То есть 2880 стоек во всём ЦОДе, правильно?
azhumykin Автор
10.06.2015 11:01Оценочно, да. Однако, стойки меняются, и в следующих зданиях, возможно, количество изменится. Количество стоек на модуль определяется подведенной электрической мощностью, выбором вентиляторов (чем больше мощность, тем более громоздкой будет система охлаждения), и архитектурой построения внутренней сети. Так как проектируем с чистого листа, то с местом проблем нет. На сегодняшний день 144 стойки на модуль — оптимальное значение.
Rumlin
10.06.2015 15:32семи утра до трех-четырех дня. Представьте наше недоумение, когда российская команда, возвращаясь с обеда, видит дружную толпу строителей, уже закончивших на сегодня трудовую вахту.
Странно удивление этим фактом. 8 часов рабочий день + 1 час перерыв. Учитывая их широту — они эффективно используют световой день.
phprus
10.06.2015 18:07А в чем особая эффективность?
Учитывая их широту (на примере Хельсинки) у них самый короткий день длится 5ч 49м 22с (с 9:23 до 15:13), а гражданские сумерки продолжаются с 8:25 до 16:11, так что любой рабочий день, перекрывающий этот диапазон будет практически одинаково оптимальным с точки зрения работодателя по затратам на освещение. Как ни крути, в самый короткий день в помещениях 3 часа 11 минут искусственного освящения будут необходимы, не зависимо от того, с какой стороны светового дня их пришивать.Rumlin
10.06.2015 18:54Речь о строителях и работе на улице.
phprus
10.06.2015 19:09А на что это влияет?
Все равно суммарная протяженность светового дня и гражданских сумерек (в России считается, что во время гражданских сумерек при работе на улице допустимо не использовать дополнительное освещение, как у них не знаю) у них зимой меньше, чем рабочий день и требуется искусственное освещение, а затраты на него не зависят от того, в начале или в конце рабочего дня оно используется. А севернее и день будет короче.
Летом же у них световой день по 18-20 часов и что график с 6 до 15, и что с 10 до 19 — все при свете будет.Rumlin
10.06.2015 19:18На многое влияет. Попробуйте встретить рассвет и встретить закат. По-моему опыту было начинать работу до рассвета намного продуктивнее, чем заканчивать после заката.
phprus
10.06.2015 19:39А что мне пробовать, если в наших краях только так работать и можно?
Рабочий день 9 часов, а самый короткий световой день — 6ч 27м 34с. К слову, даже гражданские сумерки — это уже время до и после заката.
Так что, в любом случае в наших краях несколько недель приходится жить в таком ритме.
Но везде есть свою плюсы, например, гости из Ваших краев удивляются, как это так, март-апрель на дворе, снег кругом, но в 7 утра уже светло, а в 8 вечера еще светло :)
gorcer
Что вы думаете о строительстве дата-центра в Магаданской области? Там холодный климат и много дешевой электроэнергии (Две ГЭС).
azhumykin Автор
Для эффективного ДЦ необходимо также учитывать наличие высокоскоростных оптоволоконных линий достаточной полосы пропускания и развитой экосферы сервиса, например, квалифицированных специалистов для обслуживания, наличия представителей компаний-поставщиков оборудования, заинтересованности представителей региона в развитии и так далее. Не забывайте, также, что чем дальше отдельно стоящий ДЦ от своих собратьев, тем больше микросекунд понадобится на общение между ними, что, в конечном итоге, приведет к увеличению времени отклика на запрос пользователя.
Да, если выбирать только по климату, подойдет почти вся Россия. Мы рассматривали много потенциальных мест. К сожалению, количество регионов гораздо больше, чем число ДЦ, которые мы планируем построить.
KulikovPavel
По Вашим ощущениям, в процентном отношении, помимо перечисленных факторов, насколько существующие политическая, силовая и экономическая составляющие России повлияли на выбор региона?
Хочется понять, как живется сейчас крупному бизнесу.
azhumykin Автор
Тогда это вопрос не к нам :). Из перечисленных мы рассматриваем только ТСО — совокупную стоимость владения. События начала года, конечно, оказали влияние на этот показатель, но проект, по-прежнему, остается привлекательным.
Как видно и из других комментариев, многие ищут политическую подоплеку, но мы рады тому, что можем сконцентрироваться на инженерных задачах, а размер бизнеса позволяет для достижения лучших решений перешагнуть за границы государства. Не наоборот.
KulikovPavel
Дело, наверное, в том, что на непрофессиональный взгляд непонятно, почему ТСО в России (средняя зарплата 1135 долларов на 2012 год) может быть выше, чем в развитой Финляндии (2925 долларов). И хочется понять причины.
На это еще накладываются ожидания, что российская (условно голландская) компания будет развивать российскую экономику. Понятно, что рынок и свободное движение капитала, однако, жаль.
azhumykin Автор
Заработная плата специалистов не составляет значительный процент от стоимости владения. Основная доля приходится на цену электроэнергии. Именно поэтому мы инвестируем в собственные высоковольтные подстанции: при значительных вложениях они, тем не менее, быстро окупаются. Это не только Финляндия. В Рязанской области мы поступили так же, и в нашем следующем ДЦ мы снова будем строить собственную подстанцию.
Вся наша команда, построившая ДЦ в Финляндии будет развивать российскую экономику. Следите за новостями о новых проектах.
KulikovPavel
ЗП можно рассматривать не как прямые затраты для собственных специалистов, а как общий показатель стоимости стоительства, основных средств и материалов, в том числе инвестиций в собственные высоковольтные подстанции. По логике одну и ту же подстанцию дешевле построить в стране с более низкими зарплатами. Опять таки взгляд непрофессиональный. Я не понимаю пока, в чем ошибка.
azhumykin Автор
В нашем случае мы, скорее, похожи на розничных покупателей, которые рублем выбирают магазин, в котором тот же самый товар стоит дешевле, а квалифицированно ответить о разнице в ценообразовании смогут, наверное, аналитики и экономисты.
kibitzer
И главное, Лоси есть :)