В дата-центр для промышленного майнинга сразу не зайдешь. Здесь, как в космическом корабле, предусмотрен шлюзовой отсек. Если соединить лестницу и машинный зал одной дверью, то поток воздуха снесет все, что плохо лежит.

Перед поездкой мы думали, что увидим все оборудование прямо в контейнере, готовом к транспортировке в любую точку мира. Но пока что ферма работает в помещении. Поэтому начнем мы с рассказа про инфраструктуру в нынешнем виде, а потом — про то, как New Mining может создать такую же в чистом поле.

Оборудование New Mining размещается в небольшом зале. На первый взгляд кажется, что этот хаос из проводов не поддается никакой логике, но на самом деле схема здесь несложная. В шкафах расставлено множество майнеров — устройств на основе интегральных схем специального назначения (ASIC). По сути, эти схемы близки к обычным процессорам, но умеют выполнять только определенные вычисления — в данном случае, необходимые для майнинга криптовалют. В этих вычислениях АСИКи достигают КПД в районе 98% — это в 2-3 раза выше, чем у видеокарт, не говоря уже об обычных процессорах.

New Mining использует три модели АСИКов: Canaan AvalonMiner 741, 821 и Bitmain Antminer S9.

Canaan AvalonMiner 741 и 821 — это черные монолитные блоки, последовательно соединенные в ряд. У них нет дополнительной начинки, есть только то, что необходимо для вычислений. Цепочка «авалонов» через конвертер по обычному microUSB-кабелю соединяется с контроллером и передает ему результаты вычислений — хеши.

На терминале есть вся информация по устройствам, а также данные по общему доходу. Пока что в шахтах New Mining добывают только BTC (биткойны) — самую востребованную и распространенную криптовалюту.

Фермы постоянно передают результаты своих вычислений в интернет. Учитывая количество устройств, можно подумать, что для этого нужен широкий канал связи. На самом деле ферма New Mining суммарно требует не более 50 Мбит/с в самые горячие часы. Такую скорость можно обеспечить без всяких проводов.

Сложность обслуживания инфраструктуры напрямую зависит от сложности самой инфраструктуры. ASIC-ферма устроена гораздо проще, чем обычный ЦОД, — с ним мы бы закопались еще на описании стоек. Центры обработки данных два-три раза зарезервированы по всем компонентам: имеют несколько провайдеров связи, поставщиков электричества и ГСМ для аварийных генераторов, задублированы системы безопасности, видеонаблюдения и многое другое.

Для ASIC-ферм ничего подобного не нужно. Достаточно третьей категории надежности электроснабжения — как для жилых домов. На случай перепадов и помех в сети есть реле напряжения. Оно фиксирует нестабильность в электропитании и мгновенно обесточивает все оборудование, пока не восстановится нормальное напряжение. Затем инженеры New Mining осматривают все системы, проверяют, все ли в порядке, и включают питание вручную.

Кошмарам про аварии на ЦОД здесь не место — на ASIC-фермах не хранятся никакие данные, все результаты вычислений сразу отправляются в сеть. За все время работы ферма New Mining простаивала из-за электричества лишь несколько минут — был скачок со стороны подстанции. Тогда реле напряжения сработало как полагается, ответственный инженер перезапустил питание и проблем не возникло.

С одной стороны, ASIC греются больше, чем обычные процессоры. С другой стороны, их площадь тоже больше, так что тепло рассеивается лучше. После экспериментов с разными типами охлаждения в промышленном майнинге пришли к выводу, что эффективней всего обходиться обычным воздухом.

Весь зал фермы New Mining — это большая вентиляционная камера. Воздух поступает через оконные проемы в уличной стене. Они плотно заткнуты фильтрующим материалом.

Просочившись через стойки с оборудованием, теплый воздух выходит с другой стороны зала, где ему помогает пара больших вентиляторов.

В условиях, когда оборудование резко нагревается по отношению к окружающей среде, возникает риск образования конденсата на электронных компонентах — проблема «точки росы». Чтобы этого избежать, в New Mining перед запуском майнеров герметизируют помещение и прогревают его тепловыми пушками. В таком случае конденсат точно не образуется.

Если естественного охлаждения недостаточно, на АСИКах увеличивают скорость работы вентиляторов. Постоянная и предсказуемая нагрузка кристаллов позволяет легко прогнозировать изменение их температуры и избегать проблем.

Единственная альтернатива естественному обдуву, которую всерьез рассматривали в New Mining, — помещать майнеры в емкости с трансформаторным маслом. В нем короткого замыкания не происходит, так как масло является диэлектриком. При этом тепло рассеивается эффективней, чем при воздушном охлаждении. Но появляются новые проблемы. Нужно охлаждать масло, закупать помпы, чиллеры и гору оборудования. В итоге эту идею забросили.

Из остальных обслуживающих систем для промышленного майнинга наиболее критична пожарная. Принцип у нее тот же, что и у электропитания: лучше вообще не рисковать. При срабатывании сигнализации прекращается вся подача питания, помещение герметизируется и внутрь поступает газ, вытесняющий кислород — хладон.

Для защиты от недоброжелателей фермы устанавливают в огороженном периметре, с охраной, видеонаблюдением, высокими заборами и системой контроля доступа. Желательно подальше от дорог и жилых объектов — где-нибудь в промышленной зоне.

Все, что мы показывали выше, умещается вот в такую 40-футовую коробку. Длина — около 12 метров, ширина и высота — примерно 2,5 м. На первый взгляд, перед нами стандартный морской контейнер, но New Mining сделала из него кое-что поинтересней.

Контейнер от New Mining позволит размещать оборудование в любой подходящей климатической зоне. В промышленном майнинге такие зоны определяются по нескольким факторам. Учитываются цены на электричество и его доступные объемы — здесь у ASIC-ферм аппетиты не ограничены. А также важна безопасность — например, в городах потенциал у систем электроснабжения большой, но тесное соседство с людьми может привести к неприятным инцидентам. Пока что ферма New Mining развернута в одной из московских промзон, но в будущем все оборудование вместе с контейнером переедет подальше от больших городов.