Привет, Хабр! На связи снова Александр Токарев. И это третья часть из серии статей о том, почему в космосе нет дата-центров.
Во второй части мы разобрались, что главные барьеры для космических ЦОДов — вовсе не процессоры, а энергия, охлаждение, радиация и отсутствие устойчивых сетей. Но пока проекты с «настоящими» дата-центрами остаются в рендерах, в космосе уже крутятся рабочие вычисления. Давайте посмотрим, что из этого реально работает сегодня и какие горизонты впереди.
Итак, на первый взгляд, кажется, что звёзды сошлись:
есть тяжёлые ракетоносители
работает оптическая связь
Starlink каждый день гоняет внутри себя в космосе 42 петабайта данных
развиваются сборка и космическое обслуживание на орбите
Можно хоть завтра собирать новый ЦОД. Но всё упирается в энергетику.
Планы по реакторам
Россия, когда-то лидер в этой теме, закрыла проект «Топаз» — небольшой термоэмиссионный реактор на 6 кВт. Он весил 1,2 тонны и мог работать всего год.
Следующее поколение давало величины питания, на которых можно было крутить что-то типа дата-центров. Но пока только на бумаге:
Эльбрус — термоэмиссия, 200/400 кВт, срок службы 20 лет, масса 7 тонн. Не существует.
Зевс — паровая турбина на 1 МВт. Не существует.
Я специально заглянул в научную литературу — например, в статьи 2005 и 2016 годов (Овчаренко, Забудько, Ионкин и др.) о концепции ЯЭУ «Эльбрус-400/200». Это вдумчивые, серьёзные материалы с конференций по ядерной энергетике в космосе.
Тема, конечно, секретная, но, тем не менее, не выглядит так, что этим активно занимаются.
Аварии реакторов
У ядерной энергетики в космосе есть тёмная статистика:
США — 2 аварии РИТЭГ
СССР — 6 аварий термоэмиссионных реакторов
Получается, что каждый пятый реактор, который запускала Россия, в итоге падал на Землю.
Самый известный пример — спутник «Космос-954», который рассыпал радиоактивные обломки над Канадой. На фото слева видно, как канадцы выковыривают плутоний из снега.
Поэтому скорее всего дата-центры будущего в космосе будут размещены на так называемой солнечно-синхронной орбите (SSO), которая позволяет держать аппарат всегда освещённым и игнорировать тени Земли.
Сейчас проектов по этой теме — хоть отбавляй: Axiom, Lonestar, Ascend, StarCloud, SpaceBelt и многие другие. Кто только ни мечтает сделать космический дата-центр.
Европа оправдывает их экологией: дата-центры в космосе — это меньше выбросов. Но аргумент сомнительный, ведь ракеты и сами прекрасно «портят» атмосферу.
Axiom заявляет, что сделает дата-центр между низкой околоземной орбитой и геостационаром, а также снабдит его ретрансляционной сетью, но в реальности…
На миссии Axiom-1 они доставили на МКС жёсткий диск Snowcone от Amazon, который умел немного процессить данные на себе. Пообещали в будущем на своей станции поставить 12-ти юнитовый шкаф и интегрировать его с группировкой Kepler — опять же, Remote Edge Compute. Это вряд ли мощнее китайской системы «Созвездие трёх тел», о которой пойдёт речь дальше. Кстати, Amazon вскоре снял этот жёсткий диск с производства.
Космические ЦОДы на рендерах и в реальности
На Хабре можно встретить немало «инновационных» проектов. Вот пример одной из концепций ЦОДа:
Электропитание — термоэмиссионный реактор
Красиво звучит, только этих реакторов не существует. Точнее, существовали, но каждый пятый заканчивал аварией и служил всего год. Когда рисуешь рендеры, лучше заглядывать в первоисточники.
Рабочая нагрузка — 14 модулей по 100U
Звучит амбициозно.
Охлаждение — элементы Пельтье
А кто будет охлаждать сами элементы Пельтье в космосе?
Защита от радиации — контур охлаждения
Тут всё логично: вода действительно неплохо спасает от радиации.
Другой проект — StarCloud. Тут амбиции ещё больше.
Ребята предлагают вытащить батарею 4х4 км, которая даст 5 GW энергии, поставить 10 тысяч юнитов, низкотемпературный радиатор 40C, а от радиации спасаться тоже жидкостным охлаждением.
Предполагаемые характеристики:
Электропитание — солнечные батареи 4×4 км, 5 GW
Немного математики: в идеале получится около 4 GW, реально — ближе к 3 GW на срок службы или при замене (и то до деградации батарей).
Рабочая нагрузка — 10 000 1U серверов
Очевидно, что никакие 10 тысяч юнитов туда физически не влезут.
Охлаждение — низкотемпературный радиатор 40°C
Авторы забыли, что охлаждать придётся и сами солнечные батареи. Для этого нужен высокотемпературный радиатор, которого пока не существует в природе — минимум 300×300 м, разогретый до 190°C.
Защита от радиации — контур охлаждения
Водичка — всё хорошо.
Амбиции впечатляют, но авторы проекта утверждают, что космический ЦОД обойдётся в 20 раз дешевле наземного. При этом считают, что бэкап по питанию не нужен, потому что Солнце светит всегда, но это не так.
Я посмотрел и на российские стартапы. Доверие к ним примерно на том же уровне.
Большинство строят планы на метриках дистанционного зондирования Земли. Но если заглянуть в открытые тендеры на Госуслугах, то видно, что государство тратит на это в 50 раз меньше, чем закладывают расчёты стартапов. И это, мягко говоря, грустно.
А что в науке
Наука — это отражение того, что происходит на самом деле. Если посмотреть на динамику публикаций, видно закономерность:
когда появился cloud — все говорили про облака
тему Edge поднимают регулярно
про дата-центры в космосе научные статьи начали выходить совсем недавно
Наука фиксирует повестку: что появляется в статьях, то начинает происходить в космосе.
Если копнуть глубже и открыть сами статьи про космические дата-центры, там нас встречает один и тот же мужчина:
Т.е. фактически большинство статей от одного исследователя, что не подтверждает гипотезу о популярности темы в научном сообществе.
Вычисления в космосе
Если подытожить, то реально работает в космосе сегодня:
Edge-Compute
Software-Defined-Satellite
Remote Edge-Compute
Пример 1. PlanetLab Pelican-2
Тяжёлый аппарат, у которого размеры уже дают пространство для серьёзных вычислений:
Масса: 120 кг
Солнечные батареи: 600 Вт
Энергопотребление около 60 Вт на GPU
EDGE computing
NVIDIA Jetson
Точную модель Jetson разработчики не раскрывают, но по энергопотреблению можно предположить, что это Orin Industrial с производительностью до 278 TOPS, при этом оснащённый различными видами акселераторов. Отличная рабочая машина, которая может стабильно существовать на орбите.
Пример 2. Спутники Spire
Это классика сочетания Edge computing + Software-Defined-Satellite с характеристиками:
У них тот же Jetson, но производительность где-то в 250 раз ниже. Зато открытость на максималках: можно писать свой код и запускать его прямо на спутнике.
Как это работает физически
По сути у Spire можно выполнять обыкновенный Linux’овый exe-файл, построенный на базе их SDK. Вы пишете код, отправляете его через их REST API на спутник, задаёте окно запуска. Если всё совпало, он атоматически запускается, а результаты через какое-то время падают в S3 папку на AWS.
Что мне нравится, ребята максимально открыты к тому, что у них живет на спутнике, и можно заглянуть в конфигурацию. Видно, что обработка видео, например, у них работает на Ubuntu, а Software-Defined Radio крутится на кастомном дистрибутиве на базе Yokto.
Созвездие трёх тел
Китайская программа с названием «Созвездие трёх тел» официально позиционируется как аппараты для распределённых вычислений для будущих спутников дистанционного зондирования Земли. Но если копнуть глубже и долго читать китайские источники, похоже, что это аппараты, оснащённые рентгеновскими телескопами.
Заявленная мощность — 774 TOPS, что где-то втрое больше, чем у PlanetLab Pelican. По плану на орбите должно оказаться 2800 КА весом 250-300 кг каждый. Пока же подняли всего 12.
Проект Китая — оптимистичный вариант
Попробуем применить простую арифметику:
Ракета: Long March 2D с грузоподъёмностью от орбиты 1300–3500 кг
Предположим, космические аппараты доставляют на НОО (низкую околоземную орбиту). Делим 3500 кг на 12 аппаратов.
Масса КА: 292 кг
Полезная нагрузка — около 87 кг, то есть где-то 6U, что соответствует 3 кВт мощности.
Для спутника весом 300 кг средний размер батарей — около26 м².
Если взять оптимистичный вариант с последним поколением батарей — 250 Вт на м² (в реальности 70–80), получаем максимум 6 кВт, реально где-то 4 кВт. С учётом служебных систем остаётся максимум 3 кВт, а реально — 2 кВт. То есть при желании можно было бы затащить туда 3 Nvidia A100, а это примерно 1800 TOPS.
И почему-то журналисты говорят, что все земные дата-центры под угрозой. Но 2800 спутников × 3 GPU = 8400 видеокарт. Даже когда все космические аппараты будут выведены — это ни на что не влияет.
Для сравнения: у того же CoreWeave (американская компания, малоизвестная широкой публике, однакоменно на их мощностях учится OpenAI) стойки на 130 кВт с жидкостным охлаждением. Одна такая стойка потребляет столько же, сколько вырабатывает МКС. А в планах — 250 000 видеокарт до конца 2025года.
Поэтому картина такая: про Китай толком ничего не понятно, зато понятно, что в России.
А что в России
В 2014 году в Сколково заявляли: будем делать ЦОДы в космосе. Звучало классно.
Прошло десять лет. Я в этом году был на двух топовых конференциях по космосу — Королёвские чтения и «Молодёжь. Техника. Космос». Ни одного упоминания Edge, ни слова про космические дата-центры.
Лидером в российских космических датацентрах является компания RUVDS. По QR можно зайти на сайт их дата-центра, развёрнутого на спутнике.
На фото справа — микроконтроллер ESP32, который работает на российском космическом «ЦОДе».
Команда развивается и уже запартнёрилась с компанией «Пятое поколение». В этом году планируют запустить новый ЦОД в формате TriSAT — интересный формат, фактически развернутая книжка, где будет находиться новая нагрузка.
Новая нагрузка для российского космического ЦОДа, судя по публичным источникам — это Raspberry Pi Zero. Миниатюрный одноплатный компьютер на Linux.
Вычисления в космосе: что реально работает
На самом деле, в космосе уже есть всё по части вычислений:
Бортовая аппаратура для специализированных приборов
Бортовая вычислительная машина
Edge-compute
Software-Defined-Satellite
Remote Edge-compute
Не хватает одного — General Purpose Computer. Посмотрим на все эти параметры в сравнении:
Commodity hardware
Только в дата-центрах стоит обычное железо (и будет стоять). На всех остальных системах — специализированные устройства вроде того же Orin.
Длительность работы ПО
Важно понимать, сколько времени работает нагрузка на космическом аппарате. На Software Defined-Satellite и Remote Edge она актива только то время, которое позволил работать шедулер.
Автор и место запускаемой нагрузки
Кто пишет нагрузку? В Edge это делают разработчики космического аппарата, и работает она только на видеокамере, например. В Software-Defined-Satellite можно писать свой код для движков, радио, камер опять-таки, но не для любых подсистем. А в Remote Edge Compute — тоже пишется код, но это всегда очень специализированные сценарии, привязанные к паттерну использования. Чаще всего это ERS: Earth Remote Sensing — то есть на спутник вы отгружаете очень специализированный код. А вот в дата-центре запускается что угодно.
Работа в рамках задачи одного аппарата
Только ЦОДы в космосе могут давать нагрузку для абсолютно разных группировок, и эта нагрузка не ограничена.
И финальный парадокс
Именно потому что ЦОДы такие классные и универсальные — их до сих пор в космосе нет.
Выводы
Настоящая проблема космических дата-центров — сетевая доступность
Достижение задачи ограничивают не вычислительные мощности, а отсутствие нормальной сетевой инфраструктуры. Если бы существовали устойчивые сети ретрансляторов с near-realtime доставкой данных до Земли, потребность в ЦОДе на орбите была бы куда меньше.
Дата-центры в космосе — неизбежность
Рано или поздно они появятся, вопрос только в том, как сбалансировать ключевые метрики: PUE (Power Utilization Efficiency) и PF (Payload Fraction).
PUE показывает, насколько эффективно расходуется энергия: какое соотношение между общим потреблением ЦОДа и тем, что достаётся вычислительному оборудованию.
PF — доля полезной нагрузки в массе космического аппарата. Сегодня это примерно 30%. Всё остальное занимают системы питания, ориентации, терморегулирования и связи.
Горизонты по срокам
1–2 года: в ближайшие 1−2 года космических аппаратов без Edge не останется
~3 года: сформируются группировки специализированных remote edge-вычислений
20–30 лет: полноценные дата-центры в космосе
Изучайте программирование и железо
Космические вычисления — это реальный инженерный драйв (экономный к ресурсам код, другие подходы к параллельной обработке данных, иной уровень ответственности), можно прямо сейчас запускать код на орбите. Просто другой мир.
Не увлекайтесь DIY
Если не хотите повторить судьбу канадцев, ни в коем случае не пытайтесь собрать ядерные источники питания в гараже. Это плохая идея.
Скрытый текст
Узнать больше о технологиях, которые позволяют одновременно обслуживать многие тысячи и миллионы пользователей, можно будет на конференции по обмену знаниями HighLoad++ в ноябре. Это крупнейшая профессиональная конференция для разработчиков высоконагруженных систем. Не упустите шанс забронировать билет!