«Протон» с Экспресс-МД1 и Экспресс АМ44 на борту

Наша спутниковая сеть пережила несчитанное количество мелких сбоев и аномалий в работе спутников. Экспресс-2 (отказ двигателей коррекции), Экспресс-АМ11 (разгерметизация), KazSat-1 (отказ системы управления), Экспресс-АМ2 (отказ системы поворота солнечных батарей), NSS-703 (полная выработка «рабочего тела» двигателей точной коррекции)… И да, Экспресс-МД1.

Был обычный рабочий день 4 июля 2013 года. Рутина: смотрели текущее состояние сети и каналов, работали с планами ближайших расширений и изменений, решали какие-то мелкие проблемы (на большой сети обязательно что-то происходит). Время шло к обеду, я решил пойти чайку налить. И тут краем глаза увидел кучу вывалившихся аварий на экране системы мониторинга.

Одновременное появление большого количества аварий или аварий по многим направлениям вполне может быть, например, ливнем на одной из центральных станций. Но тут-то я вижу, что одновременно рухнули каналы, приземляющиеся и в Улан-Удэ, и во Владивостоке.

Все несущие сначала просели, потом практически восстановились, а потом очень быстро пропали полностью. Это очень характерная картина для случая, когда спутник теряет ориентацию. Поэтому, набирая номер дежурной службы ГПКС, я уже готовился услышать худшее.

Немного о сети

Прежде чем продолжить рассказ, стоит пояснить, что спутники — это штучные изделия, производимые практически вручную, имеющие резервирование всех жизненно важных систем и стоящие безумных денег. Тем не менее всё, что может сломаться, сломается.
Все аварии и проблемы со спутниками можно очень условно разделить на две части: устранимые (но которые, тем не менее, могут привести к частичной потере работоспособности или функциональности) и неустранимые — те, которые приводят или могут привести к полной потере работоспособности (вплоть до потери или гибели всего аппарата).

Типичная устранимая авария — это выход из строя блока или системы, для которой предусмотрен штатный резерв. Понятно, что возможности резервирования не безграничны. И если, к примеру, последовательно выходят из строя основной и резервный передатчики, то стволы, обслуживаемые этими передатчиками, прекратят работу. Но все равно это лишь частичная потеря функциональности, ведь остальные стволы, работающие через другие передатчики, продолжат нормальную работу.

Наиболее распространенные аварии, которые приводят (или могут привести) к полному выходу из строя, — это проблемы с двигателями и системами ориентации, проблемы системы энергоснабжения и проблемы системы управления спутника. И визитной карточкой практически всех подобных аварий является «закручивание спутника». В нормальном состоянии спутник направлен точно на Землю. Отслеживание положения — задача системы стабилизации, которая определяет положение спутника относительно Земли и звезд. Эта же система управляет гироскопами, которые, собственно, и обеспечивают постоянную стабилизацию спутника в трех плоскостях. Представим теперь, что на борту ненадолго «мигнуло» питание. Что произойдет дальше? Правильно, гироскопы начнут тормозиться. А спутник при этом, согласно третьему закону Ньютона, начнет проворачиваться, причем практически непредсказуемо. И это само по себе уже почти катастрофа: теряется «командный линк» (антенна ведь отворачивает от Земли), прекращается подача энергии с солнечных батарей (они же постоянно следят за Солнцем)…

Понятно, что при «проворачивании» также прекращают работу все сервисы. Причем даже не из-за того, что антенны теперь смотрят не туда, куда надо, а из-за того, что при подобных нештатных ситуациях автоматика спутника прежде всего отключает всю полезную нагрузку, стараясь максимально сберечь заряд аккумуляторов.

Снова 4 июля 2013 года

ГПКС подтвердил наличие проблем со спутником, но никакой конкретики не было (официальное подтверждение аварии и ее предположительные причины были озвучены только дня через три). По неофициальным каналам была подтверждена моя догадка о потере спутником ориентации.

Но о перспективах восстановления контроля над спутником информации еще ни у кого не было: прошло слишком мало времени, а на оценку причин, возможных последствий и плана возможных действий нужно минимум несколько часов.

Мы начали потихоньку собирать в одно место всю информацию: станции и их каналы, оборудование на этих станциях и его возможности, способность антенн повернуться с позиции 80Е на другие позиции, возможные точки приземления, наличие на них нужного оборудования, возможные сценарии перехода, полоса и энергетика, требующаяся для включения каналов Экспресс-МД1… По счастью, на этом спутнике у нас был только один транспондер, тем не менее, там работало 12 земных станций спутниковой связи, приземляющихся на две центральные станции: Владивосток и Улан-Удэ. И нам надо было придумать, куда и как распихать эти каналы в имеющуюся у нас емкость на других бортах.
У нас достаточно большая спутниковая сеть. И емкость под нее мы арендуем не «поканально», а берем у владельцев бортов достаточно большими кусками. Поэтому практически всегда у нас есть некий запас по емкости: полоса, которая на данный момент не занята каналами. Но во-первых, подобных «излишков» не так уж и много (дорого ведь!), а во-вторых, почти всегда эта свободная емкость — не единый блок, а кусочки полос между работающими несущими. Картинка типичной загрузки транспондера выглядит примерно так:



Каждая «палка» — это одна несущая (или один канал, если на линии работают модемы с корреляционным уплотнением), ширина (и высота) которой зависят от скорости канала, используемой модуляции и кодека, размера антенн ЗССС. Можно ли в этот ствол засунуть еще, скажем, треть от того, что там уже есть? Ну, если очень постараться… Но как минимум для этого надо собрать все пустоты в одно место. Далее, если на этом спутнике у нас есть несколько стволов, и в других стволах тоже есть хоть сколько-то пустого места, можно перебросить несколько несущих/каналов из ствола в ствол (опять же собирая все пустое место в пригодные для использования куски). Но тасовать каналы по стволам можно, если это позволит сделать оборудование обоих ЗССС — тут ведь тоже есть ограничения.

А если не позволит, то, может, есть другая станция, которая смотрит на этот же спутник, у которой нет таких ограничений и куда можно приземлить канал (с последующим его возвратом по земле)? А может, в этом или в соседнем стволе можно выиграть еще немного полосы, за счет «обмена полосы на энергию»? Или, может, есть способ быстро увести одну ЗССС с большим количеством каналов — с этого спутника на какой-то другой, а на ее место утащить пострадавших? И если можно, то какую, как и куда приземлять, найдется ли на новом месте необходимое оборудование, будет ли емкость в наземках для включения/возврата сервисов… Все эти варианты нужно было придумать, рассортировать, проанализировать и просчитать, продумать все многоходовки типа «если сделаем так, то получится вот так», а «если так не получается, то вот так, так и эдак». Одним словом, нам было чем заняться.

На все эти «игры в пятнашки» у нас ушло более суток практически непрерывной работы. И в итоге к вечеру 5 июля у нас был первый вариант плана спасения. По этому плану основная часть каналов уводилась на Экспресс-АМ33 (с разворотом ЦЗССС Улан-Удэ с МД1 на АМ33). На одной из точек было две антенны (С/Экспресс-МД1 и Ku/Ямал-301), это направление уводилось на Ямал с одновременным переприземлением его из Улан-Удэ в Иркутск. Еще одна станция уводилась на NSS-9 с переприземлением из Владивостока на Хабаровск. И еще одна отключалась полностью (трафик переводился на очень вовремя подошедшую релейку, ввод в эксплуатацию которой ожидался буквально на днях). При этом на нескольких станциях нужно было поменять модемы для возможности работы в режиме корреляционного уплотнения. Тогда же был сделан пробный разворот Улан-Удэ на Экспресс-АМ33. Нужно было убедиться, что у нас хотя бы «в центре» поворот и дальнейшая работа на Экспресс-АМ33 пройдет без сюрпризов и заботливо «разложенных граблей».

6-го числа ГПКС запустил в работу аварийный Экспресс-АМ2, стоявший в этой же точке. Сделано это было прежде всего для спасения ТВ-вещания. Сам Экспресс-АМ2 был отключен в свое время из-за проблем с солнечными батареями (да-да, тот самый, с которого нам тоже пришлось убегать). Поэтому включался он на очень непродолжительное время и на меньшей мощности. Тем не менее это было явно лучше полного отсутствия связи, поэтому Улан-Удэ мы на какое-то время вернули обратно. И начали готовить неиспользуемую на тот момент антенну Москвы, чтобы обеспечить временное приземление каналов ЗССС, остающихся на позиции 80Е (Экспресс-АМ22), после того как ЗССС Улан-Удэ перестроится на Экспресс-АМ33. Ну да, лучший вариант — это повернуть все ЗССС сразу. Но ведь до них еще как-то добраться надо…

8 июля: немного математики и рулетка

К 8 июля была закончена проработка, подготовка и сборка наземных подключений для переприземляемых каналов, были еще раз пересчитаны наличествующие людские ресурсы («под ружье» были поставлены все, кто хоть раз видел спутниковую тарелку), определены их маршруты следования (для Сибири, где половина точек это вахтовые поселки, это очень актуально). Народ побежал за билетами. Самая длительная поездка (с учетом времени возврата) составила две недели. Тогда же были проведены работы по расчистке и высвобождению полосы на спутниках, куда предстояло перевести станции: сборка всех пустот в один кусок, переводы из ствола в ствол, изменение параметров каналов, изменение частот — и снова сборка пустот в один кусок. Множество итераций — только потому, что все перестановки, подвижки и перепереконфигурации необходимо было сделать с минимальными перерывами в работе перемещаемых каналов. Клиентов, использующих эти каналы, уж точно не сильно интересует, что погиб соседний спутник.

Ну и самое главное — планы и инструкции. Поиск спутника, наведение ЗССС на борт и переконфигурация оборудования — несложные, но все-таки специфичные задачи. И для их выполнения требуются не только знания и опыт, но еще и приборы и инструменты. По факту получалось, что ряд станций придется крутить людям, у которых чего-то, но не хватает (есть опыт, но нет приборов, или наоборот). Непосильная задача? Вовсе нет: в данном случае сильно помогало то, что ЗССС уже были настроены, только на другой борт. То есть не надо было шарить по всему небу в поисках спутника, нужно было всего лишь очень точно сместить антенну на нужное количество градусов (ну и потом подстроиться поточнее, уже под нашим руководством и по работающему каналу). Вы не поверите, но для точного «смещения» даже относительно большой антенны по такой методике вполне достаточно обычной рулетки! Ну и четких указаний: что и как промерить, где поставить риски, как крутить антенну на эти риски… Тут важно все, вплоть до порядка отпуска и затяжки гаек. Для каждой ЗССС была подготовлена своя инструкция применительно к типу используемой антенны и установленному оборудованию: с картинками/фото, табличками смещений, целеуказаниями (хотя бы для проверки или «если что-то пойдет не так»), табличкой изменяемых параметров конфигурации и пр.

9–15 июля: восстановление

Последний канал был восстановлен 15 июля. Много писанины, очень много нервов, к концу дня горло уже дерет от постоянных телефонных переговоров. А кое-кому — всю ночь в самолете, с самолета в вертолет, потом в вахтовку, потом вслепую настроить антенну — и снова в вахтовку, вертолет, на другую станцию…

P.S. «Я тебе говорил: место проклятое»

Немного мистики. Точка 80 градусов восточной долготы — однозначно какая-то несчастливая для России. Судите сами: последний спутник, который без аварий и приключений отработал в этой орбитальной позиции от и до (и даже заметно больше), — это советский «Горизонт». А дальше:

• Экспресс-2, запущенный в эту точку на смену «Горизонту», — отказ двигателей точной коррекции, невозможность стабилизации спутника на орбите. Сам спутник проработал еще очень долгое время в режиме inclined orbit (ЗССС, работающие через такие спутники, обязательно должны иметь систему автосопровождения за спутником);
• Экспресс-АМ2, пришедший на замену Экспресс-2, — отказ механизма управления солнечных батарей, невозможность круглосуточной работы спутника под нагрузкой. Экстренная замена на «малый спутник» Экспресс-МД1;
• плановую замену Экспресс-МД1 должны были сделать полноценным тяжелым спутником Экспресс-АМ4. Отказ разгонного блока, угроза столкновения с Экспресс-МД1 (тогда еще работающим), потеря спутника;
• после неуспешного вывода Экспресс-АМ4 ему вдогонку был запущен Экспресс-АМ4Р. Взрыв 3-й ступени ракеты-носителя при запуске.
• Ну и, наконец, Экспресс-МД1 — потеря ориентации, прекращение работы.