Ошибка одного человека, пропущенное резервное копирование, полная перезагрузка, организационный хаос, секретность и саморегулирование

Начинают проявляться ключевые детали касательно отказа европейской спутниковой навигационной системы "Галилео", произошедшего этим летом, — и они оказываются достаточно неприглядными.

Один из руководителей проекта пытался обвинить одного человека за отказ всей системы, но источники внутри проекта предупреждают, что также стоит винить и организационный хаос, чрезмерную секретность и необычные практики саморегулирования.

Вместе с этими проблемами битва европейских организаций за контроль над спутниковой системой и задержка независимого отчёта по июльскому затыку говорят о серьёзных проблемах европейского конкурента американской GPS. Возможно, системе предстоит давно назревшая встряска.

В середине июля агентство, отвечающее за работу сети из 26 спутников, европейское агентство систем глобальной спутниковой навигации EGSA, предупредило об «ухудшении работы сервиса», но пообещало, что все проблемы будут быстро решены.

Однако решить их не получилось, и даже шесть дней спустя система не просто не работала – её показания становились всё менее точными, а местоположение спутников, о котором они сообщали, кардинально отличалось от реального. Это была серьёзная проблема для системы, чья единственная цель – обеспечивать данные о позиционировании с погрешностью до 20 см.

Миллиарды организаций, частных лиц, телефонов, приложений и прочего по всему земному шару просто перестали пользоваться «Галилео». Сложно представить больший бардак, разве что если бы эти спутники попадали на Землю.

Но, несмотря на отказ сервиса и обильную критику ответственных лиц за неспособность объяснить происходящее, агентства и организации, занимающиеся этим проектом, практически не давали никакой информации.

Расследование

В сентябре было объявлено о том, что намечается независимое расследование причин происшествия – в основном, из-за отсутствия информации. «Предварительные рекомендации» расследования обещали дать к октябрю. И до сих пор никаких сведений.

Затем в начале ноября человек, отвечающий за работу всей системы, заместитель директора Пьер Делсо, нарушил молчание на встрече европейских чиновников по космической политике в Вашингтоне.

Во время сессии вопросов и ответов после презентаций Делсо спросили о причинах отсутствия информации, непрозрачности, а также об отсутствии резервной системы. Он взорвался, утверждая, что проблему вызвал один человек, допустивший ошибку, и не сумевший правильно выполнить действия по её устранению. Он сказал, что эта ошибка была «неприемлемой» и заявил, что она «никогда не повторится».

Делсо ничего не сказал по поводу резервных копий или отсутствия информации и прозрачности. Но другие европейские чиновники тоже не стали отвечать на эти вопросы, указав, что о проблеме было рассказано на недавней конференции – именно после этого некоторые любители космоса зарылись в информацию с сайта Института навигации, со страницы конференции в Майами, проходившей в сентябре.

Одним из этих исследователей был Берт Хьюберт, эксперт по DNS, заинтересовавшийся неразберихой, творившейся с «Галилео» этим летом, и решивший создать свой независимый ресурс для отслеживания состояния системы. В начале ноября Хьюберт опубликовал отчёт о том, что он обнаружил с момента начала своего расследования, перечислив некоторые организационные и политические проблемы, существующие у «Галилео».

Никаких цифр

Среди самых интересных деталей, связанных с «Галилео», есть и такая: из 26 находящихся в космосе спутников работает только 21; при этом для достижения запланированной точности системе требуется не менее 24 спутников.

В следующем году планируется вывести дополнительные спутники, но вероятность их выведения на орбиту постоянно уменьшается, особенно ввиду распрей между Европейским космическим агентством и Евросоюзом.

ЕКА создало систему «Галилео» и работает над обновлённой версией системы, для которой необходимо выводить новые спутники. Но из-за политики ЕС, ухудшившейся вследствие Брекзита, ЕС хочет добиться более строгого контроля над этим проектом.

ЕС собирается создавать новое европейское космическое агентство, EUSA, что, по сути, будет простым переименованием существующего агентства систем глобальной спутниковой навигации. А ещё одно космическое ведомство, GSA, станет агентством Евросоюза по космической программе, и ЕС скоро назначит нового директора по «оборонной промышленности и космосу». Короче говоря, идёт очень много политических пертурбаций, что приводит к появлению разнообразных проблем.

Краткая сводка

И в процессе всего этого происходит полный отказ флагманской европейской системы спутниковой навигации, «Галилео», причём никто не может понятным языком объяснить, что и почему случилось. Вот, что нам известно на основании отчёта, составленного по мотивам сентябрьской конференции в Майами и дополнительных деталей, раскопанных Хьюбертом и другими.

• Туманные отчёты команды «Галилео», где утверждалось, что всё хорошо и не о чем беспокоиться, относились к тому факту, что физически все спутники были в рабочем состоянии (за исключением тех, которые не работали), и на ожидаемых позициях. Иначе говоря, с железом на орбите всё было нормально; спутники ни с чем не столкнулись и никуда не разлетелись.
• Реальная проблема почти наверняка связана с ПО, решающим сложную задачу синхронизации всей системы. Довольно сложно соблюдать наносекундную точность атомных часов, которыми оборудованы спутники, летающие на разных орбитах. В системе во время обновления случилась некая аномалия, связанная с эталонным временем – это и была ошибка оператора – из-за чего вся система пошла вразнос.
• По остающимся непонятными причинам резервная система была недоступной, поэтому нельзя было просто откатиться на предыдущую версию. В итоге всё стало работать всё менее и менее точно.
• Кроме того, судя по всему, в момент сбоя система не была правильно настроена, поэтому инженерам было очень сложно разобраться, как заставить её снова работать.
• В итоге было решено, что если на поиски ответа на вопрос о том, что пошло не так, уходит так много времени, проще будет перезагрузить всю систему. Что инженеры и сделали. Но поскольку система чрезвычайно сложна, на перезагрузку ушло несколько дней.

Это наиболее полная информация о происшествии. Есть однако небольшая, но ценная информация о том, как и почему всё пошло не так, и почему у системы не было адекватного способа восстановления.

Сложность

Становится всё более вероятным, что достаточно важной частью проблемы было сложное переплетение организаций, отвечающих за обслуживание и разработку различных частей этой системы. Сразу после того, как всё сломалось, стало ясно, что в рамках проекта «Галилео» нет эффективной схемы обмена информацией, а также, что все начали сразу обвинять друг друга в проблемах, что лишь ухудшило ситуацию.


Неполная схема управления проектом «Галилео» от Берта Хьюберта

Кроме того, есть вопрос того, есть ли у одной конкретной организации, GMV, дополнительная ответственность за всю эту неразбериху. Ведь она управляет не менее, чем тремя различными частями структуры «Галилео».

Что особенно примечательно, она управляет отделением по обработке орбитальной синхронизации (OSPF), отвечающей за выдачу данных, которые пошли в разнос в данном случае — эфемерид. Кроме эфемерид, в подчинении GMV находится отдел обработки целостности данных, занимающийся независимым наблюдением и отслеживанием тех же данных.

Послужило ли одной из причин коллапса то, что одна компания проверяет работу самой себя?

Что до связей с общественностью, то ни одна организация из окружающего «Галилео» созвездия не считала себя вправе рассказывать о происходящем, и оставляла эту задачу чиновникам – никто из которых не знал, что происходит. Иначе говоря, это был классический провал в обмене информацией.

Мы до сих пор точно не представляем себе случившегося, но надеемся, что в результате независимого расследования вскоре выйдет подробный отчёт. Его должны закончить к концу года.

Тем временем опасные объёмы политического маневрирования принуждают инженеров не высовываться. А жаль, поскольку, судя по всему, они проводят большие объёмы работы, усложнённые организационным хаосом.

Короче говоря, «Галилео» – это классическое европейское предприятие: прекрасная идея в реализации талантливых людей, превратившаяся в бюрократический бардак, в котором никто не хочет нести ответственность за проблемы, возникшие вследствие неоправданных организационных сложностей.