Кажется, что некоторые ошибки хуже, чем смерть.
Февральским вечером 2003 года я начал процедуру в Лаборатории реактивного движения НАСА в Пасадене, штат Калифорния. Я натянул костюм для чистой комнаты и прошёл в воздушный шлюз High Bay 1 здания 179, где создавались почти все межпланетные космические аппараты НАСА, начиная с программы «Рейнджер», делавшей снимки Луны в 1960-х. Спустя годы труда тысяч инженеров, техников и учёных оставалось всего две недели до того, как марсоход «Спирит» будет транспортирован на мыс Канаверал во Флориде для запуска перед его братом «Оппортьюнити».
Я был на своей второй неофициальной смене, уже отработав в ту среду двенадцать часов. Длинные смены — обычная ситуация на этапе сборки и тестирования. Каждая система космического аппарата тщательно тестируется, проверяется его идеальное рабочее состояние, прежде чем его подготовят к отправке с Земли. Миссии-близнецы «Спирит» и «Оппортьюнити» были одними из самых сложных космических аппаратов, построенных на то время, они воплотили в себе почти миллиард инвестированных НАСА долларов.
Марсоходы имели 62 щёточных двигателя, управлявших вращением и поворотами колёс, движением манипулятора, поворотом камер; кроме того, они направляли антенну на Землю и выполняли различные развёртывания после посадки. Марсоход подвергся тщательному тестированию, имитировавшему суровые условия, с которыми он столкнётся на Марсе в роли полевого геолога. В частности, критичными были действия, включающие в себя пиротехнику, так как взрывные волны могут нанести повреждения хрупким углеродным компонентам внутри двигателей. Тем вечером, когда мои коллеги занимались тестированием самого марсохода, мне было поручено проверить целостность двигателей в шлифовальной установке Rock Abrasion Tool (RAT), прикреплённой к манипулятору «Спирита».
Разбирать и осматривать детали двигателя после каждого раунда испытаний в условиях, близких к эксплуатационным, непрактично. Однако мы можем контролировать их внутреннее состояние, исследуя электрические показатели. Для этого используется устройство под названием break-out-box: мы отсоединяем двигатель от космического аппарата и подключаем его к внешнему источнику питания и ленточному самописцу. При запуске у работоспособного двигателя диаграмма будет показывать плавное экспоненциальное снижение электрического тока, а все проблемы будут проявляться в виде скачков сигнала.
Этот тест я проводил бесчисленное количество раз. Разнообразные задачи, которыми я занимался в проекте, дали мне опыт, позволивший расшифровывать лабиринт диаграмм десяти тысяч соединений, обеспечивавших работу всех систем космического аппарата; я отвечал за написание инструкций по тому, как подключать и проверять все двигатели марсохода, поэтому меня и выбрали для этой серии испытаний.
Внутри чистой комнаты ответственный за электрику Джон помог мне найти всё необходимое оборудование. Затем наш специалист по электромонтажу Мэри аккуратно отсоединила контакты и подключила тестовое оборудование к интерфейсу. Мы провели нашу проверочную процедуру перед испытаниями. Интерфейс подключения работал, настройки источника питания и самописца были верны, а быстрый тестовый импульс на эталонный двигатель подтвердил правильность конфигурации. Убедившись, что всё в порядке, мы отключили эталонный двигатель и подсоединили двигатель RAT-Revolve «Спирита», отвечающий за вращение истирателя проб и щётки на марсианских породах. Ещё раз проверив этапы испытаний, мы получили одобрение на подачу энергии на двигатель.
Чтобы получить максимально чистый сигнал и выявлять самые мелкие неполадки двигателя, стандартно на него подаётся максимально возможная мощность. Поэтому крайне важно подать поток электронов в нужное место. Неправильное соединение могло привести к катастрофическим повреждениям с синим дымом. Наша подготовительная процедура была важной мерой предосторожности для проверки того, что эта потенциально опасная конфигурация правильна.
Импульс подали на двигатель. Как обычно, результат был мгновенным, но на этот раз настораживающе необычным. Ленточная диаграмма не походила ни на что виденное нами ранее. Она даже не походила на показания сломанного двигателя. Это определённо было что-то другое. Мой мозг начал искать объяснения и за секунду нашёл наиболее вероятное. Я отследил глазами движение проводов от breakout box на тестовом стенде до космического аппарата, и причина незнакомого сигнала пронзила моё сердце как кинжал. Вся мощность, которую мы только что подали, не пошла в двигатель RAT-Revolve. Из-за ошибки, совершённой мной при подключении break-out-box, он пошёл в другую сторону по интерфейсу разъёмов, подав электрический импульс не на двигатель, а прямиком на космический аппарат.
О-о-о-ох, ч-ч-ч-ё-ё-ё-рт.
На меня волнами накатывала тошнота от предчувствия возможных последствий. Возможно, я только что превратил в кучу мусора оборудование на 500 миллионов долларов. А до запуска марсохода оставалось всего две недели, на восстановление после крупной проблемы времени не было. Я сразу же понял, что в этот синодический цикл, возможно, на Марс удастся запустить только один марсоход. А в моих руках находилось всё ещё тёплое оружие, потенциально убившее марсоход.
По бесчисленному количеству случаев из прошлого опыта в этом и других проектах я знал, что устаревая, плохие новости не становятся лучше, поэтому сразу же подключил к своим наушникам микрофон и рассказал о произошедшем Лео, отвечавшему за параллельное проведение других испытаний. Его ответ, казалось, провернул нож в моей груди. «Да, похоже, мы только что потеряли всю телеметрию с аппарата». Плохой знак.
Все, находящиеся рядом со мной, слушали разговор по контуру речевой связи в своих наушниках. Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки. Команда немедленно выполнила процедуру аварийного отключения марсохода, и нам сказали, чтобы мы покинули чистую комнату для вероятного брифинга по оценке ущерба.
Меньше месяца назад мне исполнилось 28, но я выглядел и ощущал себя намного моложе, и я проработал всего несколько лет на своей первой серьёзной работе после колледжа. Это был первый существенный шаг в моей карьере инженера космических межпланетных аппаратов, о которой я мечтал со старшей школы. Вероятно, он станет и последним. Когда известие распространилось, коллеги в отделе испытаний систем начали шарахаться от меня. Менеджер по испытаниям в сборе и пусковым операциям Мэтт сухо приказал мне записать всё, что я могу вспомнить о произошедшем. Не помню, когда начал плакать, но я определённо продолжал рыдать, записывая все подробности в комнате для совещаний.
Получив мои записи, Лео с коллегами тщательно изучили события того вечера. Обнаружились две очевидных вещи. Во-первых, сильный электрический импульс пошёл не туда, куда нужно; во-вторых, от аппарата перестала поступать телеметрия. Звучит мрачно, но была надежда, что между двумя этими событиями нет явной связи. Когда команда обсуждала проблему, казалось, что электрический всплеск, скорее всего, завершился на цепи привода двигателя H-Bridge (по сути, умного контроллера трафика для электричества). То, что я сделал, было плохо, но, к счастью, благодаря явлению под названием «противо-ЭДС» (back-EMF) [1], это была та часть марсохода, которая проектировалась с расчётом на устойчивость к излишней энергии.
Мы решили, что бродячий импульс каким-то образом привёл к глитчу системы, достаточному для прерывания потока данных, не отключая его навсегда. Аппарат был отключён от питания, поэтому мы хотели поступить так же, как вы бы поступили с потребительской электроникой: включили бы обратно, чтобы проверить, решило ли это проблему.
Была уже полночь, уведомления об инциденте по цепочке руководства добрались до руководителя проекта Пита. На кону стояло повторное планирование всего проекта, в котором участвовала тысяча человек. Команда, задействовав всё внимание и осторожность, сконцентрировалась и провела стандартную процедуру включения аппарата. При запуске его систем включается множество разной электроники, затем запускается ПО и начинает генерировать телеметрию. В нём есть цепь, создающая импульс каждый цикл синхронизации (8 раз в секунду), превращая красную лампочку на стойке инструментов наземного обеспечения в показатель сердцебиения робота. Источник питания аппарата прошёл привычный процесс перепада напряжений и токов, но сердцебиение не началось, а телеметрия молчала.
Я не помню точно, что было дальше. Вероятно, утром проводили совещания, чтобы понять, что же делать дальше. Что я помню, так это чувство эмоциональной опустошённости, которое преследовало меня, когда я вернулся домой и пересказал историю своей жене. Я был уверен, что утром потеряю свою работу, и что моё имя войдёт в историю исследования космоса на позорных страницах.
Утром на совещании в лаборатории мы снова проработали подробную последовательность воссозданных событий в поисках подсказок или возможных вариантов ремонта, которые казались всё более иллюзорными, пока не обнаружилась одна критически важная часть пазла.
Цифровой мультиметр Fluke 87III — очень популярный инструмент в отделах Лаборатории реактивного движения. Когда я вошёл в чистую комнату прошлым вечером, мне нужен был он и я спросил моряка-лингвиста Джона, где его можно найти. Все мультиметры разобрали, поэтому он указал мне на прибор рядом с космическим аппаратом; похоже было, что тот следил за напряжением шины, но не использовался в испытаниях. Я аккуратно отключил разъёмы и направился на встречу с судьбой — тестировать двигатели RAT. На самом деле отключённый мной мультиметр мониторинга находился в цепи, питавшей телеметрию наземных испытаний аппарата. Отключив разъёмы, я ненамеренно разорвал соединение.
Мы сразу же поняли, что нужно вернуть мультиметр на место и включить питание аппарата.
Так мы и поступили. Всё заработало. Все облегчённо вздохнули, когда телеметрия включилась — всё-таки «Спирит» не умер!
Команда продолжила испытания, потеряв лишь несколько часов, а я совершил самый глубокий выдох за всю жизнь — возможно, я всё-таки не обрёк миссию на отправку единственного марсохода.
Всё остальное утро прошло как в тумане. За этим последовали две недели анализа канала H-bridge двигателя RAT-Revolve, приведшие к подробным обсуждениям возможной деметаллизации тонких плёнок. В конечном итоге проект собрал достаточно информации, чтобы постановить: использовать оборудование в том же виде.
Тянулись долгие смены. Я перебрался на мыс Канаверал, чтобы начать последние приготовления перед запуском роверов на Марс, дни и недели пронзали новые наполненные стрессом события. Когда «Спирит» оказался на Марсе и спустя год скрытого стресса оказалось, что двигатель RAT-Revolve отлично работал, а вся эта история стала мне жизненным уроком.
▍ Важный урок
Вспоминая эту историю позже, я не только обогатил своё понимание, но и вдохновил других изучать собственные провалы и делиться ими. Рассказы позволяют превращать этот опыт в ценные уроки, как для рассказывающих, так и для слушателей. На дальнейших этапах моей карьеры, работая в своём стартапе промышленного освоения астероидов Planetary Resources, мы осознали полезность этих нарративов в процессе найма и культуре команды. Мы намеренно просим кандидатов делиться своими историями провалов, чтобы они приняли их и учились на трудностях прошлого, в то же время поняв, что провал — неотъемлемая часть процесса обучения. Основной урок, который я извлёк из истории с марсоходом, можно выразить так:
Пусть ваши шрамы послужат вам; они являются бесценным опытом учёбы и вложением в ваши навыки и стрессоустойчивость.
На самом пике кризиса, когда у меня лились слёзы, а все коллеги отдалились от меня, меня поддержал единственный человек — добрый и мудрый Эрни, вышедший с пенсии, чтобы помочь с круглосуточными сменами в подготовке к запуску. Он подошёл ко мне, положил руку на плечо и мягким голосом дедушки успокоил меня. Потом он произнёс слова, которые я никогда не забуду: «Помни это чувство в следующий раз, когда тебе нужно будет расписываться в том, что всё в порядке».
Позже я стал руководителем полёта «Спирита» и «Оппортьюнити», когда они исследовали поверхность Марса, получил медаль НАСА «За выдающиеся достижения». Очевидно, меня не уволили за этот провал. Но это стало ясно только спустя несколько дней на одном из самых важных в моей жизни совещаний. В напряжённый период, последовавший за инцидентом, когда всё ещё ожидались результаты решающих анализов, начались страстные споры об опасностях испытаний, и многие считали, что их нужно полностью прекратить. Обсуждения закончились, было принято решение, что самое главное в этих испытаниях — обеспечение гарантий того, что двигатели будут безупречно работать на Марсе. Испытания было необходимо продолжать. И я всё ещё помню свой шок, когда руководитель проекта Пит рассказал о решении: «Испытания продолжатся. Крис будет продолжать руководить ими, потому что мы заплатили за его образование. Он единственный человек в мире, кто не повторит больше этой ошибки».
Я вернулся на «место своего преступления», чтобы продолжать испытания, и тщательно проверил все процедуры, чтобы устранить вероятность повторения той же ошибки. Каждый раз, когда я снова проводил этот тест, мне вспоминались решение Пита и мудрые слова Эрни, вызывая во мне прилив тошноты, чёткое напоминание об инциденте, но в то же время готовность продолжать. Доверие, выказанное мне руководством, несмотря на ошибку, стало ключевым моментом в моей карьере, подчеркнув мой рост и способность преодолевать трудности.
Каждый раз, когда мне нужно утвердить или поддержать что-то важное, я сразу вспоминаю этот момент — комнату, освещение, кресло, в котором я сидел, стол, тянущее чувство в животе, яркую смесь страха, тревоги и сожалений за недосмотр, который едва не привёл к катастрофе. Мудрость Эрни в сочетании с его состраданием в уязвимый для меня момент оставили во мне неизгладимый след. Сталкиваясь с необходимостью принятия критически важных решений, я не только вспоминаю этот опыт, но и стремлюсь помочь другим в переживании их собственных трудных моментов. Я, как и Пит, хочу помочь превратить этот опыт в катализатор для роста и повышения устойчивости, ведь наши реакции на несчастья способны определять наш путь вперёд.
Такие истории с опасными ситуациями, кривыми обучения и окончательными триумфами — не только мои, они бывают у многих людей, создающих что-то. В космических исследованиях провал — не один из вариантов, а неотъемлемая часть процесса. Каждый неверный шаг — это веха по пути к большему успеху; наша коллективная мудрость может проложить дорогу к будущим инновациям, достижениям и прорывам в развитии и наращивании нашего присутствия в космосе.
«Мы сеем семена успеха в долине неудач». — Джейсон Альтушер
«Ни один опыт сам по себе не является причиной нашего успеха или провала. Мы не страдаем от потрясений, вызванных нашим опытом (так называемой травмы), а создаём из него то, что соответствует нашим целям. Нас не определяет наш опыт, самоопределяющим является значение, которое мы ему придаём». — Ичиро Кишими, «Смелость не нравиться»
«Самые лучшие новости — это плохие новости, донесённые тогда, когда их ещё можно исправить». — Линди Элкинс-Тэнтон, ведущий исследователь миссии Psyche
[1] Back-EMF (ElectroMotive Force, электродвижущая сила): энергия, создаваемая двигателем, когда он начинает действовать как мини-генератор питания, особенно в моменты, когда он замедляется, или при не совсем правильной синхронизации.
Скидки, итоги розыгрышей и новости о спутнике RUVDS — в нашем Telegram-канале ????
Комментарии (61)
debagger
06.12.2023 13:31+13Если аппарат за пол-лярда баксов полностью сгорел от подачи неправильного напряжения - грош цена такому аппарату.
acc0unt
06.12.2023 13:31+13Никакое количество денег не обманет физику.
MaFrance351
06.12.2023 13:31+10Если просто собрать его из самых дорогих комплектующих, то конечно. А вот если там aerospace-grade драйверы двигателей стоят, то они должны быть защищены от такого.
Ну и действительно оказались, раз агрегат не помер.
debagger
06.12.2023 13:31+3В хорошо спроектированном на максимальную надежность и автономность устройстве должна быть предусмотрена защита. Понятно, что если бы в аппарат попала молния, но тут просто повышенное напряжение. Максимум что должно было произойти, блок ушел в защиту и восстановился после нормализации ситуации.
vvzvlad
06.12.2023 13:31+2В хорошо спроектированном на максимальную надежность и автономность устройстве должна быть предусмотрена защита.
Защита от штатных неполадок. Инженер, который может воткнуться разьемом куда угодно — явно не штатная неполадка для космического аппарата.
Любая защита усложняет схему, тратит время на проектирование и тестирование, тратит энергию во время работы.
Bedal
06.12.2023 13:31Можно поставить все необходимые защиты - и утяжелить аппарат на пару килограмм. Которые как раз окажутся лишними в какой-то критический момент.
В эксплуатации подобным всплескам энергии просто неоткуда взяться.
Встраивать в схему защиты, а после испытаний их убирать == обесценить испытания.
spc
06.12.2023 13:31+18Отвратительный перевод. А что касается стоимости, то для зарплаты инженера - огромная, конечно, но есть нюанс. Если я правильно помню, то JPL в то время (начиная с миссии Pathfinder/Sojourner) сконцентрировались на относительно простых и недорогих машинах, чтобы не было мучительно больно за потерю тяжелого межпланетного комплекса. Ну и как показала практика, оказались правы. Отработали посадку и кинематику на недорогих, стали постепенно увеличивать нагрузку.
Jeka_M3
06.12.2023 13:31Отработали посадку и кинематику на недорогих, стали постепенно увеличивать нагрузку.
Но такой тип посадки больше не применялся после Спирита и Оппортьюнити. Для марсоходов с бОльшей массой и сложными, хрупкими инструментами такой тип посадки явно не подходит. Поэтому и придумали Sky crane.
cybersonner
06.12.2023 13:31+34Главная ошибка: как вообще можно было подать напряжение на аппарат? Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.
Перевод- догадайся что имелось ввиду. Мультиметр отключили - вырубили питание телеметрии. Значит всё-таки он контролировал потребляемый ток, а не напряжение. Но тогда вообще странно решение взять его "возьму этот мультиметр, ну и что если что-то останется без питания".
А посыл статьи правильный. Мы все ошибаемся. И я, как инженер, всегда радуюсь в таких случаях, что я не врач. И в случае ошибки самое правильное - не искать кто виноват, а сразу начинать думать, а что мы можем сделать, чтобы продолжить работу.
JoshMil
06.12.2023 13:31+3Действительно не очень похоже на ошибку. Больше похоже на непонимание собственных действий. Безрефлексивность.
LevOrdabesov
06.12.2023 13:31"Очередная внеочередная многочасовая смена".
Инструкции по охране труда тоже могут помочь "обмануть физику"...
serg-mizun
06.12.2023 13:31+3Главная ошибка: как вообще можно было подать напряжение на аппарат? Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.Эта практика появилась далеко не сразу. Раньше надо было бдить. Это потом уже додумались делать разные разъемы, разные цвета и всё такое.
sim31r
06.12.2023 13:31+4Эта практика появилась далеко не сразу.
В продукции массового потребления. А в НИИ наоборот, удобнее когда все разъемы одинаковые, обжимаются одинаковыми инструментами, без "зоопарка" несовместимых разъемов. Уровень инженеров высокий и они должны знать, что куда подключается. В статье работал по сути стажер, не разрабатывал, а собирал статистику.
На макетном столе в моих хобби проекта вообще голые провода, с напряжением от 0.001 до 220В, естественно тут надо думать что куда подключается. И это типовой подход, вот даже статья есть Хватит скручивать. На макетной плате сотни проводков однотипных.
При монтаже проводки 220/380 многое на внимательности электриков держится. Подать фазу на корпус прибора нежелательно совсем (вместо заземления РЕ), желтый полосатый провод конечно об этом напоминает, но и перепутать не сложно.
stalinets
06.12.2023 13:31+8У меня такое было, в 2008 году на моей первой работе мне поручили на приехавшей офисной АТС отрезать иностранные вилки и поменять на отечественные с заземляющим контактом. Я несмотря на в целом неопытность, прекрасно знал, что жёлто-зелёный провод заземляющий, я не раз дома до этого менял вилки на приборах, и тем не менее накосячил, перепутал заземление и один из силовых контактов. Хорошо, один коллега заметил и в розетку моё произведение так и не было включено, и ни АТС не сгорела, ни током никого не ударило, а я так и не смог для себя понять, как же это я так ошибся? Сделал вывод, что мозг может хитро отвлечься на что-то, и нужно быть внимательнее, научиться как бы мысленно сбрасывать впечптление от проделанной работы и смотреть на то, что сделал, как бы другими глазами, беспристрастно и с другой точки зрения.
У коллеги на другой работе был подобный прикол, когда он ещё не набрался опыта. После нескольких часов работы с оптической муфтой, на финальной стадии, когда связь уже пошла, он откусывал бокорезами хвосты стяжек, удерживающих пластиковые трубочки-модули на кассете, и что-то взял и откусил модуль с волокнами под корень, и стоял несколько секунд в ступоре, обдумывая, что он только что сделал. Связь частично снова упала, и исправить никак, только переваривать снова всю муфту, и объяснять дежурным на смене, что связи снова не будет часа три, а они уже успели закрыть аварийную заявку... С опытом такие приколы почти проходят, но вот тем не менее мозг может сотворить такую глупую ошибку.
На дорогах то же самое. Я всю жизнь езжу на (электро)велосипеде, и очень аккуратно, а вот недавно повернул налево подрезав двух самокатчиков, чуть не сбив их, хотя я их видел в нашлемное зеркало, и они мне, естественно, высказали что думали обо мне за этот манёвр. А я и сейчас не пойму до конца, почему я видя их повернул перед ними. Наверное, мозг больше заточен на пропуск автомобилей, а самокатчиков, ещё и в зеркале заднего вида, обгоняющих меня, воспринимает хуже как менее типовое явление. Может, меня перед этим отвлёк автобус и стоящие на остановки люди, плюс желание повернуть, и новая информация о наличии самокатчиков в зеркале не была воспринята мозгом как важная, не хватило "оперативки". Но тем не менее глупую ошибку на ровном месте может совершить каждый.
debagger
06.12.2023 13:31+2Наверное, мозг больше заточен на пропуск автомобилей
Водители автомобилей очень часто "не видят" двухколесный транспорт. Несколько таких аварий видел лично.
DAumkraft
06.12.2023 13:31+4"возьму этот мультиметр, ну и что если что-то останется без питания"
Ну очевидно ему сказали взять - он взял. Теперь, после этой ошибки, он уже так не сделает)
А по поводу разъемов - марсоход штучное устройство, мало ли как там все устроено, все равно это никто обслуживать на Марсе не будет.
sshmakov
06.12.2023 13:31+2Инженер (!) взял подключенный (!) мультиметр, включенный на измерение тока (!!)
Все мультиметры разобрали, поэтому он указал мне на прибор рядом с космическим аппаратом; похоже было, что тот следил за напряжением шины, но не использовался в испытаниях. Я аккуратно отключил разъёмы и направился на встречу с судьбой — тестировать двигатели RAT. На самом деле отключённый мной мультиметр мониторинга находился в цепи, питавшей телеметрию наземных испытаний аппарата. Отключив разъёмы, я ненамеренно разорвал соединение.
То есть на переключатель мультиметра он не посмотрел.
DAumkraft
06.12.2023 13:31+3Да, именно так. Не забываем, это был очень молодой специалист, который не набил ещё шишек. Именно поэтому мне нравится фраза из статьи "Он единственный человек в мире, кто не повторит больше этой ошибки". Ведь так и случилось, он стал гораздо внимательнее после той ошибки.
sim31r
06.12.2023 13:31марсоход штучное устройство
Вот именно, а в таких устройствах наоборот, удобнее когда все разъемы одинаковые. Легко заменить один на другой и проще проектировать, отлаживать. Например на стендах такие же разъемы.
sim31r
06.12.2023 13:31+1И я, как инженер, всегда радуюсь в таких случаях, что я не врач
У инженеров тоже есть ответственность, правда размазанная по коллективу. Кто-то выдает ТЗ, кто-то делает расчеты, кто-то тестирует и сертефицирует. Боинги падают, ренгеновские аппараты не отключаются, мосты в резонанс входят и т.п.
Баг-убийца. Фигак, фигак и Therac-25
В программном обеспечении Therac-25 были найдены как минимум четыре ошибки, которые могли привести к переоблучению.
Одна и та же переменная применялась как для анализа введённых чисел, так и для определения положения поворотного круга. Поэтому при быстром вводе данных через терминал Therac-25 мог иметь дело с неправильным положением поворотного круга (состояние гонки).
Настройка положения отклоняющих магнитов занимает около 8 секунд. Если за это время параметры типа и мощности излучения были изменены, а курсор установлен на финальную позицию, то система не обнаруживала изменений.
Деление на величину излучения, приводящее в некоторых случаях к ошибке деления на ноль и к соответствующему увеличению величины облучения до максимально возможной.
Установка булевской переменной (однобайтовой) в значение «истина» производилось командой «x=x+1». Поэтому с вероятностью 1/256 при нажатии кнопки «Set» программа могла пропустить информацию о некорректном положении диска.
Были выявлены потенциальные ошибки — в многозадачной операционной системе не было никакой синхронизации.
cybersonner
06.12.2023 13:31Ну не знаю...Я имел ввиду цену ошибки, а не размазывание ответственности. Мои ошибки могут стоить дорого, но это будут только деньги, а не жизни.
debagger
06.12.2023 13:31+3Там разъемы не должны дать провернуть подобного. Например одной стороны мама, с другой папа.
Из своей практики вспоминаю два ярких эпизода, связанных именно с разъемами.
Эпизод 1. Дорогущий вакуумметр, подключается стандартным разъемом DB9. В одном разъеме питание +12, линии RS232 и электронные реле, которые можно настроить на определенное давление. Нужно подключить его на экспериментальный прибор. Чтобы не отвлекать от работы профессиональных электронщиков решаю спаять разъем сам, внимательно изучаю инструкцию, несколько раз всё проверяю, подключаю. Вакуумметр вроде включается, на дисплее отображает давление, но обмена по RS232 нет. Я несколько дней пытаюсь наладить обмен, но все безуспешно. Затем вакуумметр работать перестает. И только тогда я обнаруживаю, что я припаял провода задом на перед - DB9 симметричный и я неправильно понял с какой стороны считать контакты. Каким-то образом, получал все это время питание через входы электронного реле, потому у меня не возникало сомнений, что разъем спаян правильно. Вакуумметр починили по гарантии, и долго удивлялись, как мы его умудрились сжечь.
Эпизод 2. Участвовал в разработке масс-спектрометра нового поколения. Как обычно ближе к новому году началась гонка, нужно было сдать до конца декабря. Лаборатория, которая занималась разработкой электроники выдает блоки, мы их интегрируем с управляющим ПО. В один день мне звонят, чтобы я подошел за очередным блоком. Блок мне выдает лично нач. лаборатории, также вручает кабель питания с разъемом типа ШР. Возвращаюсь к себе, подключаю, подаю на блок питание. Громкий хлопок. Из блока летят искры идет дым. Быстро все обесточиваю, открываю блок и вижу что на платах просто нет дорожек - зато на столе под ним образовалось пятно с характерным металлическим блеском. Дорожки просто испарились. Оказалось что в разных блоках разная распиновка разъемов питания, и мне выдали кабель не от того блока, а в этом блоке в разъеме питания помимо силовых линий заведены еще сигнальные, и так "удачно" сложилось, что они как раз попали на силовые линии в кабеле питания. Блок довольно быстро починили, выдали правильный кабель и работа продолжилась.
Какая мораль? Ошибаются все, особенно когда делается что-то новое, уникальное экспериментальное. Лет мне было примерно столько же, как и герою рассказа и тогда я конечно переживал и расстраивался, когда подобное случалось. Сейчас считаю, что сильно переживать по поводу таких ситуаций точно не стоит, это бесценный опыт, который дороже поломанного оборудования.
AlexanderS
06.12.2023 13:31Но тогда вообще странно решение взять его "возьму этот мультиметр, ну и что если что-то останется без питания".
А чего такого-то? Нужен мне инструмент для работы - спросил разрешение - получил разрешение - взял. Откуда я знаю что он там делал и нужен он или нет. Это должен был знать разрешающий)
saltpepper
06.12.2023 13:31+2Хех, вспомнилось как в первую неделю работы в институте, выпустил дым из железки за 2,5к евро... Косяк был скорее не мой, но неприятно. Шеф запаковал и отправил поставщику, потому что "не работает". Даже не знаю, прислали ли счет за новый девайс.
MaFrance351
06.12.2023 13:31+1Если не секрет, что за железка была? И как так вышло?
saltpepper
06.12.2023 13:31+5Это была матрица микрозеркал (https://en.wikipedia.org/wiki/Digital_micromirror_device) как используются в в проекторах, только в виде Developers Evaluation Kit - вместе с платой управления, на которой выведены всякие интерфейсы ввода-вывода, USB, DisplayPort, HDMI, питание. Голый девайс получается довольно громозкий и неудобный: основная пллата + присоединенная на жестком шлейфе часть с матрицей
А раз дело было в оптической лабе, то смонтировано было на том что было под рукой: крепеже для оптическийх компонентов. Это такой прекрасный очень качественный конструктор из нержавейки. Коллега это быстренько зафигачил без задней мысли и передал мне: "программировай". Было очень удобно пару дней, до момента, когда был замечен дым и девайс навсегда умер. Следующий девайс был в напечатанном корпусе, живет до сих пор.
Ну и урок, что даже если ты свежий практикант, недели не проработавший, все же стоит минимально критику включать.
ABy
06.12.2023 13:31А что вы с этой штукой в институте делали? Они ведь вроде только в проекторах и используются.
saltpepper
06.12.2023 13:31+2Проектор это частный случай, в более широком смысле этот прибор обеспечивает пространственную модуляцию света - т.е. в зависимости от своего положения в пространстве каждое микрозеркало включает-выключает свет. В фотонике такое очень любят, ведь изменяя профиль лазерного луча можно делать разные экзотические лучи и придумывать интересные штуки с ними, например https://ru.wikipedia.org/wiki/Оптический_пинцет, воспроизводить простенькие голограммы, или просто очень быстро (микрозеркала переключаются с частотами в килогерцы) перенаправлять фокус чтобы что-нибудь сканировать, или прицельно взаимодействовать с образцами. А можно и видео показывать (тоже было дело), полезный прибор в общем!
Firsto
06.12.2023 13:31Так может плата изначально была с дефектом.)
saltpepper
06.12.2023 13:31+1Я на 100% уверен, что там по металлическому креплениею где-то коза проскочила, это сейчас кажется довольно глупо.
DAumkraft
06.12.2023 13:31+3На первой моей работе к нам пришел новый сотрудник и в первый же день умудрился вставить планку памяти в материнскую плату с другим разъемом, уже не помню что там было, наверное DDR1 и 2. После включения материнка испустила белый дух) но это не помешало ему стать начальником отдела в будущем)
debagger
06.12.2023 13:31Оппенгеймер тоже руками работать не умел. Стал руководителем атомного проекта в итоге.
Indemsys
06.12.2023 13:31+1Судя по графику тока ничего опасного не случилось. Импульс был очень короткий. Перегрузки по току не было. Человек стрессовал скорее всего за нарушение какого-то регламента. Что-то здесь недоговорено.
DAumkraft
06.12.2023 13:31+1Ну как, были непонятны последствия, ибо сразу после этого поняли что телеметрии нет, так что возможно что-то сгорело. Да, стресс уже не из-за поломки, ибо она не случилась, но все же ошибки, которая могла стать катастрофической для проекта. И вполне могли уволить, я считаю.
REPISOT
06.12.2023 13:31+2Кто такой "моряк-лингвист"? И что он делает в чистой комнате марсохода?
S-trace
06.12.2023 13:31+7Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки.
Просто небольшая шутка про матерно-лингвистические возможности Джона в нештатной ситуации
REPISOT
06.12.2023 13:31+1Была бы шутка. Но есть Navy linguist, otherwise known as a Cryptologic Technician – Interpretive. Тоже моряк-лингвист.
S-trace
06.12.2023 13:31Внутри чистой комнаты ответственный за электрику Джон помог мне найти всё необходимое оборудование.
Думаю, всё-же шутка, так как в начале истории упоминается специализация Джона, да и понятна столь бурная его реакция - беда-то на его участке случилась.
id_potassium_chloride
06.12.2023 13:31Я бы перевёл эту часть на русский, сравнив его с "сапожником". Так метафора стала яснее? :)
oleg_rico
06.12.2023 13:31+2Вообще-то крутыми загибами в области мата всегда отличались моряки и, в частности, боцманы. Так что сапожник это в области просто грубой речи, а вот завернуть эдак и так - к морякам
everyonesdesign
06.12.2023 13:31+7Вообще, я понимаю, что человек накосячил, но имхо
Когда известие распространилось, коллеги в отделе испытаний систем начали шарахаться от меня.
Отвернувшись от микрофона, Джон сказал много нелестного обо мне, завернув так, что у него бы могли поучиться и опытные моряки.
На самом пике кризиса, когда у меня лились слёзы, а все коллеги отдалились от меня, меня поддержал единственный человек
говорит о непрофессионализме коллег? Я понимаю что срываются сроки/теряются деньги, но, вероятно, в их обязанности входит и решение проблемных ситуаций? Особенно касается руководителя.
Да и вообще, если человеческая ошибка может привести к такому, возможно проблема в дизайне/ответственному за процессы?
Много вопросов осталось.
sim31r
06.12.2023 13:31+1Возможно это его личные когнитивные искажения, интроверт/аутист мог неправильно интерпретировать поведение коллег на фоне самокритики. То, на что раньше не обращал внимания, стало казаться признаком осуждения после пережитого стресса. По факту ничего ему не было.А Джон мог ругаться и в обычных ситуациях, в том числе при позитивных эмоциях.
проблема в дизайне/ответственному за процессы?
При ограниченном времени и бюджете нет времени на дизайн. Условно они могли за год не полностью аппарат собрать, а обсуждать цвет и форму разъемов. А ответственны там все. Вот же примеры аварий аналогичные (раз и два), виноваты все понемногу.
AlexanderS
06.12.2023 13:31То, что его нецензурно покрыли с таким результатом - ничего удивительного, понимать надо. А вот остальное - это мне кажется субъективное преувеличение на фоне шуток типа: "Вон идёт, ну который марсоход сжёг" :)
Marcipain
06.12.2023 13:31+1Отключив мультиметр автор разорвал цепь, соответственно телеметрия пропала в этот момент, а не в момент проверки двигателя, тобиш кто то раньше автора ссыканул обозначить проблему отсутствия телеметрии?
Yuribtr
06.12.2023 13:31+8Кстати да! Сначала разрыв цепи из за отсоединенного ампер метра, а потом уже паника.
Анекдот в тему
Космодром. Идет подготовка к первому запуску новой ракеты. В центре управления сидят представители разных организаций, принимавших участие в создании ракеты. Одну из фирм представляют молодой специалист и опытный наставник. Начинается обратный отсчет: десять, девять... Молодой специалист говорит наставнику:
- Что же вы молчите, ведь у нас куча недоделок, ракета не взлетит!
- Сиди и молчи!
Семь, шесть...
- Сейчас же взорвется, я сам сообщу!
- Поверь моему опыту, сиди и молчи.
Четыре, три... Тут вскакивает представитель еще одной фирмы и кричит:
- Остановите запуск, у нас есть недоделки!
Тогда опытный специалист говорит молодому:
- Вот видишь, по их вине сорван запуск ракеты.
DAumkraft
06.12.2023 13:31+2Не думаю что там сидел человек и непрерывно смотрел на показатели телеметрии, это ж были просто тесты. Вот когда узнали об инциденте, тогда посмотрели и поняли что телеметрии нет, а то что она пропала в другой момент и непонятно было, там разницы то в пару минут между событиями.
peacemakerv
06.12.2023 13:31Какого бы качества продуманности ни были их железяки, но при такой работе очень хочется, чтобы был "логгер работы инженера".
По чьему логу можно было бы увидеть, после просушки штанов, что какой-то мультиметр в роли предохранителя был зачем-то оторван от схемы...Может гарнитура с голосовой диктовкой всех действий, и авто-SpeechToText в файлик...
johnfound
06.12.2023 13:31+2Значит выходит, что они долго-долго проектировали, придумывали и заказали по одному образцу от каждой платы? Мне кажется человек напугался и истерит. Ну сгорело бы там все нафиг. И что? Заменили бы на второго образца из сотню заказанных и весь инцидент закончился бы в 24 часа. Даже я когда части и комплектующие заказываю беру в 2 раза больше чтобы было на всякий случай. А это же НАСА, а не я.
propell-ant
06.12.2023 13:31+2После замены любой платы заново начинается программа испытаний, о длительности которой мы можем только догадываться. Но в 90е годы это скорее всего было долго (учитывая описанный антураж с ручным подключением).
До запуска оставалось две недели, следующее окно через несколько лет.
xirahai
06.12.2023 13:31Тоже сталкивался с подобным проектированием дорогой аппаратуры, совершенно не рассчитанным на ошибку по питанию. Не за лямы баксов, но и не копеечная техника. К примеру специальный радиоприемник Rohde Schwarz EB100 - древний, тем не менее очень хороший аппарат. Питание процессора там заведено прямо с разъема внешнего питания, без каких-либо цепей защиты и ограничения. Однажды притащили дохляка после подключения к какому-то блоку питания. Процессор почил в бозе.
tmxx
06.12.2023 13:31Интересно, я думал, что там тестовые стенды должны быть сложнее чем сам агрегат.
Panzerschrek
06.12.2023 13:31+2Типичные проблемы организации производства. Тут и смены по 12 часов, и отсутствие защиты от дурака, и отсутствие резервирования (могли бы и с запасом деталей марсохода произвести, на случай, если что-то сожгут).
Ну и да, если бы автор оригинальной статьи таки угробил бы марсоход, то наказано должно было бы быть его руководство, которое вышеописанные проблемы допустило, а не рядовой инженер/техник. В Российских реалиях, кстати, оно не так и виновным в падении ракет назначают какую-нибудь кладовщицу.
Bluewolf
06.12.2023 13:31+2Хорошая история, но очень, очень, ОЧЕНЬ плохой перевод, я даже не вижу смысла отдельно выписывать особо ужасные фрагменты. Пожалуйста, НЕ переводите статьи из той области, которую не понимаете и не можете скорректировать...
Предлагаю новый формат постов - "ссылка на интересный материал", где есть ссылка на оригинал и один абзац пояснений, почему это интересно. Автоперевод в браузере сработает не хуже, ноосфера будет менее засрана плохим контентом, желающие прочитают оригинал, другие желающие - автоперевод, а обсуждение в комментариях, самое ценное на Хабре - никак не изменится.
dimwap
06.12.2023 13:31У полицейских на груди висит регистратор, даже у кондукторов на транспорте он есть. Было бы неплохо и у инженеров такое иметь, для логирования действий с уникальным оборудованием.
stalker_316
Как там говорится: "опыт инженера прямо пропорционален стоимости выведенного из строя оборудования". Статью писал опытный инженер)))
johnfound
Так он же не сумел.