Привет! Я из кроковской «икс-команды» — группы выездных инженеров, которые обеспечивают SLA в 4 часа по банковской инфраструктуре и другим ответственным штукам. И у меня есть что рассказать на этот светлый праздник.
У нас в расширенном наборе оборудования в машине есть серверный молоток. Включили мы его в набор после случая, когда забивали рельсы в отечественную серверную стойку. Стойка была хорошая, только её для порядка окрасили в три слоя в уставной чёрный. Конечно, забыв, что краска тоже имеет толщину.
Из хардкора — поставили в регионе очень дорогой сервер-молотилку для ритейла. До этого на своей площадке мы его загрузили синтетическими тестами, плюс потом накатили вместе с админами заказчика тестовую базу и погоняли по ней. Всё хорошо. Встаёт в продакшн — на него падает очень высокая и постоянная нагрузка. И он начинает глючить, причём широко и разнообразно. Гоняем тесты и диагностику — всё ок. Ставим в продакшн — опять начинается фантасмагория. Заменять сервер по кускам для метода исключений нельзя, класс системы немного не тот. Позвали главного инженера производителя по всему региону. Это такой гипермозг, известный в наших кругах. Авторитет у него такой, что если он сказал, значит, это закон природы. Приезжает, всех выгоняет, ковыряется пару часов. Выходит, как хирург после операции, смахивает пот со лба и показывает процессор на ладони:
— Его прошил БЫСТРЫЙ НЕЙТРОН.
И уходит. С новым процессором всё поднялось нормально. А мы до сих пор не знаем — то ли он серьёзно это сказал, то ли он тоже читал Наш BOFH’а.
Или вот приезжает новый двухъядерный сервер от именитого вендора. «Белая» сборка, всё закрыто и в датчиках, вокруг куча упаковки и плёнки с пупырышками… Но, зараза, не стартует. Это притом что приложена бумажка, что на площадке до отправки тесты все прошли ровно. Мы его в присутствии инженера производителя открываем, а там приятный сюрприз. В одном слоте один процессор, а в другом — точно такой же, только другой. В смысле, с такими же ногами, но не той модели. Случайно воткнулся на заводе, наверное. Со всяким бывает.
Один раз большая библиотека не хотела запускаться. Мы там втроём были, суммарный опыт — 35 лет в серверном администрировании, а всё равно как дети себя чувствовали. Всё до основания перетрясли — не помогает. Позвонили старшему товарищу на смене в офисе совета попросить. Он говорит: «Мужики, она на колёсиках специально сделана. Покатайте по помещению, найдите место, где заработает». Посмеялись, конечно. Часа два ещё поднять пробовали. Потом реально катать начали. И ведь нашли! До сих пор работает.
Или вот стандартная ситуация: срочный вызов, звонит человек заказчика. Только причина нестандартная: говорит, отстой ваша система, вся упала и накрыла боевую базу данных. Мы бросаем ноутбуки в заранее собранные рюкзаки и летим к лифту. Внизу нас уже ждёт кладовщик с резервными комплектующими. Подрываемся на объект, там партиция битая. Вокруг ходит этот товарищ и ноет, что система плохая, мы криворукие, и вообще всё через задницу, и руки у нас из того же места, и ноги. Про ноги соглашаемся, систему довольно быстро поднимаем. Начинаем тщательно изучать логи, чтобы понять, что случилось. И — та-дам! — выясняется, что именно он систему и угрохал.
Или вот ещё раз было, что мы с помощью болгарки конфигурировали Р-стайловскую, чтобы она встала правильно, но это почти у каждого было. В другой раз была поставка от американцев, а они ошиблись с рельсами. Реально ошиблись, просто рельсы были длиннее, чем надо, на 12 сантиметров. Даже не рельсы, швеллер — тогда они были просто монументальными. Ну и мы решили их просто отрезать. Глаза местного безопасника, когда инженер с болгаркой шёл в серверную и попутно спрашивал, куда тут подключиться, надо было видеть. Ещё один раз мы ходили в серверную с болгаркой, когда надо было разобрать конструкцию, уже не вылезающую в дверь, — за 8 лет проход поменялся, и пришлось слегка менять геометрию уголков стойки. А относительно недавно вообще пришлось разбирать стену, чтобы вытащить СХД из серверной при переезде (в дверь она не лезла, да и по ковролину таскать её было бы настоящим приключением). А так подцепили краном — и все дела. Ещё раз с гидравлическими ножницами ходили, но там решили старого пациента не вытаскивать, админы пожалели. Так и стоит обесточенный шкаф в серверной, просто место занимает. И вызывает ностальгию.
Один раз мы чуть не избили ПМ’а. Делаем ЦОД, электрику. Трансформаторная подстанция, на неё приходит два огромных ввода от ближайшей электростанции, плюс кабельная трасса от ДГУ. Напряжение такое, что если потрогать не ту часть конструкции сухой палкой длиной полметра — пробьёт сначала её, потом резиновую подошву. В общем, вспоминаются все солдатские истории про «остались от бойца одни сапоги, и те пеплом присыпаны». Идёт монтаж, сами монтажники висят на потолке, два десятка спецов. У них там трасса на киловольт. Что такое напряжение, знают все, опытные. Заходит менеджер проекта и, не подумав, достаёт фотоаппарат запечатлеть ход работ. Уже в момент нажатия кнопки к нему приходит немного запоздалая мысль про вспышку. Хлоп! Начинается полный ад: все отцепляются и летят вниз, закрывая голову. А в некоторых местах там 3–4 метра вниз. Потом понимают, что произошло, и в незадачливого ПМ’а как-то сами собой летят плоскогубцы со всех сторон. Убежал. Вечером проставлялся в знак примирения. Дальше снимал без вспышки.
Был у нас молодой инженер, которого отправили на один завод чинить упсы. А кто их видел, знает, что там внутри свинцовые такие квадраты, спаянные проволокой. И они в твёрдом прозрачном пластике. Так вот, из строя вышла одна из таких батарей. Опять же, кто их менял, знает, что они тяжёлые, и самый удобный способ их таскать — примотать к руке скотчем. В общем, прибыл, починил, забрал неисправную, точно так же примотал — и назад. Только заходит на регистрацию в аэропорт, как — БДЫЖЬ! — встречается носом с полом. На нём уже сидят трое охранников и пакуют в наручники. Тащат в закуток, показывают сапёру. В итоге даже звонили нам, задавали наводящие вопросы: «А у вас такой работает? А что он мог нести? А как оно выглядит?»
Один раз отмечали сдачу банковского кластера в регионе. Команда админов приходит под конец работ, говорит, надо акты подписать. И подмигивает. Ну, думаем, всё, сейчас будет традиционная русская игра «спои москвича». Точно, акты, бутылка водки, хлеб, шпроты. Сами только пригубили — мол, нам ещё работать в ночную. Собственно, мы их к концу смены подстерегли и повезли в кабак уравнивать счёт. В кабаке рядом весело бухала другая компания, причём мужчина с женщиной решили потанцевать. Женщина закрутилась в танце и каблуком заехала по лицу руководителю ИТ-подразделения. Дальше началось нечто эпичное: «худые бородатые очкарики» весело повскакивали и начали драться. По ходу пьесы размазали «братанов» из другой компании по полу. Приехала милиция, огляделась, узнала в особо побитом главного айтишника. Лейтенант подумал и решил: «Этого я знаю, он серьёзный человек из банка. Айтишник. Сам начать не мог. Так, значит, вон тех забираем, а этих оставляем отдыхать».
Покупать обратный билет из командировки по срочному выезду — дурная примета. Если купил, то почти всегда профигачишь. На одном из выездов я как знал: едва успел сдать объект, уже бегу на поезд — и понимаю, что всё, он 5 минут как ушёл. На вокзале стоит мужичок, таксист, говорит: «Что, поезд твой ушёл? Давай догоним». И называет цену до следующей станции. Я говорю: «Ещё сотню сверху, если успеваем». И погнали на старой «девятке», нарушая всё, что только можно. Примерно треть дороги наш низколетящий истребитель сделал по встречке. Прибыли на место за 21 минуту до прихода поезда, и я дрожащими руками пил пиво, расплёскивая его на стол.
Иногда мы работаем на производителей как выездные инженеры, оказывая их сервис. Прикол в том, что в таких случаях нужно носить их футболки (или что там ещё из формы) и представляться не КРОКом, а вендором напрямую. Собственно, было два выезда в регион: профилактика в двух близко расположенных компаниях одного холдинга. На деле оказалось, что их обслуживает одна команда айтишников. Первый день: инженер подразделения представляется сам собой, всё делает, уходит. Второй день: едет в другую компанию и понимает, что у неё соседнее здание. На пороге стоят вчерашние знакомцы. На него внимания не обращают, ждут инженера производителя СХД. Он подходит, говорит:
— Я приехал вашу СХД смотреть.
— Да ладно, ты же из КРОКа. А мы тут инженера производителя ждём.
— Не, мужики, всё, я теперь там работаю. Пошли.
— Да?.. Оппа, даже корочка есть. Ну ладно, пошли.
В этом же городе был выезд, который удалось отменить в последний момент. Датчик на материнке показывает минус 42 градуса. Значит, датчик неисправен. Если датчик неисправен, значит, надо смотреть, что там с остальным железом, могут быть любые приключения. На всякий случай звоним туда, и они сообщают, что надо экономить электроэнергию. Поэтому они отключили все кондиционеры и открыли окно. Минус сорок два в помещении? Ну да, где-то так, всё в порядке.
«У нас упс не работает и мясом воняет» — отличное начало дня. Выезд, смотрим — на контакты линейки батарей пришла крыса. От тока она быстро, кажется, выкипела — в общем, её разорвало, и ею загадило всё вокруг. Обожаю работу инженера.
И последняя история, но это уже реально на грани байки. В определенные дни в ЦОДе на верхнем этаже здания у моря сбоила память в SAN-серверах. Просто сыпалась по непонятным причинам. Сыпется — меняем. Когда это повторилось пятый раз, вместо шуток стали рисовать график и пробовать найти закономерность. Уборщик посмотрел на команду админов и говорит: «А, вы тоже приливы-отливы отслеживаете!» Это не очень много объяснило. Единственная версия — на рейде стоял военный корабль с радаром ровно напротив ЦОДа. И, похоже, в «критические дни» его диаграмма направленности попадала как раз куда надо. Так ли это или нет, мы не знаем, но других объяснений нет до сих пор.
Комментарии (61)
Zyamilon
31.07.2015 11:02Благодарю за пост. Кошерные истории. Особенно порадовало про аэропорт и «расширенный набор оборудования».
А вот про вспышку не понял. Пардоньте, но может кто объяснить, в чем опасность и почему так происходит?
gx2
31.07.2015 11:04+7Предположу, что они перепугались вспышки, подумав, что это КЗ :)
DartAlex
31.07.2015 13:26+1И не только КЗ, вспышка от фотоаппарата сама по себе опасна. На подстанциях стоит защита как раз от электрической дуги, которая отлично срабатывает и на вспышку. Если сработает защита, разъединители автоматически отключатся, а если разъединители под нагрузкой пойдёт настоящая электрическая дуга. Так что фотоаппаратов особенно нужно бояться на подобных объектах.
mayorovp
31.07.2015 15:15Защита от дуги, вызывающая дугу?.. Разве перед разъединителями не должны отработать выключатели?
Alexeyslav
01.08.2015 23:40+3как-то вот так…
mayorovp
03.08.2015 06:52Это авария, а вовсе не штатная работа. Кстати, там в конце выключатель все-таки срабатывает, иначе дуга весело сверкала бы еще дольше.
bstdman
31.07.2015 11:12+2Монтажники испугались, что это вспышка от электрической дуги — в этом случае лучше бежать подальше
Alexeyslav
31.07.2015 11:47+6Рефлекс… если вдруг возникает что-то яркое при работе с высоким напряжением, то оттуда надо срочно уносить руки-ноги… рефлекс срабатывает раньше чем сможешь осознать что произошло.
gibson_dev
02.08.2015 11:33А если не срабатывает — значит ты уже не монтажник, да, такое должно в подкорках сидеть и бдеть постоянно.
6a6ypek
31.07.2015 11:40+2Женщина закрутилась в танце и каблуком заехала по лицу руководителю ИТ-подразделения
Либо женщину кружили, либо руководитель спал, свернувшись калачиком.
engine9
31.07.2015 11:57А есть истории, книги или может быть фильмы про монтаж высоковольтного оборудования, очень тема интересная.
И еще вопрос: минусовые температуры могут повредить компьютеры?yosemity
31.07.2015 12:15При минусе жестким дискам может стать очень плохо. К тому же открытое окно, это обычно повышенная влажность. Где-то не так давно проскакивала статистика, от гугла, вроде бы, что низкая температура (15 С) убивает диски быстрее, чем высокая. Оптимально что-то в районе 30, если память не изменяет.
phprus
31.07.2015 13:00+1Зимой открытое окно (особенно при -42) — это очень низкая влажность в помещении и хорошие условия для накопления статического электричества на оборудовании.
Iv38
31.07.2015 15:14Это когда холодный воздух попадает с улицы в помещение и нагревается — влажность будет низкой. А при установившихся -42 и внутри и снаружи относительная влажность воздуха будет как снаружи, где зимой она довольно высока, процентов 80-90.
mblp
31.07.2015 16:09+1вот только абсолютная влажность при минусовой температуре меньше. А содержание водяных паров в воздухе — это как раз абсолютная влажность, а не относительная.
При попадании с холодной улицы в теплое помещение абсолютная влажность не меняется (кол-во пара в воздухе), но относительная да, уменьшается. Вот только на кол-во пара в воздухе это никак не влияет.
darthslider
31.07.2015 12:23В первую очередь «оконный» воздух это влажность и пыль. Низкая температура сама по себе не так страшна.
Sp1D
01.08.2015 09:11+3Больше всего довелось посочувствовать парням, которые мыли один из элегазовых выключателей 110кВ перед торжественной сдачей крупной подстанции заказчику. Вот, кстати, он. Они сидели на нем верхом со всякими тряпками, когда внезапно релейщики его включили… Проверки делали или пошутили так, не знаю. Никогда больше не видел, чтобы люди с такой высоты слетали с такой скоростью. Напряжения, разумеется, не было и быть не могло, воздушная линия еще не была подведена к ПС, но эти выключатели в закрытом помещении включаются очень, очень гулко. Кого-то наверное и Кондратий хватить может, даже если просто стоять около такого выключателя в помещении, ничего не подозревая, а он включится или выключится.
Muzzy0
04.08.2015 10:24+5Я на ТЭЦ систему управления насосами запускал. Насосы на первом этаже (на уровне земли), а я в операторском помещении над машзалом. При отключении насоса закрывался обратный клапан, и от его удара стул под задницей подпрыгивал. Вместе с полом.
Щелчок мышкой — прыжок :)
hungry_ewok
31.07.2015 16:34+1>В этом же городе был выезд, который удалось отменить в последний момент. Датчик на материнке показывает минус 42 градуса. Значит, датчик неисправен. Если датчик неисправен, значит, надо смотреть, что там с остальным железом, могут быть любые приключения. На всякий случай звоним туда, и они сообщают, что надо экономить электроэнергию. Поэтому они отключили все кондиционеры и открыли окно. Минус сорок два в помещении? Ну да, где-то так, всё в порядке.
Хм. По аналогичному опыту когда в -35 в серверной из-за задурившего кондея приоткрыли окно и забыли про него — через полчаса прибежал злой главдевелопер с воплем «чтосцукассерверами?!». Ибо начали отваливаться диски, что неудивительно — когда к стойкам-то руки прилипают… Хотя на удивление — все обошлось и выжило.
degs
31.07.2015 17:51+12Из командировочных историй: знакомая девушка угодила в командировку, на поезде. Отьезд в четверг, в 00:01.
В ЧЕТВЕРГ ВЕЧЕРОМ она не спеша собралась, приехала на вокзал ближе к полуночи и узнала что поезд ушел почти сутки назад.
Юмор ситуации в комментарии кассирши: -Да не переживайте вы так, это рейс такой прОклятый. На него до 20% пассажиров бывает опаздывают.vorphalack
31.07.2015 20:21о да. несоответствие суток календарных и «человеческих» к чему только не приводит…
justaguest
31.07.2015 22:49+1Я по похожей причине умудрился пропустить один из первых туров соревнования от Яндекс :D
darthslider
04.08.2015 11:09Да, я тоже как-то купил билет на 0-10 на самолёт. Хорошо хоть вовремя всё понял.
vlivyur
06.08.2015 12:08+2Отец как-то возвращался домой с похода, еле успели к поезду. Садятся в него, а их не пускают: ваш завтра будет, а мы на сутки опаздываем.
ConstSe
01.08.2015 20:07+9Я в начале нулевых работал на приемке СЦ компьютерного магазина. Однажды клиенты притащили по гарантии монитор. ЭЛТ моник, производителя уже не помню. Крутючий моник по тем временам, покупался для дизайнера за большие деньги. Там и размер и цветопередача и куча настроек. Заявленная неисправность: не получается отрегулировать геометрию — что не пробуй, ровного прямоугольника не добиться. Ладно, оставили на тестирование, поставил к себе на стол, вечером с напарником покрутили регулировки — дефект есть. Время позднее, сидим пивко потягиваем, со скукой листаю мануал на этот моник… И вдруг на одной из страниц вижу текст (не дословно, пишу по памяти): «Если не удается выставить правильную геометрию — поверните монитор экраном на восток.». Мы несколько подвыпали в осадок, поворачиваем монитор вокруг оси и геометрия меняется! Клиенту отдали, ткнув пальцем в мануал и хихикая. Особо подчеркну: это не байка, это лично сам встретил. Многие не верят. :)
ConstSe
02.08.2015 00:13+6Вот еще вспомнил. Из того же временного периода. Приносят системник: не запускается. Подключаем, тумблер питания щелк (там еще AT, не ATX) — запускается и работает. Уходят. Приносят завтра: не запускается. Подключаем — работает. «У вас провода волшебные, чтоли?». Мы говорим: «Несите всё.» Принесли. Виновница — мышь! COM-портовая мышь.
hungry_ewok
03.08.2015 13:17+1Ага. Был похожий пациент; тоже AT, только виновником был подключенный к нему по lpt лазерный принтер.
В итоге чисто экспериментально, перебором, была найдена правильная последовательность включения и оформлена в инструкцию, потому что поменять тогда было не вариант…
Webnode
03.08.2015 16:19Верю.
Есть ещё вариант с ЭЛТ-монитором — просто положить его набок. ± 90гр.
Тоже впечатляет…Alexeyslav
03.08.2015 18:49Поднести магнит к экрану… впечатления и адреналин гарантированы.
vlreshet
04.08.2015 11:52А почему адреналин? Насколько я знаю — просто цвета сильно испортятся, разве нет?
Alexeyslav
04.08.2015 14:33Испортятся. И так и останутся, пока ячеистую сетку не размагнитить. А размагничиватель разумется в каждом доме есть, и даже два…
vlreshet
04.08.2015 15:05А встроенный в монитор разве не решает эту проблему? Я почему спрашиваю — у меня просто был когда-то старый элт монитор типа «ящик», и возле него стояли колонки, и вот время от времени он «синел» по краям, чётко там где были колонки. Тогда я заходил в меню, выбирал пункт «размагнитить», что-то щёлкало, изображение дёргалось, и цвета становились нормальными.
Alexeyslav
04.08.2015 16:21+1Не везде есть размагничиватель. И не везде он помогает. Попробуй неодимовым магнитом… штатная система размагничивания не поможет.
В своё время, помогло только устройство для размагничивания магнитных головок, в котором написано что нельзя держать кассеты во время работы ближе чем 10 метров от устройства.hungry_ewok
07.08.2015 18:27>И не везде он помогает. Попробуй неодимовым магнитом… штатная система размагничивания не поможет.
Как показал когда-то опыт одного коллеги — если повезет, то долго-долго щелкая штатным размагничивателем след от неодимового магнита из винчестера все же можно убрать. Впрочем, там было «поднес-испугался-отдернул», в случае «поднес и повозил по экрану» это уже не поможет.
А еще в свое время был монитор на котором частоту развертки настраивали утилитой Vesa tools (вроде так звалось). В процессе настройки экран схлопнулся сначала по горизонтали потом по вертикали, и когда включили опять — в центре экрана осталось пятнышко выгоревшего люминофора.
А еще был монтор на котором в люминофоре опять же выгорели две панельки Volcov Commander'а, причем рассмотреть их можно было и на выключенном…vlreshet
07.08.2015 18:47На работе у отца долго стоял монитор для видеонаблюдения, так на нём после выключения очётливо было видно 4 окна (4 камеры), контуры здания, и забора. Тоже выгорели.
Alexeyslav
07.08.2015 19:27И снова проклятие возвращается… ЖК мониторы тоже не лишены эффекта выгорания. Только он называется поляризацией кристаллов. И тоже панельки со временем начинают проступать на изображении. Хорошо еще что это лечится относительно безболезненно — активным скринсейвером с контрастными эффектами.
shtorman
01.08.2015 20:48+1Как многообразен мир!
Да сами не раз сталкивались, что для оборудования бывает нужно найти нужное место. А пару раз было что и нужную розетку!
Потому вопрос: кто каким оборудованием пользуется для замера там всяких наводок, параметров электрической сети и прочего внешнего. Того, что может приводить к описанным выше сюрпризам? (Понятно, что от всего не спасешься, но все же).
arkamax
05.08.2015 17:49+6В свои 16 в 90-е годы как-то подрабатывал у брата в компьютерной фирме, в основном на выездах — где память поменять, где процессор (тогда 90% города работало на технике, собранной в соседнем доме, возможно нами же). Очередной вызов — звонит брат, просит сгонять в ОблМВД, системник не подает признаков жизни, т.е. «ни единого писка». По обсуждению с тамошними технарями предположили полетевший процессор. Без проблем, на часах 6 вечера, в автобусах толкучка — процессор, конечно, в упаковке, но ни в карман, ни в сумку не положишь, не выживет в такой давке. Закидываю в кепку (рост 182, туда не достанут), так и еду с процом под шапкой… киборг блин. Приезжаю, открываю корпус, вытаскиваю старый проц. Сокет был еще старый, даже не LIF — корпус процессора приходилось отверткой поддевать, чтобы вытащить (уже не и вспомню ту серию процов — напомните? 486 вроде в LIF шли уже?). Соотвественно, новый процессор вставляется с «некоторым» усилием, от которого в процессе начинается прогибаться установленная на стойках материнка. Нифига, мы в тельняшках — пихаю под мать плоскогубцы, дабы подпереть, и торжественно загоняю проц на место.
Включаю. Светодиод питания, мертвые с косами стоят и тишина. На меня смотрит офицер МВД, а я смотрю на запитанный системник, под материнкой которого все еще лежат плоскогубцы (а видно это за крышкой только мне).
Именно тогда я понял всю важность poker face. Не дернув глазом, выключаю питание, вытаскиваю плоскогубцы, включаю. Заводится. Киваю головой, и *оперативно* уматываю оттуда. Брат долго ржал потом :)
realscorp
Обожаю такие истории. Надеюсь, в комментариях кто-нибудь еще поделится байками.