В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные. Банки делали их в 2006-2007-м, розница — с 2008-го. Почему так поздно? Потому что затраты на ИТ тогда ещё не казались чем-то таким же важным, как сейчас. Я вспоминаю историю, как моего заказчика чуть не уволили за простой в два дня по всей сети и заодно за другие особенности ритейла. Оказалось, многие в ИТ уже не верят, что так было.
А так было. Вот вам первая история из серии «да ладно, так не бывает» — про то, как магазин был зарезервирован по аналоговому модему для доступа к Интернету. Просто тогда был только один провайдер с волокном в этом месте, а из альтернатив — спутниковая тарелка или диалап. ЗССС — дорого, поэтому выбрали войс-модем. В один прекрасный момент экскаватор рвёт магистраль «Голден телекома». Они в это время перекладывали свою ВОЛС, поэтому временно не было резерва. Три дня магазин работает по модему. Днём 48 килобит в секунду, ночью 96 килобит в секунду. Как вы видите по скоростям, это был очень хороший Zyxel, он держался даже на шумной линии.
Я работаю в КРОК уже 15 лет, сейчас директором по развитию бизнеса в рознице. Исторически большинство моих проектов тоже в ритейле. С согласия заказчика публикую байки про то, на что был похож ритейл по ИТ лет 12 назад от себя и коллег. Безопасники заменили некоторые неважные детали, чтобы не обижать конкретных людей.
Интернет был нужен для отправки отчётов (при аварии их сразу решили отправлять потом, не приоритет) и для обновления цен по всей базе товаров немаленького магазина. Транзакция там длинная, если рвётся по тайм-ауту — всё заново. В общем, в первый день пробовали загрузить цены, но ничего не выходило. Одна команда разбиралась с ИТ, а вторая в это время по телефону записывала изменения вручную: в офисе и в магазине сидели несколько человек с распечатками. Чуть позже написали скрипт для импорта XLS-файлов, и стали отправлять почтой куски базы на домашний компьютер одному из админов, а он возил их на машине в магазин. В договоре с провайдером, кстати, авария не по вине оператора — первые три дня без штрафов, а дальше – 1/724 годовой суммы в час. На вопрос о компенсации убытков они махнули рукой и сказали: «Ну, следующий месяц услуги бесплатно!».
Тогда совет директоров смотрел на бумажки с описаниями возможных аварий и считал их маловероятными. Мало кто верил в то, что перебои в ИТ — это явление, а не разовые случаи, связанные с конкретными фамилиями. Только несколько случаев прямых потерь убеждали, что надо слушать этих странных людей в очках.
Вторая невероятная история про ошибку в ИТ. Крупная розница начинает разбираться в секрете успеха одного из партнёров. Дело в том, что у всех бизнес идёт явно по другому пути при той же модели. У него всё получается быстро, просто, и он примерно в 20 раз масштабировал бизнес за последние восемь лет. На том рынке это было примерно в десять раз больше, чем должно было быть по логике. Итак, начинают разбирать транзакции — и приходит понимание, что в SAP-карточке этого партнёра стоят умолчания, заведённые ещё десять лет назад для тестового клиента. А там немного другие множители по планам и вознаграждению. В итоге человек получает примерно в два раза больше, чем остальные партнёры. Розница провела внутреннее расследование. Выяснили, что это не сговор, а банальная случайность. А человек на этой случайности за десять лет построил крупный бизнес.
На одной из точек как-то воровал директор магазина. Точнее, корректировал вручную данные по кассам. Тогда это было можно, и ручной ввод воспринимался как приоритетный в сравнении со сгенерированным автоматически. Он три месяца был на испытательном сроке на этой должности и систематически создавал в конце дня небольшую дельту между отчётом и фактически принятыми деньгами в кассах. На 28-й день последнего месяца своего испытательного срока он написал заявление (неожиданно для офиса), и по процедуре осталось всего три дня на приёмку магазина. Естественно, инвентаризацию делали уже без него. Потери оценили в 700 тысяч рублей чистыми (цена Hyundai Sonata с «полным фаршем» на тот момент), и куда хуже было бы, если бы в этот момент магазин проверила налоговая. В итоге на него собрали доказательную базу, подали на него в суд. Судья звонит:
— Привозите дискетку с системой, мы посмотрим.
— Я не могу. У меня инсталляция SAP 32 терабайта. Это поезд дискеток.
— Да ладно вам, давайте я телефон наших спецов дам. У нас хорошие спецы. У вас же 1С там?
— Эээ… Лучше вы к нам приезжайте.
— Нет, к вам мы не поедем.
Форензику суд собрать не смог, и дело закрыли за недоказанностью.
В прошлые годы у нас в КРОК были случаи, когда надо было собрать форензику по атакам, и там мы уже приходили со специальными утилитами и делали слепки по терабайту, которые потом очень удобно изучать в виртуальной среде, понимая, что ничего в исходных данных больше не поменяется. Но тогда такое звучало как фантастика. Да и сейчас далеко не все в системах безопасности используют нормальную форензику, которая постоянно пишет такой образ у себя и собирает дополнительные данные со всех пакетов в сети.
На склад приходит оптика через соседнее здание. От соседнего здания — воздушный мост уже в заказчика. Cклад работает круглосуточно, но по ночам радиорелейный мост отваливается. Резервный канал — спутник, терминал прямо на крыше своего склада. Там хорошая скорость, 25 Мбит/с. По тем годам — космос как он есть. Но спутник — это большая сетевая задержка, минимум 0,8 секунды на прохождение сигнала от земли до спутника и обратно. Часть из этого — ограничения скорости света, ещё часть — куча преобразований на демодуляторах, работающих на протоколах с высоким коэффициентом избыточности. Аукается в итоге это тем, что складское оборудование начинает работать с задержками. При 0,1 секунды всё как часы, а при 0,8 — начинаются очень долгие обмены пакетами. Работник склада тыкает в паллету сканером, и дальше начинается хендшейк, отправка готовности, установка протокола, отправка пакета, отчёт о приёмке и так далее. Это уже годами позже появились протоколы, которые одним исходящим пакетом почти всё решают. Тогда надо было поменяться кучей данных с удалённой системой. В результате работа начинает реально тормозиться, потому что операции становятся долгими. Выстраивается очередь из машин, и к утру все в мыле. И так каждую ночь. Просто на соседнем складе вечером дёргают рубильник, и падает оборудование оператора оптики. Перенести канал невозможно: прокладка кабеля согласована владельцем площадки, а он даже не из России. Несколько месяцев сотрудники склада так и работали, пока не завели себе другого оператора — тоже радиомостом со здания за территорией, потом нормально оптику положили.
Склад фешн-ритейла, то есть место, где лежит огромная куча одежды в коробках. Там дико горели Wi-Fi-точки доступа Моторолы. Иногда просто слетала прошивка, а иногда они прямо реально сгорали. Они загружались с флешки, поэтому на складе был специальный человек с лестницей, который к ним подлазил. За несколько месяцев случилось около 60 инцидентов со сбросом прошивки, и сгорело полтора десятка точек. Грешили на производителя и сбойную партию, но после тщательного расследования выяснилось, что дело в статических разрядах. Пыль от синтетических тканей накапливалась так, что создавала проводник вокруг точки. Немного вибраций, всё это попадало одним концом внутрь, вторым — на линию питания где-нибудь. Если до этого слетала прошивка от статического разряда, точка отряхивалась на обслуживании. Если не везло — её пробивало уже серьёзнее. Повесили на точки заземление, это решило проблему на полгода. Потом точки стали опять гореть: смотрим, а заземление отошло от корпусов. Оказалось, перепады температур под крышей склада были такие, что постоянное сжатие-расширение просто кукожило и раскукоживало всё так, что жёсткая сцепка не выдерживала.
Частоты на радиомосты, конечно, по-хорошему, надо согласовывать, но тогда так почти никто не делал. Да и вообще народ был дикий. Пример. Одну из тарелок ЗССС в городской черте на магазине жильцы сбивали несколько раз. Потому что она излучает. Да, она излучает. Но вверх, в метре под ней уже можно жить годами. Но больше всего излучения вы нахватаетесь в фокусе, когда залезаете на крышу, встаёте ровно по пику диаграммы направленности и бьёте по тарелке палкой.
Про диких людей ещё вспоминается отличная история с терминалами на складе. За 3500 баксов за штуку на один из складов привезли в Россию одни из первых полноценных мобильных терминалов. Фактически это были защищённые по военному классу смартфоны. С ними можно было делать любые операции на складе. И вот работники склада регулярно приносили их с повреждёнными экранами. «Начальник, нэ работаэт!». Нет, ИТ-команда розницы понимала, что они их как-то портят, и скорее всего, — злонамеренно. Чтобы не работать. Чего никто не понимал — это как они это делают с учётом корундового экрана и, главное, зачем, если у них оплата сдельная, и они сами себе этим режут заработок. Как раз тогда в рознице почти повсеместно начали внедрять видеонаблюдение, и айтишники решили чуть ускорить проект на складе. У них там стояли и муляжи, и настоящие камеры. Они поменяли часть устройств местами и посмотрели, что происходит. Первая сцена: сидят двое на подножке погрузчика и пытаются наждачкой стереть экран. «Спорим, ты слабак, наждачкой пользоваться не умеешь?» — вот примерно такой был мотив. Они так разыгрывали новых работников. Оказалось, что реальная причина повреждений — заточенные монеты, которыми удавалось нанести хоть какой-то вред устройству. Но один такой потеряли полностью — на него просто поставили погрузчиком груз в несколько центнеров. Он был единственной точкой опоры и просто сплющился. Но продолжал передавать данные, то есть пострадала только периферия. Кстати, эти Ханивелы работали на складе без потерь, пока рядом сменилось два поколения Моторол.
Было много историй с дект-связью на складах и в магазинах. Во-первых, шифрование там почти отсутствовало (точнее, были всякие реверсирования спектра и иногда смена частот), поэтому все в районе могли слушать переговоры магазина. Как и в магазине соседей при определённом желании. Во-вторых, они удивительным образом интерферировали друг с другом: два разных вендора могли забивать частоты друг другу, в итоге нужна была гомогенная инфраструктура по трубкам. Кончилось тем, что ритейлер во всех магазинах стал строить связь на рациях, а потом ещё через пару лет пришли сотовые телефоны и нормальное покрытие.
В это же время ходили разговоры, что в магазинах будут внедряться терминалы сбора данных на новомодном вайфае. А это требовало широких резервных каналов. К счастью, в этот же момент появился Skylink: это широкополосная сеть (CDMA-800), и она зависела от состояния атмосферы куда меньше спутника. Переключались на неё, когда переходили на резерв — поднимали их терминалы-телефоны на удочках из окон, чтобы лучше ловило.
Сейчас мы много занимаемся консалтингом розницы в КРОК, но тогда практика в России была не очень распространена. Но есть одна замечательная история про это. Примерно десять лет назад мои уважаемые коллеги разработали бизнес-модель, которая бы убила тогдашнего единственного онлайн-продуктового оператора. Было видно, что многие процессы можно улучшить за счёт правильной организации логистики и ИТ, и это прямо очень сильно снижало себестоимость заказа. Сейчас нечто подобное использует Яндекс.Еда, но десять лет назад всё это смотрелось очень, очень странно. Зашли на пилот, взяли участок земли даже, но после определённых изменений в составе правления проект похоронили. Решили продать модель, просто описали в виде здоровенного проекта и поехали в Англию. Параллельно предложили тому самому нашему единственному онлайн-оператору. Его манагеры назначили встречу, попросили показать разные части процессов. Звучало как переговоры с Яндексом: «мы посмотрим, и если поймём, что сами не сделаем, то, может быть, купим». Но история не про это, а про то, что в ходе переговоров решили поехать на их склад. Там несколько этажей, по бокам здания лифты, и бегают люди туда-сюда. То есть разнорабочий берёт тележку, дальше начинает гонять по этажам и комплектовать заказ. Лифты — узкое место, перед ними огромные очереди. И это много лет так работает. Тогда на это пять минут посмотрели, потом предложили на встрече:
- Прямо сегодня сделать все левые лифты только на подъём, а все правые лифты только на спуск. Это очень упростит погрузку-разгрузку.
- Потом заняться физическим разделением тележек и людей. Пускай в лифте ездят только тележки с заказами, а заранее закешированные люди ждут их на этаже.
- Как почувствуете эффективность — вот, купите талмуд, где написано, как делать другие вещи нормально, а не такие азы алгоритмизации.
В общем, столько лет они нормально работали, а потом приехали какие-то козлы и показали им на очевидную вещь. До сих пор есть чувство испанского стыда за это. Талмуд не взяли, кстати, а склад у них сейчас уже новый, хороший.
Очень много раз слышал байки про то, что можно перепутать тест с продом. Казались фантастикой до определённого момента. Итак, в ночь с 31 декабря на 2 января (судя по состоянию страны, это одна сплошная ночь), как обычно это происходит в ритейле, была профилактика и апдейты. Среди прочего подняли новую тестовую инсталляцию SAP из трёхмесячного бэкапа и развернули её в отдельный тестовый сегмент, чтобы передать разработчиком на тесты. Сегмент заизолирован. 2 января начинаются звонки в поддержку:
— Почему цены квартальной давности?
— Нет таких акций уже!
Звонок спецам:
— Привет, парни! Вы инсталляцию развернули в закрытом сегменте?
— Да.
— Точно?
— Да, зуб даём.
— А проверьте ещё раз, пожалуйста.
— … Да, в закрытом. Хотя подожди…
Единственный мостик между закрытым тест-сегментом и продом был в системе мониторинга. Она общая между ними. А SAP даже в той ещё ревизии оказался очень хитрой штукой: он стучался сначала в свои адреса, а потом, когда не получал ответа, стучался вообще во все доступные. И достучался в итоге через мониторинг до кассовой подсистемы. И увидел, что её пора обновить. А тестовая база примерно четырёхмесячной давности, ну SAP и залил цены на прод. Возможно, ему было тяжело, но он справился. Потом сам прод залил туда новые цены. Возможно, тест почувствовал себя обиженным и снова залил свои. С трудом. И так продолжалось несколько раз.
Вообще, конечно, в те годы SAP был редкостью. Наличие его говорило о том, что розничная сеть смотрит очень далеко в будущее. Все делали 1С, допиливали его на коленке и ещё раз допиливали. Среди кассовых решений боролись несколько десятков (!) крупных офлайн-решений, причём наших и западных, проприетарных и свободных. Предлагали кучу всего, и каждое решение всё равно надо было допиливать. Из кадровых систем боролись SAP, Босс-Кадровик и 1С. 1С все тогда боялись, она была сырая. Вторая была более-менее понятным минным полем с известными багами, а третья — вроде как получше, но неразведанная и иностранная, и подорваться можно было где угодно. Боролись даже сами архитектуры — централизованная и децентрализованная. Мой коллега работал в жёстком дискаунтере, поэтому сразу поставили всё это на централизованную систему. Чтобы минимизировать количество оборудования в магазине, кроме касс ставили всего один модуль (компьютер и маршрутизатор) — и всё. Резервный компьютер был под столом. Маршрутизатор по мере необходимости привозили со склада вместе с молоком, потому что каждый день завоз. Админ не нужен был на точке. Кто-то типа директора или товароведа знал, как менять модуль и включать его. По соплям в сети многие помогали сами на месте, компьютерная грамотность людей была очень даже хорошая. На всю сеть из почти 700 магазинов и 3500 касс в ИТ-отделе было менее 100 человек, и это включая разработчиков, консультантов, админов, делопроизводителей и ИТ-финансистов. SAP-практика была 11 человек (для сравнения, у крупнейшего ритейлера страны тогда было порядка 2800 магазинов и более 2000 айтишников). Они же первыми в ритейле внедрили параллельную отчётность на in-memory и OLAP-технологиях. Это было почти космосом по тем временам, но породило несистемную конфигурацию. Переход с SAP 4.6 на 4.7 занял полгода, а потом ребята решили вообще остановиться на 4.7 и дальше не модернизироваться. Первыми в стране отказались от вендорской поддержки. А больше до них никто так не делал, и наши коллеги — представители вендора — не знали, как себя при этом вести: тогда они даже дали доступ ко всем SAP-нотам (это то, за что обычно и платят, основа поддержки), а потом уже другим стали давать только доступы к critical и security-нотам.
Теперь про Disaster Recovery. Если в 2005 году накрыло подстанцию, то в 2010 году уже горели торфяники в области вокруг города. А горели они потому, что была нетипичная жара. 56 дней в офисе крупной розницы кондиционеры работали с перегрузкой, то есть не справлялись. Но началось так: сначала просто поднялась температура по городу. Ввели в строй все кондиционеры, включая резерв. Более-менее хватило. Через четыре дня стало понятно, что история будет долгой, и наши клиенты из розницы начали ждать блэкаута. Электрики запустили профилактику дизеля, он прочихался и умер. Там погиб аккумулятор. Кое-как починили, перекоммутировали и убедились, что дизель сможет запуститься и проработать. В это же время администрация здания, где компания сидела арендатором, установила им квоту на электричество — их входящий луч был рассчитан с небольшим запасом на типовое потребление, и питания на всех не хватало с учётом кондиционеров. Ребята привезли этот дизель в контейнере, поставили рядом и включили. Каждое утро приезжали бензовозы заправлять его. Нужно было мерить температуру ЦОДа, а он тогда был без мониторинга. Повесили термометр, раз в час бегунок поддержки спускался с седьмого этажа на первый записывать его показания. А света на лестнице вечерами и ночью уже не было: в здании отключили всё некритичное. Когда первый сотрудник поддержки навернулся в темноте и чуть не уехал в больницу, им сразу выделили денег на автоматический мониторинг ЦОДа. Потом стало ещё хуже, квота дальше понизилась: дошли до того, что отключали часть кондиционеров в офисе и ставили вентиляторы. Это была очень непопулярная мера, и никто не понимал, зачем же так издеваться над людьми. Но иначе упал бы ЦОД, а у них централизованная архитектура. В итоге ребята пережили и вынесли для себя много уроков про DRP, но полностью независимую площадку начали делать только через год.
И напоследок байка про справедливость, которой желаю всем читателям. Цитата:
Итак, когда-то сеть была первым ритейлером, который запускал акции «Возьми 2 по цене 1» и «Возьми 3 по цене 2» на федеральном уровне. Это было в первую неделю июля, потому что летом падает спрос, и люди пропадают из Москвы. А в субботу в июле самый большой спад по неделе. Маркетинг решил, что нужно что-нибудь продать по акции так, чтобы люди пришли в магазины. Например, стоят упаковки яиц в два раза дешевле — народ пойдёт за ними и, глядишь, наберёт полные сумки. Мы всё настроили, перепроверили, запустили. В пятницу вечером сижу в ресторане с друзьями. Звонок:
— У нас диски посыпались! SAP упал! Аааааааааа!
Последний раз диски сыпались за три года до этого. Тогда мы восстановились за несколько часов. Ночь, магазины закрываются. Решили подниматься из бэкапа. И вот выясняется, что, чтобы полностью развернуть таблицу, свободного места стойки не хватает. Ночью решили восстанавливать уже кусками и класть всё на внешние жёсткие диски. Купили железок, собрали, но полностью всё восстановили только к утру понедельника. Полсубботы почти ничего не работало (включая склады), следующие полдня и воскресенье — работало только бизнес-критикал, то есть без акций и всего остального. Во вторник внеочередное собрание совета директоров, мне приходит отдельное письмо, что явиться обязательно. Прихожу:
— Добрый день. Увольнять будете?
Финдиректор долго на меня смотрит, молчит. Потом говорит:
— К тебе вопросов нет.
Ещё молчит, потом продолжает:
— Помним, ты нас предупреждал про резервную стойку. Вот тот документ, вот расчёты. Время прошло, можешь сказать, что нужно сейчас для полного резерва?
Я показываю документ, у меня всё давно посчитано. Финдиректор вздыхает:
— Эх, хорошо. Дорого, но всё равно меньше, чем мы на выходных сэкономили.
И подписывает.
Я стою в лёгком шоке. Во-первых, не уволили, хотя это обычный кейс для смены работы CIO. Во-вторых, дали зелёный свет на DRP. И что такое «сэкономили»? Потом, после совета уже выяснилось, что маркетинг обсчитался, и если бы акция запустилась, то был бы убыток больше, чем от простоя. Но самое удивительное в том, что ИТ-отдел в проблеме никто не обвинял, даже слова не сказали. Потому что мы предупреждали. С расчётами и графиками, что будет, и что надо сделать уже вчера. Регулярно.
Наверное, это единственный известный мне случай, когда в такой ситуации не искали козла отпущения именно в ИТ.
Ещё байки
- Байки про суровое российское ИТ.
- Байки «инженерного спецназа».
- Байки проект-менеджера.
- Байки дальних выездов.
- Моя почта — dsmirnov@croc.ru.
Комментарии (74)
tvr
08.10.2019 11:22дект-связью на складах и в магазинах. Во-первых, шифрование там почти отсутствовало (точнее, были всякие реверсирования спектра и иногда смена частот), поэтому все в районе могли слушать переговоры магазина.
Это вы точно про DECT-системы пишете? Или про зверинец из всеразличных радиотелефонов 30-39 МГц, 40-49 МГц (отлично слушались телевизором ), 300 МГц, 900 МГц, которые как раз в те времена были весьма распространены?
pewpew
08.10.2019 11:36+1… инсталляция SAP 32 терабайта. Это поезд дискеток...
А ведь и правда… Если дискета 3,5" весит 20 г. а грузоподъемность стандартного полувагона 12-132 около 69 т., получается примерно 4,7 Тб на вагон.
Это 7 вагонов дискет. И правда поезд.
А сколько времени потребуется чтобы из записать / прочитать, подсчитать ещё сложнее.
retail_Tsar Автор
08.10.2019 12:13+10Зато если поезд разгонится до 150 километров в час, то можно получить такую скорость передачи… Подключайтесь к Интернету через железнодорожные рельсы! Толщина рельса гарантирует вам стабильность и качество соединения! Резервирование 2N!
legolegs
08.10.2019 15:26Только линия должна быть не электрофицированная, на тёплом ламповом тепловозе. А то размагнитит электромагнитными полями дискетки.
IDDQDesnik
08.10.2019 13:17+4В данном случае надо смотреть на объем. В этот вагон входит 88 кубических метров. Картонная коробка из 10 дискет имеет габариты 94х96х39мм. Итого 10 вагонов.
anshev0
08.10.2019 12:04Вспомнилась и моя история примерно 12 лет назад. У крупного (значит заказов очень много) фарм-дистрибьютера склад переехал за МКАД, а офис ещё готовился. В это время подкрался экскаватор и прервал единственный (резервный только проводили), но очень широкий дорогой канал к складу. В итоге днём офис принимал заказы, вечером сервер в Газель, на улице -20, заворачивали в одеяла и везли, там включали в сеть, все заказы собирали, рано утром обратно. И так несколько дней пока не восстановили связь. Почти без потерь прошло. Бизнес не может простаивать.
zxweed
08.10.2019 12:06В итоге человек получает примерно в два раза больше, чем остальные партнёры. А человек на этой случайности за десять лет построил крупный бизнес.
В итоге наказали и изгнали, чтобы не высовывался больше, а сидел в заднице, как все остальные?
retail_Tsar Автор
08.10.2019 13:17+1В итоге просто привели параметры системы в соответствие. И обоюдно сделали вид, что так и было. Зачем же обижать хорошего человека, раз сами лохи!
skrimafonolog
09.10.2019 08:15В итоге просто привели параметры системы в соответствие. И обоюдно сделали вид, что так и было. Зачем же обижать хорошего человека, раз сами лохи!
А что такое в контексте «Партнер»?
Покупатель, поставщик, сотрудник?
DarkWolf13
08.10.2019 13:05+1все очень весело когда вспоминаешь сейчас за бокалом чего-нибуть хорошего, а когда сам сталкивался с подобным было не до смеха… резервные каналы по диал апу это тоже многие использовали а потом офигевали почему не получается цены и номенклатуру обновить… в пром автоматизации резервирование и зип тоже выступали как статьи экономии и фактические закладывался возможный финансовый резерв, а в реалии на одном из автозаводов одна маленькая линии стояла месяц потому, что нужный специалист не мог подъехать, и искался процессорный модуль ввиду отсутствия ЗИПа как такового… а разбор ЧП когда архивный сервер либо с маленькой глубиной архива (пару недель), либо без резервирования, а ситуация требует разбора на месяц… полгода. Вообщем иногда те кно сэкономил сейчас потом платят чуть ли не в 100 раз больше и иногда наказывают тех кто это предвидел…
AllexIn
09.10.2019 09:49Почему? Это же просто работа.
Будучи фринансером/удаленщиком — сталкивался с ситуациями, когда и генератор приходилось с пеной у рта бегать покупать и резервные каналы искать(у меня дома сейчас их три, два из которых в автоматическом режиме переключаются).
Если же человек просто сотрудник на зарплате — то его эти авралы особо не должны нервировать. Возникла проблема — вперед решать. Это владелец бизнеса потеет, у которого простой.DarkWolf13
09.10.2019 12:26дома на балконе я тоже себе завел генератор и даже приходилось заводить его пару раз (соседи не ворчали)… проблема в том что на основе опыта уже предполагаешь возможные риски исходя из планируемого времени жизни и работы изделия… и вот когда что-то из описанного сбывается вспоминаются слова из песни:… но и провидцев, впрочем как и очивидцев, во все века сжигали люди на кострах…
eStellar
08.10.2019 15:07+1Вообще, конечно, в те годы SAP был редкостью. Наличие его говорило о том, что розничная сеть смотрит очень далеко в будущее.
Розничная сеть «Седьмой Континент», она-же «НАШ Гипермаркет». Использовала SAP, обанкротилась и продала свои точки до 2017 года.dmitrybelsky
08.10.2019 16:54Там была какая-то попытка запустить Business One, такой недосап. Неуспешная.
Седьмой континент был вообще непрофильным бизнесом для собственников, гораздо эффективней помещения в аренду сдавать
Areso
08.10.2019 20:28+1Шел 2011-ый, небольшой городок на краю обитаемой вселенной, там компания, в компании бухгалтерия и все такое.
И повелось такое, что в этом городе единственный провайдер-монополист был, кхм, крайне необязательной конторой. К примеру, 31 декабря он как-то еще обычно держался, а вот 1-го января обычно падал и до конца праздников.
Такое случалось не только на Новый Год, но также на 8 марта, на майские и так далее.
Вот-с. В качестве резерва был dial-up модем, потому что сотовая связь тоже использовала мощности провайдера-монополиста. В чек-лист админа входила ежемесячная его проверка путем дозвона и выхода в Интернет, причем номеров было два — местный и иногородний с поминутной тарификацией связи поверх поминутной же тарификации выхода в Интернет.
И да, один раз таки спасло компанию от крупных штрафов (нужно было сдавать отчетность, выпало на праздники, Интернет у монополиста перестал работать в очередной раз).
DmitrySpb79
08.10.2019 23:50Безопасники заменили некоторые неважные детали, чтобы не обижать конкретных людей.
У вас в КРОК похоже локальный Чебурнет уже наступил, и ни один текст нельзя выложить без подписи товарища майора? Ссылка на безопасников в каждой статье упоминается…
Телефоны на входе в офис тоже сдаете? Формы допуска, секретные прошитые тетради и все такое… ;)
TimsTims
09.10.2019 00:26Это нормальная практика для большой и ответственной компании, у которой много важных клиентов, которые не хотели бы, чтобы их «сдали».
DmitrySpb79
09.10.2019 07:10Да, это нормально, скрывать персональные данные клиентов, NDA и все такое. Но достаточно ведь здравого смысла для этого, без подписей, утверждений и согласований. Хотя может Крок гос.контора и есть с большой бюрократией, хз.
aik
09.10.2019 07:26Вы можете посчитать, что достаточно скрыли, написав "был у нас в клиентах некто *ванов". Просто потому, что это не ваш профиль, фамилию не написали полностью — и типа никто не узнает, про кого именно говорите.
А у специально обученных людей есть процедуры для обезличивания текстов, которые не на ровном месте придуманы.
Ибо чем крупнее контора и чем серьёзнее её клиенты, тем больнее может аукнуться случайная описка. И лучше подуть на воду.
furtaev
09.10.2019 02:56Просто несмотря на то, сколько лет прошло и как всё поменялось в IT, собственниками розничных сетей остаются всё те же самые конкретные и очень обидчивые
пацаныперсонажи.
Am0ralist
09.10.2019 10:33Ссылка на безопасников в каждой статье упоминается…
По мне это указание на то, что сие не слив нехороших историй с клиентами, а вполне себе официальный рассказ, без указания на личности и возможно даже согласованный с клиентом.
Как клиент я сомневаюсь, что все читающие хотели бы, что б какие-то спорные истории и факапы в свет выходили, и чтоб контора, их решавшая, могла просто так взять и слить инфу. А без этого указания у читающих может сложиться именно такое мнение.
TimsTims
09.10.2019 00:36мои уважаемые коллеги разработали бизнес-модель, которая бы убила тогдашнего единственного онлайн-продуктового оператора
Кажется речь про Утконос — они в 2008 были чуть ли не единственные (кроме азбуки вкуса кажется), кто привозил продукты домой. Я у них даже поработать успел). Они говорили, что у них покровитель — мэр Москвы (и гуглится на раз два), поэтому им выдают кучу дешёвых помещений, поэтому они могут неплохо конкурировать по ценам с другими магазинами, сильно экономя на аренде.
Там из проблем, помимо всего прочего, было то, что каждый день для газелей задание на доставку продуктов выдаётся полностью рандомно, без какой-либо логистики. Одну газель могли пустить в 3 точки в самых разных концах города. Каждый день — разные точки и разные маршруты (хотя во все магазины нужно подвозить продукты 2 раза в день). Все водители жаловались, но не могли ничего поделать. А самый прикол был в том, что если человек заказал продукты, и пришел за ними в назначенное время в магазин, а их еще не привезли (или привезли не то), то администратор магазина дико извинялся, и выписывал клиенту скидку на следующий заказ, равный стоимости непривезённого товара! Один дядька заказал хорошего бухла на 10 тысяч, и не очень так расстроился, что ему его не привезли :)
Еще был прикол — в магазине продавался йогурт, типа такого, где 1 упаковка товара — это 4шт. йогурта соединенные вместе, и стоил такой товар сразу 32р (а везде продавали поштучно по 8р). Ну и вот одна клиентка заказала сразу 4 таких упаковки по 4 йогурта (16 йогуртов), а ей привезли разделённые 4 йогурта, по 32 рубля каждый :). Она подняла скандал, ей тоже скидку на следующий заказ выписали.mikelavr
09.10.2019 10:12У меня лично был случай с Утконосом в те годы — заказал продуктов на несколько тысяч рублей, половину не привезли, еще половину я забрал, заплатив на кассе с учетом скидки пять рублей… Потом этот магазин закрылся. Чувствую себя слегка виноватым.
JPEGEC
09.10.2019 04:19В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные.
А почему страна вообще заметила эту московскую проблему?aik
09.10.2019 07:19Потому что "умные люди учатся на чужих ошибках"?
JPEGEC
09.10.2019 07:22Чтобы учиться нужно ее заметить. Об этом и был вопрос.
Что было в этой проблеме такого что заметили не только москвичи сидящие на фидере этой подстанции а все в стране?aik
09.10.2019 07:27Авария в энергосистеме 25 мая 2005 года в Москве — крупная авария в энергосистеме, в результате которой на несколько часов была отключена подача электроэнергии в нескольких районах Москвы, Подмосковья, а также в Тульской, Калужской и Рязанской областях. Несколько десятков тысяч человек оказались заблокированы в остановившихся поездах московского метро и лифтах, было нарушено железнодорожное сообщение и парализована работа многих коммерческих и государственных организаций.
Достаточно заметно, я думаю?
JPEGEC
09.10.2019 07:35Жителям от Урала до Чукотки и Камчатки, я думаю, не особенно и заметно. Разве что в новостях с недоумением прочитали.
Чтобы было заметно, должно как-то затронуть. Чем лифты и метро затрагивает тех кто дальше 100км от места событий? Из описанного непонятно.aik
09.10.2019 08:03Тем, что это чужая ошибка и на ней надо учиться. Умному.
А глупому, который прочитает в новостях и выводы не сделает, научит только собственный опыт.JPEGEC
09.10.2019 08:10Смотрите, прочел человек о том что в москве остановились лифты и метро. И отсюда он делает вывод что нужно делать резервные серверные?
А до того значит перебоев с электроэнергией не случалось? Времена, когда электроэнергия поступала на 2 часа в сутки прочно забылись? А теперь прочел новости про Москву и сразу понял что надо? И не резервным питанием озадачиваться, а непременным строительством новых серверных?
Как-то не стыкуется на мой взгляд.aik
09.10.2019 08:19Раньше у человека была центральная серверная в Москве. С ИБП, может даже с генераторами. И локальные отключения энергии он вполне мог пережить.
А вырубается полгорода, то даже от того, что у него серверная жужжит, то не работают каналы связи. Ну или работает тот самый резервный модем на 56К. И регионы просто не могут туда подключиться. И тоже вырубаются. А были бы у них свои серверные, то они бы даже и не заметили московских проблем. Ну или только по окончании смены что-то начали бы подозревать.
JPEGEC
09.10.2019 08:30Уже не метро. Хорошо.
Тогда вопрос:
Если регион живет сам по себе, то на кой ему серверная в Москве? Только лишние проблемы при повсеместно фиговом качестве связи.
Если же речь о связи регионов через центральную, то чем им помогут свои серверные? Тогда уж дублировать центральную все в той же Москве.
Ну и называть словом «все в стране» тех кто держал свои серверные в Москве сильный перебор на мой взгляд.aik
09.10.2019 08:43Что "не метро"? Остановившееся метро — это показатель степени тяжести проблемы. Если бы просто сгорела подстанция и отрубило несколько офисов, то это ну удостоилось бы даже упоминания в новостях.
Регионы сами по себе жили разве что в девяностые. А в нулевые начала приходить Москва, от них остался независим ларёчный бизнес только. А все крупные конторы, которые приходили в регионы, начинали с центрального сервера в Москве. И кто-то делал локальную серверную, а кто-то не хотел тратить деньги и считал, что лучше в Москве дополнительный сервер поставит. Я такое наблюдал на примере сотовой связи. МТС у нас в регионе сразу коммутатор поставила, а Билайн довольно долго на московском сидел — с московскими же тарифами. Было хорошо тем, кто в Москву часто ездил, но не слишком хорошо местным. Ну и когда были проблемы с центральным коммутатором, то страдали несколько областей. А потом и Билайн тут областным коммутатором обзавёлся.
дублировать центральную все в той же Москве.
События же показали, что вполне может так шарахнуть, что как ты серверную в Москве не резервируй, это не спасёт. И вторая серверная в Москве тоже не спасла бы.
JPEGEC
09.10.2019 08:45Регионы сами по себе жили разве что в девяностые. А в нулевые начала приходить Москва, от них остался независим ларёчный бизнес только. А все крупные конторы, которые приходили в регионы, начинали с центрального сервера в Москве.
Понятно. Вопросов больше не имею.
skrimafonolog
09.10.2019 08:58Регионы сами по себе жили разве что в девяностые. А в нулевые начала приходить Москва, от них остался независим ларёчный бизнес только. А все крупные конторы, которые приходили в регионы, начинали с центрального сервера в Москве.
Не совсем так.
DNS — Владивосток.
Такси-Максим — Курган.
Дубль-ГИС — Новосибирск.
Бахетле — Казань.
Мария-Ра — Барнаул.
В регионах и своего крупняка немало имеется.aik
09.10.2019 09:08Москва тут просто примером послужила, единой точкой, куда всё завязано. И как на этой точке не резервируйся, всё равно может так шарахнуть, что она выйдет из строя.
А так-то ваша личная "москва" может и во Владивостоке быть.
TimsTims
09.10.2019 08:26Потому что большинство ЦОДов и представительств крупных бизнесов расположены вокруг Москвы. Они и заметили, и приняли для своих бизнесов определенные решения. А хлебопекарни в Сибири как работали, так и работают.
Am0ralist
09.10.2019 10:38Потому, что куча бизнеса — связано с столицей. Что банки — связаны с столицей.
Ну и наконец, крупный бизнес из столицы приходит в регионы и свои практики с собой несёт. А остальные потихоньку их перенимают.
skrimafonolog
09.10.2019 08:46В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные.
А почему страна вообще заметила эту московскую проблему?
Потому что «умные люди учатся на чужих ошибках»?
Чтобы учиться нужно ее заметить. Об этом и был вопрос.
Львинная часть денег (а также хозяев бизнесов, что принимают решения по серьезным вопросам, вроде выделения кучи бабок на резервирование) — находятся именно в Мск.
Так что умные люди имели возможность заметить.JPEGEC
09.10.2019 08:47Так что умные люди имели возможность заметить.
Мне просто любопытно, вы различаете «умные люди» и «вся страна»?skrimafonolog
09.10.2019 09:06Мне просто любопытно, вы различаете «умные люди» и «вся страна»?
Это было лично про вас, а не про всю страну.
Не хочется обижать вашу сообразительность, но:
Вам уже 2 раза рассказали, что большая часть решающих за бизнес в Мск.
При чем тут вся страна? Это вы что-то свое выдумали.
Большая часть решений крупного бизнеса принимается в Мск.
Сам-то я из региона и мне прекрасно известно о существовании крупного бизнеса и в регионах, пример:
DNS — Владивосток.
Такси-Максим — Курган.
Дубль-ГИС — Новосибирск.
Бахетле — Казань.
Мария-Ра — Барнаул.
Но все же львинная доля куда тратить деньги — решается в Мск.JPEGEC
09.10.2019 09:08При чем тут вся страна? Это вы что-то свое выдумали.
В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные.
При этом.aik
09.10.2019 09:10Если вам нужно обязательно разжевывать все выражения, то читать это предложение нужно как "В 2005 году в Москве вылетела подстанция, и все в стране <у кого бизнес был завязан на единственную центральную серверную, без которой вставали все филиалы> внезапно поняли, что нужно делать резервные серверные. "
skrimafonolog
09.10.2019 09:11При чем тут вся страна? Это вы что-то свое выдумали.
В 2005 году в Москве вылетела подстанция, и все в стране внезапно поняли, что нужно делать резервные серверные.
При этом.
Еще раз:
Львинная доля куда тратить деньги в бизнесе — решается в Мск.JPEGEC
09.10.2019 09:15Я понял вашу точку зрения так что все кто не имеет серверных в Москве недостойны упоминания?
skrimafonolog
09.10.2019 09:22Я понял вашу точку зрения так что все кто не имеет серверных в Москве недостойны упоминания?
Разве что у вас в голове сложилась такая картина.
Но в тексте статьи никто регионы не обижал.JPEGEC
09.10.2019 09:30Ну а как иначе? Есть огромное количество серверных не имеющих никакой связи с Москвой. Случившаяся неприятность в Москве никак их не тронула.
Но внезапно говорят про «все в стране внезапно поняли, что нужно делать резервные серверные» а вы объясняете это «Львинная доля куда тратить деньги в бизнесе — решается в Мск».
Я вижу только один вывод — те кто не в Москве не стоят упоминания.Am0ralist
09.10.2019 10:41Потому что это затронуло кучу народа, а бизнесмены между собой общаются регулярно и между регионов, обмениваясь подобной информацией. И эту проблему заметили не только те, кого коснулось, но и всех прочих в этих же отраслях. После чего они вспомнили, что их админы постоянно таскают бумажки с описанием, что будет если вдруг придет пушной зверёк и там указаны достаточно весомые (хотя и не всегда) суммы на резервы, но эти бумажки всегда отклоняли по причине «ой, ну это же редко когда случается, а денег нет, но вы — держитесь». Всё таки бизнесмены обычно умеют складывать 2+2.
JPEGEC
09.10.2019 10:49Какую проблему? Что вылетел фидер в Москве?
Ну так в регионе он раз в два дня вылетает. Это необходимость резервировать питание, как правило давно внедренные.
Причем тут новые серверные тем более после новостей из Москвы?
Попытаюсь еще раз донести мысль.
Пропажа питания не требует создания новых серверных.
В регионах это постоянная проблема, и она либо не волнует либо уже давно решена.
Новость из Москвы волнует исключительно тех у кого мощности в этой самой Москве.
Нет тут места для «все в стране внезапно поняли, что нужно делать резервные серверные».Am0ralist
09.10.2019 11:11Ну так в регионе он раз в два дня вылетает.
Странно, я из региона. У нас не вылетает. У нас вообще подобных блэкаутов не помню особо. Вот когда слесарь самоубился сам и накрыл всю систему отопления в самые морозы — помню. Думаю, вся страна наблюдала и многие сделали какие-то выводы.
И нет, резервы делали те, у кого проблема была. Так такие же люди и до этого в Мск так же делали. Но тут показало, что писец может прийти глобальный. И показало — всем. Что вот эти рассказы админов «а вдруг у нас полка вылетит» — что это не просто выбивание бабла под вымышленные проблемы
И да, мне подобное раз заявлял начальник мелкой конторы, где я работал, в духе: ну это же шансы не велики, зачем нам новый жесткий диск для бекапов, денег на это нет. Я уволился в течении нескольких месяцев, ещё через пару месяцев мой прогноз оправдался и они потеряли кучу данных за много лет аудита. Так вот, такие люди начинают что-то понимать только если это с ними уже случилось раньше, либо если это случилось с соседями, причем крупно и наглядно.
Так что когда говорят вся страна — конечно преувеличивают, ибо кто-то и до этого понимал. Но до других это тоже стало доходить — что их соседи, например, не идиоты, которые выкинули кучу бабала на ненужную систему резерва, вместо того, чтоб в бизнес вложить. К сожалению, руководители в бизнесе так же подвержены когнитивным искажениям, влияющим на оценку риска, и если по по опыту или на слуху нет примеров реализации этих рисков. Да даже просто недооценки бездействия, потому что материальные траты же обычно значительные, но выгоды от них — может не быть никакой.
Это как шифровальщик, которые одну медлабораторию поразил, парализовав бизнес на неделю. После этого у нескольких контор резко возрасли траты на IT, ага.
aik
09.10.2019 07:34По генераторам — в первой половине нулевых работал в одной конторе с филиалами по райцентрам. В одном из них и работал. Электричество тогда отключали постоянно, но генераторы по офисам ставить не хотели. Было решено, что офис должен протянуть (отключив всякие холодильники и кондиционеры, но обслуживая клиентов) до приезда генератора из областного центра (если отключение планируется надолго). Так зондер-команда с генератором и моталась туда-сюда. Но везло, не было такого, чтобы сразу в двух местах в один день их вмешательство понадобилось.
o4karek
09.10.2019 09:29Интересно, а кто-нибудь сопоставлял затраты на «мечущийся генератор» и на стационарный? Ну хотя-бы за полгода-год?
aik
09.10.2019 09:36Ну стационарных-то пришлось бы ставить несколько штук. Плюс площадки под них, плюс персонал дополнительно обучать, плюс следить за топливом и чтобы его бомжи не выпили…
А с передвижным обходились одной командой и одним генератором. Ну может двумя, чтобы резерв был на всякий случай, если первый занят или не работает.
Потому, думаю, всё же считали. Тем более, что не на каждое отключение генератор выезжал — а только если подтверждалось, что это надолго. 2-3 часа офис вполне мог протянуть на своих аккумуляторах.o4karek
09.10.2019 10:06Понятно, что ген надо было несколько (и есть еще расходы). Но все равно — интересно :)
ЗЫ: Хотя вот про бомжей, употребляющих ДТ — это новое бесполезное знание в моей голове…aik
09.10.2019 10:15Ну, про выпили это так, для красного словца. :)
Но слить и куда-то употребить вполне могли бы, загнать кому-нибудь.
Да и с самого генератора что-то открутить вполне могли бы. Охрана и сигнализация были, конечно, но скорость реакции у них далеко не моментальная.
balamutang
09.10.2019 14:02Станционарный еще надо с экологией согласовывать, чтоб там труба не дымила в окна — поднимать (исходят из того что станционарный будет работать постоянно), в общем там такое днище ада, что лучше не надо :)
Valeratal
09.10.2019 10:55у одного партнера стояли иные (сильно иные) коэффициенты и никто этого долго не замечал?
у этой организации было очень много денег и отсутствовал хоть какой-то контроль внутри? :)
Обычная практика в компаниях- ежемесячный отчет — обороты партнеров, их бонусы, вот это все. И перца, который резко! выделяется от других, было бы сразу заметно
Jungo
09.10.2019 14:11розница и опт для молодежи и профессионалов со стажем я думаю, людей умеющих быстро принимать решения, а с скупыми собственниками так вообще может превратиться в кошмар
помню как у нас были войны за интернет, местечковый провайдер продавал 10 мбит за 20 тр причем по лимиту в 10 ГБ в месяц скажем — а все что сверху еще по рублю, счета могли быть и на 40 тр, тогда мы поставии Хиршманн, на крыше, нам их ломали скидывали с крыши
решение было найдено мною быстро — я поставил точку доступа в кондиционер, вынул их него теплообменник, такая связка проработала около 5 лет с абоненткой по 300 руб. в месяц, от местного интернета все равно не отказались, уменьшили тарифную скорость до минимума и оставили как резерв
в целом розница и опт это хороший опыт, который к сожалению нужен только в этой области.
Но сейчас мне лучше когда я пишу плейбуки и занимаюсь серверами, а розницу вспоминаю как ступень которая ограничивала тебя в росте. Всё было как пишут, и поездки с жесткими дисками, и обмены по 1С через skylink на палке, и различные скуд и биометрика, камеры и шпионаж, включая международный, возможно даже где-то были и убийства о которых я не знаю, скандалы интриги и расследования… увольнения, сопли и срывы, воровство.
И у меня сложилось возможно ошибочное мнение что вся розница почти такая, в России
apcsb
10.10.2019 23:26>>Кстати, эти Ханивелы работали на складе без потерь, пока рядом сменилось два поколения Моторол.
Может, модель из баек подскажете?
Не могли они тогда быть Honeywell'ами — могли быть Intermec, HHP, LXP и еще пара контор, которых HON уже ПОТОМ купил и много лет этот зоопарк переваривал (в основном, просто дропая модели к вящей радости заказчиков).
Akhmad
Спасибо, местами забавно, местами знакомо. И все равно я прочит «Зюксель» ))))
Metotron0
Я даже отмотал посмотреть, что же там было написано, потому что я прочитал «зухель». Всё нормально, там зухель, только латиницей :)
kisaa
А я не совсем понял про голосовой модем на 96 кбит/с. У них разве не 56 потолок был?
CentALT
Дети не заметят, взрослые улыбнутся. Умеют в КРОКе х.р в уши пихать как в анекдоте про пиз… ов задушевников.
skrimafonolog
Не совсем потолок 56, есть же еще методы разгона сверх физических ограничений линии: