В нашу лабораторию небольшим, но стабильным потоком потекли железки, которые раньше обслуживались в сервис-центрах производителей. Вместе с ними появились и новые загадочные случаи с почти необъяснимыми багами. Скажу честно, что мы не были к этому готовы, но стараемся изо всех сил.

Сегодня расскажу о том, как искали причины и устраняли одну такую странную поломку в ASA, а заодно объясню, как наш отдел справляется со сложившейся ситуацией.

Меня зовут, Андрей Тарасов, я руководитель группы поддержки сетевой инфраструктуры в КРОК. Мой отдел занимается поддержкой корпоративных проводных и беспроводных сетей, фабрик коммутации, систем обеспечения безопасности, телефонии и видеоконференцсвязи.

Железа мы раньше почти не касались, все оно по гарантии уезжало производителям, а мы просто ставили оборудование на подмену. Однако теперь с проблемами часто приходится разбираться самим, и за помощью обратиться некуда. Так что мы организовали новую, пока еще во многом импровизированную лабораторию и примерили на себя роль хардкорной железной техподдержки. 

Большинство неисправностей, с которыми мы столкнулись за последние месяцы, связано с сетевыми коммутаторами. Где-то горят блоки питания, где-то нужно перезалить образ, где-то просто сбросить настройки к заводским. Однако попадается и техника посложнее. Так, уже пришлось изучить несколько неисправных межсетевых экранов.

У одного возникла проблема с жестким диском — типичная неисправность, которую несложно устранить. В другом сгорел микроконтроллер, который отвечает за шифрование.

Тот самый криптопроцессор
Тот самый криптопроцессор

Из любопытства я нашел этот чип на eBay в составе сетевой карты, которая продается за 30 долларов. Копеечная деталь, но межсетевой экран пришлось отправить на склад, дожидаться, пока восстановятся логистические цепочки. А вот третий ASA заставил нас попотеть и почесать в затылке.

Загадочная циска

Это был Cisco ASA5525 с простым анамнезом: включается, но не загружается. Как водится, экран нормально работал, но внезапно и без видимых причин сломался.

Начали разбираться: подсоединились удаленно и увидели, что BIOS стартует, находит устройства на материнской плате, но затем выдает ошибку: «No images in / Error 15: File not found». ОС не загружается, будто ее и нет. Пришлось ехать на место, в надежде разобраться лично.

Наверняка давно разработаны методички для таких случаев, но то у вендора, мы же полагались на логику и здравый смысл. Первым делом решили проверить загрузку с USB-носителя, но контроллер не нашел USB-устройств.

Так как сетевые интерфейсы загружались, залили ISO на TFTP-сервер и указали загрузчику путь до него. Это сработало, ASA загрузился до конца, но USB-порты так и не заработали. 

При попытке прогнать тесты для внутренней флэш-памяти, на которой находится загрузочный образ, ASA выдал ошибку: There are one or more sw-modules running on the system. Please shut down the sw-modules before attempting to run fsck on flash. При записи в память: Error copying system:/running-config (Not enough space on device). Error executing command [FAILED]. Форматированию она также не поддавалась.

Симптоматика наводила на мысль о неисправности встроенного флэш-накопителя, но замена проблему не решила. Эксплуатировать экран в таком виде, конечно, нельзя, так что пришлось установить запасной и вести злополучную железку на вскрытие в лабораторию.

Поиск решения: 3 тупика и верный путь

Далее начался этап занудного гугления и поиска технической документации, но в нем нет ничего интересного, в отличие от конструкции и программной архитектуры ASA.

Для начала немного о софте. В телеком-системах Cisco используется трехуровневая загрузка. Первый уровень — BIOS, который, как и положено, стартует сразу после включения. Потом управление передается ROMMON — это подпрограмма начальной загрузки, которая инициализирует оборудование и загружает третью часть ПО — Cisco IOS. Таким образом, чтобы исправить проблему, нужно понять, на каком этапе загрузки происходит сбой.

Cisco ASA имеет схемотехнику обычного сервера, и для начала коллеги решили подключить к нему стандартную серверную диагностическую карту и посмотреть по кодам ошибок BIOS, почему устройство не загружается до конца.

Карта действительно выводила коды, но какие то-то странные. Они совершенно не сходились с инструкцией и не поддавались расшифровке. Все, что мы поняли: загрузка доходит до какого-то места и очень долго висит на одном коде, хотя должна идти дальше. Интересно, но, с практической точки зрения, это тупик.

В то же время мы изучили разводку материнской платы. Оказалось, что внутренний флеш накопитель с Cisco IOS висит на USB-контроллере. Контроллер же, напомню, не находит никаких устройств. Возможно, из строя вышло плечо.

Первое время работали с железом почти на коленке
Первое время работали с железом почти на коленке

На материнской плате было 8 USB-портов. Причем схематически они распределены на 2 независимых контроллера, висящих на разных прерываниях, по 4 порта на каждом. Попробовали перепаять flash-память на порт второго контроллера. К сожалению, это не помогло.

Еще мог сгореть южный мост на материнской плате, но эту гипотезу не проверить без его замены. Мало того что это трудоемкое дело, так еще запчасть взять негде. Еще один тупик. Однако все возможные варианты неисправностей еще не исчерпаны, тем более в наличии был подходящий программатор. 

Для начала один из наших инженеров снял дамп с микросхемы с настройками пользователя. Объем памяти там всего 4 КБ. Внутри хранятся IP-адреса, название образа, откуда следует загружаться системе, и путь к нему. 

Ниже центра кадра расположен SMT-чип, а в левом верхнему углу— EEPROM
Ниже центра кадра расположен SMT-чип, а в левом верхнему углу— EEPROM

Предположили, что какие-то пользовательские настройки могут влиять на то, что система не видит USB-контроллер. Перепрошили схему и вернули на место, но и это не решило проблему.

На следующем этапе исследований мы извлекли чип, в котором хранятся BIOS и ROMMON. Слили дамп и стали изучать код. По нему было ясно видно, сколько места занимает BIOS, что после него идет ROMMON, а потом — дамп с памятью, однако, на полноценный реверс-инжиниринг прошивки просто не было времени. Поэтому мы пошли прямым путем — сняли дамп с заведомо рабочего чипа из аналогичного ASA, перепрошили микросхему и впаяли назад — вуаля! — межсетевой экран загрузился до конца. Система увидела USB-контроллер и, соответственно, смогла считать Cisco IOS.

Внутренний флеш-накопитель с BIOS и ROMMON
Внутренний флеш-накопитель с BIOS и ROMMON

Судя по всему, причиной проблем было повреждение матрицы ПЗУ где-то в том секторе, который отвечает за инициализацию USB-контроллера.

Бывает так, что из-за брака памяти по определенным адресам пропадает содержимое, но  в таком случае этот участок либо не поддается стиранию и перезаписи, либо перезаписывается с частыми ошибками. Для контроля мы несколько раз стерли и перепрошили проблемную микросхему разными дампами с инверсией битовых комбинаций, чтобы исключить все возможные проблемы с залипанием битов. Процессы прошли хорошо, значит, физически матрица исправна, микросхема живая.

К сожалению, нельзя точно сказать, почему возник сбой. Есть только смутные предположения: либо виноват скачок по питанию, либо некое внешнее воздействие. 

Сложно представить, как кто-то в большой компании целенаправленно ковыряется в межсетевом экране, но кто знает. А может быть, зловред попытался перепрошить микросхему. Как бы там ни было, надежность оборудования после ремонта не снизилась. В этом случае замена компонентов не потребовалась, а паяем мы на совесть. Межсетевой экран был восстановлен до заводского уровня.

Наша команда уже подготовила методику, базовый регламент проверки работоспособности телеком-оборудования. Кроме того, мы закупили необходимые ROM-микросхемы, чтобы сразу ставить новый компонент, а не тратить время на тестирование старой микросхемы на работоспособность.

После восстановления ставим устройства на прогонку, эмулируем боевые режимы. Стараемся давать максимальную нагрузку и дополнительно собираем специальные стенды для нагрузочного тестирования. Ни один агрегат не выходит из лаборатории, пока  не убедимся в его работоспособности.

Впрочем, если проблема вызвана сбоем питания, то не исключено ее повторение — не обязательно у этого клиента, может, у другого. Тогда придется обновить рекомендации по установке и эксплуатации этой модели экранов.

Очевидно, что к нам будет попадать все больше оборудования вендоров, прекративших поддержку, поэтому мы стараемся сделать все, чтобы наладить и оптимизировать эксплуатацию и ремонт. Прежде всего — создаем базу знаний. Снимаем дампы со всех проходящих через наши руки микросхем, чтобы в случае необходимости они были под рукой. Ищем в сети документацию, описания распространенных проблем и пути их решения. 

Постепенно, по мере необходимости закупаем оборудование. Полгода назад мы взялись за починку первого коммутатора с одним столом, кусачками и паяльником. С тех пор мы обзавелись и паяльной станцией, и программаторами, и нормальным освещением. Вот-вот привезут инфракрасный стол. Но главное, наша команда набирается опыта, справляется с трудностями и выручает оставшихся без поддержки клиентов.

--

Из-за массового ухода вендоров с российского рынка мы стали получать практически в два раза больше заявок на сервисную поддержку. Справляться с потоком помогает центр сервисных компетенций CROC Service Partner, в котором собраны экспертиза и практика комплексной мультивендорной поддержки всех типов ИТ-инфраструктуры: вычислительной, сетевой, облачной, программной, инженерной, мультимедийной и телефонии в формате «единого окна».

10 ноября мы приглашаем тех, кто интересуется ситуацией с техподдержкой, в офис КРОК на CROC Service Partner Day. Мы расскажем, как сохранить работоспособность инфраструктуры, на каких условиях можно обеспечить сервисную поддержку в критической ситуации и в долгосрочной перспективе, и как сегодня выбрать надежного сервисного партнера. Проведем экскурсию по ключевым локациям нашего офиса, покажем лаборатории и склады ЗИП. Вы познакомитесь с нашей командой и увидите, как работает сервис КРОК.

Кстати, интересное и актуальное публикуем в нашем ТГ-канале @crocit. Приходите почитать.

Комментарии (92)


  1. ivankudryavtsev
    28.10.2022 13:28
    +14

    Круто, но грустно :)


  1. vilgeforce
    28.10.2022 13:52
    +20

    " Ниже центра кадра расположен SMT-чип", но я там вижу кварц :-)


    1. rstepanov
      28.10.2022 17:10
      +1

      Ну он же не through-hole :)


    1. AndreyTarasov Автор
      28.10.2022 17:29
      +1

      Да, там кварц, ошиблись в подписи. Спасибо, что обратили внимание.


      1. ZekaVasch
        29.10.2022 10:06
        +6

        Но не исправили . Это другой человек исправит ?


        1. nochkin
          29.10.2022 20:56

          Это исправит сам чип, который ещё не приехал с eBay.


  1. BigBeerman
    28.10.2022 14:00
    +15

     а паяем мы на совесть

    у вас для этого и паяльник соответствующий, ватт на 80, не меньше :)


    1. LevOrdabesov
      28.10.2022 14:14
      +13

      Тоже обратил внимание. Таким кастрюли лудить...


      1. vadimr
        28.10.2022 14:20
        +2

        Справа другой.


        1. LevOrdabesov
          28.10.2022 14:28
          +7

          Да я не в претензии, забавно просто и интересно, что им делали? Не пароль же выпытывали у бедной железяки?..


          1. vadimr
            28.10.2022 14:29
            +1

            Скорее всего, грели какую-нибудь большую железку для отпайки BGA или что-нибудь вроде этого.


            1. DarkTiger
              28.10.2022 16:23
              +8

              В таких железках земляные слои во множестве и толстые, какой-нибудь ключ в PQFN c большой площадкой на земляном контакте в центре и множеством переходных отверстий под ней - ничего, кроме такого паяльника не возьмет. Иначе тепло растаскивается по земляным слоям. И ладно бы отпаять, это полбеды, а когда надо припаять обратно и припаять надежно, а не холодной пайкой...
              Питальники мощные отлаживать в этом контексте - ад: либо жало разогревать до 400 со всеми сопутствующими последствиями, либо феном, с другими последствиями, но тоже негативными, так что удобнее всего таким вот паяльником.

              Можно Мартина за $50K купить, но и неудобно, и ждать долго, пока приедет, и место он в лабе занимает. В общем, этот паяльник не от бедности, а от опыта.


              1. rstepanov
                28.10.2022 17:12
                +1

                Разве нижний подогрев не для этого?


                1. DarkTiger
                  28.10.2022 17:33
                  -1

                  Для этого. Тоже. Но на bottom тоже есть компоненты, которые могут сдвинуться в процессе.


                  1. rstepanov
                    28.10.2022 17:38
                    +2

                    С зафиксированной в держателе платы сдвинутся, а если тыкать в нее поленом как на фото - не сдвинутся?


                    1. DarkTiger
                      29.10.2022 00:34
                      -1

                      Ну так-то они припаянными останутся. А в случае нижнего подогрева, если компонент имеет некоторый вес, а КП маленькая, может и отвалиться, несмотря на смачивание припоем.
                      Но не буду дальше спорить о том, в чем не разбираюсь: просто не пользовался никогда нижним подогревом.


                      1. rstepanov
                        29.10.2022 13:16
                        +3

                        Нижний подогрев обычно нагревает до температуры чуть ниже, чем плавление припоя, если нужно что-то снять - можно локально немного феном добавить, это проще, чем на холодную греть.

                        Ну а так - я тоже не настоящий сварщик, так, для себя балуюсь как умею...


                      1. N-Cube
                        29.10.2022 13:39
                        +3

                        Нижний подогрев же в первую очередь избавляет от градиента температуры на плате! Ну и чуть подогреть нужную деталь в отсутствие оттока тепла не проблема. А нагревая локально огромным паяльником автор вызывает изгиб платы и разрывы кучи дорожек внутри - потом они совместятся, когда плата выгнется обратно, и какой-то нестабильный контакт будет, так что вызванные таким «ремонтом» разрушения проявятся не сразу. То есть описанный подход - это только заведомо портить технику, замаскировав эту порчу, чтобы успеть получить денег с клиента. Еще и открыто хвалятся этим откровенным «разводом» клиентов, поразительно…


                      1. rstepanov
                        29.10.2022 13:41
                        +1

                        Вот, спасибо за более подробное объяснение!


                      1. DarkTiger
                        29.10.2022 14:59
                        +1

                        Не так.

                        Во-первых, большого локального изгиба толстой платы в случае подогрева большим паяльником нет - иначе бы в месте нагрева проявлялись пучения и т.п. Если бы они и были - то они были бы и в случае нижнего подогрева, плата на фото вряд ли влезет целиком в подогреватель, поэтому градиент на границах нагретой и не нагретой областей никуда не исчезает. В данном случае риск разрыва дорожек с нижним подогревом получается даже больше, из-за бОльшей площади, на которой присутствует градиент.

                        Во-вторых, медь, причем сильно разогретая медь, перед тем, как разорваться, растягивается. Говоря языком сопромата, сдвиговой деформации всегда предшествует пластическая, причем предел, за которым гибкая деформация переходит в пластическую, растет с ростом температуры. Простой пример - одножильный медный провод, например, 4 кв.мм, который продается в любом магазине хозтоваров. Его можно, без особых последствий, закрутить в тонкую спираль, а потом вернуть в исходное положение. При этом медь с внешней стороны провода спирали растягивается, а с внутренней - сжимается, причем, как в абсолютных, так и в относительных значениях, многократно больше, чем дорожка на печатной плате.

                        Конечно, нижний подогрев в общем случае лучше, в первую очередь из-за стабильности температуры и следующих из этого стабильности и повторяемости результатов. Но сказать, что мощный паяльник в данном случае не годится никуда и портит плату - безусловно, перебор. Прямые руки в обоих случаях имеют решающее значение, инструмент вторичен.


                      1. N-Cube
                        29.10.2022 15:52
                        +2

                        Вы сравниваете многослойную печатную плату с медным проводом 4мм? Полная бессмыслица. Может, вы электриком наверное работали раньше, и паяльник оттуда же? У меня самого где-то корочки электрика валяются, так вот, помнится, там допуски были (и паяльники) примерно как вы рассказываете. Ну подумайте хоть немного - если толщина печатной платы 1.5 мм и там делают 16-32 и более слоев дорожек, то какова толщина дорожки, даже если полагать, что дорожки равной толщины с изолятором? Это сотые доли миллиметра, и изгиб платы на тысячные доли миллиметра уже опасен - и не говорите нам, что вы эти тысячные доли легко визуально видите… это вам не арматуру для бетона гнуть. Выше вам уже порекомендовали (и даже российское) оборудование - и указанная плата там прекрасно влезет. А сейчас вы просто уродуете отличное оборудование и хвалитесь этим вкупе с полным незнанием матчасти.


                      1. DarkTiger
                        30.10.2022 01:13

                        А можете вместо «полная бессмыслица» привести конкретную расчетную схему описываемой Вами модели деформации дорожек? У меня Ваше словесное описание создало впечатление, что у Вас там пространственые оси перепутаны. Если можно, на холодную голову, в Вашем сообщении много эмоций, а они в технических спорах обычно вредят, мешая отслеживвть контекст. Например, автор статьи - не я.

                        Понимаете, слова «толщина печатной платы 1.5 мм и там делают 16-32 и более слоев дорожек» наводят на не очень близкое знакомство с темой. Нет, такую плату, вероятно, технологически изготовить можно, но зачем? Там и выход годных, и надежность никакие, а стоить она будет очень дорого. Да и с точки зрения Power Integrity там появятся большие проблемы из-за тонкой меди в планах питания. 32-слойки используются для бэкплейнов, например, сам такую заказывал, но толщина у нее была не 1,5 а 9мм (не помню уже точно, 10 лет прошло), по множеству причин.

                        Поэтому просьба привести расчетную схему, мы все-таки не о политике спорим. Начнете считать - откроется много ньюансов.


                      1. N-Cube
                        30.10.2022 06:20

                        Печатная плата толщиной 9 мм в принципе в современный смартфон не влезет - понимаете, весь смартфон тоньше. Открываем сайт производителя Резонита и смотрим параметры печатных плат - типичная толщина фольги 18 и 35 микрон (силовые дорожки 70 и 105 микрон): https://www.rezonit.ru/directory/tekhnologicheskie-osobennosti-proizvodstva/?active_tab=capabilities&type[]=serial Смещение примерно в половину толщины дорожки по нормали к поверхности платы полностью порвет дорожку, а это около 10 микрон или 0.01 мм. Вы утверждаете, что на печатной плате (большого размера) легко видите деформацию в одну сотую миллиметра - это феерический бред, как я вам уже выше и объяснил, барон Мюнхаузен.


          1. oleg_rico
            28.10.2022 21:47

            А почему нет, собственно. В одной фантастической книге "Война 2020 года" именно так добыли пароли к японской системе ПРО, считающейся непробиваемой.
            Самолёт с японским ИИ грохнулся на территорию России, но японцы былы уверены в неуязвимости своего детища. Но "злобное кей джи би" с помощью паяльника переменных токов быстро выпытала нужные сведения у вражины:)


    1. AndreyTarasov Автор
      28.10.2022 17:30
      +2

      На 65 ватт если быть точнее. Радиаторы и массивные элементы им гораздо проще и быстрее выпаивать чем на ИК станции или горячим воздухом.


      1. blind_oracle
        28.10.2022 19:00
        +5

        Интересно, что Pinecil V2, который пару раз меньше и втрое легче, умеет 88Вт выдавать...


        1. progchip666
          28.10.2022 20:23
          +9

          Мой TS100 выдаёт больше чем дедовский с их картинки, но он как Pinecil  имеет существенный недостаток - не умеет наводками с 220в и статикой жечь дорогостоящее оборудование.


          1. N-Cube
            29.10.2022 14:34
            +1

            Ваш паяльник еще и не надо каждые 5 минут наждаком зачищать от окалины :)


            1. progchip666
              29.10.2022 16:51
              +2

              Вот с окалиной то как раз у меня проблемы. Трудно её получить с таким жалом, хорошим флюсом и с учётом того что в встроенный в него инерциальный сенсор так и норовит понизить температуру жала до 60 градусов когда паяльник в покое находится


              1. N-Cube
                29.10.2022 18:29

                А губки с водой для очистки жала пробовали вместо медной стружки? Вроде они для того и придуманы:)


                1. progchip666
                  29.10.2022 18:39

                  похоже что такое ирония вы не догадываетесь в принципе. Конечно, 20 с лишним лет разрабатываю электронику, а о губках естественно первый раз от вас услышал.


                  1. N-Cube
                    30.10.2022 06:25

                    Какая тут ирония, если вы 20 лет портите паяльники неотжатыми губками, макая раскаленное жало в холодную воду :) Если вы все еще не поняли, то это же классика - когда губку используют мокрой, а не влажной, со всеми вытекающими, о чем я и пошутил комментарием выше.


                    1. progchip666
                      30.10.2022 08:01

                      Вы эти 20 лет я так понимаю у меня за спиной незримо парили, а теперь наконец смогли высказать? Оказывается существует божество о котором в Древней Греции даже и не догадывались - бог пайки!


                      1. N-Cube
                        30.10.2022 09:27
                        +1

                        Простите великодушно, я же не знал, что у вас чувство юмора как… у паяльника. Больше не буду шутить, а то еще перегорите.


  1. LevOrdabesov
    28.10.2022 14:15

    надежность оборудования после ремонта не снизилась

    А про послеоперационное тестирование расскажете?


    1. AndreyTarasov Автор
      28.10.2022 17:31

      Это стресс-тест  в лаборатории и пристальное наблюдение за железкой в первое время после установки ее «в бой».


      1. LevOrdabesov
        28.10.2022 17:35

        Суть-то ясна, интересны детали: что за стресс-тест (чем нагружали, какой стенд, кто разрабатывал – девелопер или сами), как реализуется "пристальность" наблюдения (условно переключили в другую группу в заббиксе, где другие/расширенный набор параметров и триггеров, или что-то ещё)


        1. progchip666
          29.10.2022 16:52

          Ну если после 65 ватного паяльника плата заводится, то ей уже ничего не повредит, какие ещё тесты вам требуются!!!


  1. N-Cube
    28.10.2022 14:38
    +1

    Как бы там ни было, надежность оборудования после ремонта не снизилась. В этом случае замена компонентов не потребовалась, а паяем мы на совесть.

    Судя по фото, Cisco с сертификатом RoHS (бессвинцовая пайка) перепаиваете (средств удаления старого припоя не видно) свинцовым припоем (теми паяльниками, что на фото, бессвинцовым не получится)?


    1. hellamps
      28.10.2022 14:54
      +2

      держаться лучше будет!


    1. VaalKIA
      28.10.2022 15:22
      +5

      Бессвинцовый может пойти усами. Свинец вреден паяльщикам, а не клиенту, если им норм, то и клиенту хорошо. Основной риск, это смыть лак с бессвинцового припоя и заново не покрыть.


      1. N-Cube
        28.10.2022 15:42
        +1

        Циско (эппл, самсунг и так далее) пользуются бессвинцовым припоем бог знает сколько лет, а вы свинцовым припоем хотите их технику «улучшить», смешав два разных типа припоя? Был уже на хабре большой тред с обсуждением бессвинцовых припоев, и публикации разные смотрели, так вот хороший бессвинцовый ничем не уступает свинцовому, кроме - возможно, но не проверялось - условий космоса. А вот смесь свинцового припоя с бессвинцовым это гарантированная проблема на интервале нескольких лет - или раньше, если вы еще и всяким трэшем типа Розе бессвинцовую пайку отпаиваете (вместо покупки нормальной паяльной станции) и качественно не удаляете все остатки (что совсем не просто сделать, особенно тому, кто не понимает смысла). У вас уже давно вся или почти вся техника бессвинцовая, а вы все еще пересказываете «городские легенды»…


        1. progchip666
          28.10.2022 20:25
          +4

          перед тем, как паять любым припоем после демонтажа чипа следует позаботиться о том, чтобы убрать не только остатки старого припоя, но даже остатки флюса...


      1. vadimr
        28.10.2022 15:43
        +11

        Да паяльщикам тоже пофиг, если есть вытяжка (а она должна быть по нормам охраны труда). Идея с бессвинцовым припоем была в экологичности утилизации.


        1. progchip666
          28.10.2022 20:28
          +2

          А вы заметели на их рабочем месте что то удалённо напоминающее вытяжку? Они же честно сказали - раньше не занимались монтажом, значит и помещение не оборудовано.


      1. vvzvlad
        28.10.2022 16:49
        +4

        Бессвинцовый может пойти усами. Свинец вреден паяльщикам, а не клиенту, если им норм, то и клиенту хорошо. Основной риск, это смыть лак с бессвинцового припоя и заново не покрыть.


        Контактные площадки, покрытые бессвинцовкой, нельзя паять свинцовым без полной очистки от старого припоя — там всякие забавные эффекты на границе сплавов происходят, и потом элемент легко отрывается от площадки при небольших перепадах температуры.


        1. zartarn
          29.10.2022 09:55

          там всякие забавные эффекты на границе сплавов происходят, и потом элемент легко отрывается от площадки при небольших перепадах температуры.
          Да вроде банально не перемешиваются слои. Но разве не только с розе такая проблема? habr.com/ru/post/437778


        1. N-Cube
          29.10.2022 10:22

          Кстати, ровно то же может происходить при использовании современного флюса для бессвинцовых припоев (на высокую температуру) со свинцовым припоем - флюс не нагревается достаточно, чтобы очистить поверхности и пайка получается "на соплях". И ровно так же получается со средствами для очистки жала - а на паяльниках без контроля температуры жала (как в статье) окислов всегда много. На что только люди не идут из тупого упрямства (свинцового припоя)! :)


    1. AndreyTarasov Автор
      28.10.2022 17:31
      +1

      Не все средства попали на эти несколько фото. Конечно же для «пересадки» BGA используются специальные бессвинцовые пасты, а сама технология предусматривает предварительное удаление старого припоя.


      1. progchip666
        28.10.2022 20:18
        +5

        Вот как раз этого то делать и не надо. Опытные ремонтники даже шарики на новых чипах перекатывают "на свинец". Всё ВПК до сих пор сидит на свинцовых припоях. Переманите себе в штат парочку опытных ремонтеров ноутбуков, купите нормальное оборудование - приличные паяльные станции, нижний подогрев, шаблоны для перекатки шариков, ультразвуковые ванны для очистки, нормальные флюсы и припои...


        1. N-Cube
          28.10.2022 20:34
          -2

          Серьезно, вы хвалите ремонтников, кто даже низкотемпературные бессвинцовые пасты не глядя заменяет на свинцовый припой? Если шустро паяют, то даже не сожгут чип, только работать будет нестабильно, но это не их проблемы, ага. И упругость выше у бессвинцового припоя - то есть выше устойчивость к тряске в кармане или вибрации в стойке.

          А ВПК на свинцовых припоях понятно почему - во-первых, иначе не умеют, во-вторых, крупногабаритные вещи самое то паять, типа бетонных резисторов, и в-третьих, выше прочность на разрыв. Какое это имеет отношение к современной электронике?


          1. progchip666
            28.10.2022 22:06
            +2

            Ремонтник ремонтнику рознь. Посмотрите как оборудованы нормальные мастерские и уровень квалификации у нормальных ремонтников...


            1. N-Cube
              29.10.2022 06:21

              Выше вы написали, что мол опытный ремонтник это только тот, кто любой припой и паяльную пасту на свинцовые меняет. Это бред полный, как я вам и показал на примере низкотемпературной висмутовой пасты, которую только от полной безграмотности можно поменять на свинцовую… Очевидно, вам никакое оборудование впрок не пойдет, при такой «квалификации». На планете много миллиардов смартфонов, собранных с низкотемпературной паяльной пастой, и они работают много лет - пока такие как вы ремонтники туда ручки не засунете. Хватит рассказывать, что вы умнее всех и со всемирным заговором боретесь.


              1. progchip666
                29.10.2022 08:46
                +1

                Да уж куда мне бороться с заговорами то. Ремонтами я не занимаюсь, видимо потому, что чувствую полное превосходство Настоящих Брутальных Профессионалов ювелирно меняющих чипы без нижнего подогрева, вытяжки иинфракрасной станции, ультразвуковых ванн с помощью висмутовых паст и дедова паяльника в 65 Ватт, а диагностику проводящих осциллографом всех времён и народов С1-94, который я купил ещё в студенческие годы и неосмотрительно выкинул лет 20 назад. Как же я был неправ!!! Посыпаю голову пеплом.

                Главное конечно - Находчивость и смекалка! Однозначно.


                1. N-Cube
                  29.10.2022 09:00

                  Кажется, вы что-то начинаете понимать :) А ваша рекомендация выше «ремонтникам» из статьи с теми самыми дедовыми паяльниками на BGA чипах припой заменять - ну, знаете… Мало того, что незачем (если вы не трешовые чипы используете, а с нормальным припоем на них), так еще и как вы себе это представляете? Да, я думаю, что с висмутовой пастой и феном они гораздо меньше напортачат - и дорожки не отслоятся и не пережгут ничего (ладно, видел, что феном можно даже плату сжечь, при определенном усердии, но все же). А насчет нормального оборудования - ну, если компания не готова купить паяльную станцию за одну-две тысячи рублей, которая с оригинальным припоем и флюсом чудесно работает, то ваши упоминания про оборудование им не помогут.


                  1. progchip666
                    29.10.2022 09:38
                    +2

                    Надеюсь вы посмотрели видео, которое я вам рекомендовал о "хороших сервисах" и их оборудовании (согласен что их меньшинство, но они есть). В результате наши позиции похоже начали сближаться.

                    Как автор предупредил в статье - ремонт это не их профиль, раньше он просто не имел смысла. Но в новых условиях становится рентабельным.

                    На этом можно неплохо заработать, но предварительно стоит купить минимум оборудования и крайне желательно взять в штат человека с опытом, который умеет с ним работать. Неисправности обычно типовые и вполне себе рентабельный ремонт можно организовать достаточно быстро, вместо того, чтобы проявлять смекалку и находчивость


                    1. N-Cube
                      29.10.2022 10:34
                      +1

                      Просто сдается мне, ваши советы прямо противопоказаны людям, которые паяльником со свалки пользуются для ремонта оборудования ценой в миллионы. Не знаю, как сейчас в России, а в Азии такой паяльник стоит около 2-3$ вместе с держателем и свинцовым припоем в проволоке 2мм в комплекте :)

                      Для ремонта техники из статьи - да любое оборудование рентабельным будет (и уж точно можно несколько баксов потратить на программатор с возможностью считывания дампа флэша прямо на плате).


                      1. progchip666
                        29.10.2022 10:51

                        Есть шанс, что люди всё таки понимают что случайность вывела их на "золотую жилу", но для того чтобы её разработать надо как минимум купить кирку с решетом, а не орудовать палкой копалкой.

                        Хотя название статьи "Находчивость и смекалка. Как мы теперь чиним железки Cisco" говорит об обратном

                        железки Cisco

                        похоже не фигура речи для них, они относятся к высокотехнологичному продукту именно как к железкам

                        обидно...


  1. Zhbert
    28.10.2022 15:00
    +23

    Понеслось «импортозамещение» по эскадрону.

    Прямо как в лучших сериях постапокалиптики. Сначала чинят все подряд на коленке, потом оборудование ветшает, чинить становится нечего...

    Это не претензия к автору или компании, они молодцы :) Это скорее грусть о ситуации в целом.


    1. N-Cube
      28.10.2022 15:47
      -3

      Чинят как на радиорынке в 1990-е (и оборудование на фотке оттуда же), так что чем молодцы? Они ведь все это клиентам поставят! А потом пайка начнет отваливаться из-за смеси припоев (см. выше), дорожки отслоятся из-за пайки без прогрева всей платы и так далее. А в итоге, как в 90е будут кивать на производителя и китайскую сборку…


      1. vadimr
        28.10.2022 16:29
        +3

        Можно подумать, они у производителя не отслаиваются. Качество сборки товаров широкого потребления у мировых брендов закончилось в начале 1990-х. Кто видел, например, компьютер IBM 1990 года, тот понимает.


        1. N-Cube
          28.10.2022 17:57
          +2

          По моему опыту из кучи «железа» - ноутбуки, планшеты, телефоны, букридеры и прочее ничего за последние пару десятков лет не отслаивалось. Разве что у одного макбука от осенней сырости на даче матплата от коррозии погибла (в сервисе оценили как «залив», хотя нет) - притом второй макбук в тех же условиях выжил и еще много лет отработал (да и первый после замены матплаты тоже до сих пор в строю). Технику через полмира не раз возил, и сыро и жарко на море было, и холодно зимой в лесу, и в рюкзаке годами все тряс - и ничего не отслаивается. А отслаивается обычно после ремонта во второсортных мастерских, когда в процессе замены разъема или аккумулятора портят всю начинку - но происходит это спустя год-другой, так что жертва грешит на производителя, а не на ремонтников.


          1. progchip666
            29.10.2022 09:08
            +1

            В процессе замены аккумулятора прогреть плату до отслоения даже в третьесортной мастерской сложно умудриться. А вот "диагностика" чипов путём прогрева и попытки замены без надлежащего оборудования действительно могут привести к подобным сюрпризам от "Находчивых и смекалистых".

            Как показывает этот пост, везде их полно и метод борьбы с этим один - не стоит обращаться во второсортные сервисы и вовремя делать профилактику, которую аккуратный человек с минимальным набором инструмента способен и самостоятельно произвести.


      1. Zhbert
        28.10.2022 16:49
        +10

        Чинят как на радиорынке в 1990-е (и оборудование на фотке оттуда же), так что чем молодцы?

        А что ты предлагаешь в текущих условиях, когда официально компания ушла из страны? Просто выбрасывать железо... и? Переходить на голубиную почту вместо этих ваших ЛВС?


        1. N-Cube
          29.10.2022 09:08
          +1

          Уважаемый, неужели вас в школе не учили, как к незнакомым людям надо обращаться? А по теме могу предложить ремонтировать хотя бы как в нулевых - купить китайский клон паяльной станции хакко с оригинальными расходниками, а еще научиться хотя бы хэши прошивок использовать для проверки (зачастую и паяльник не нужен).


      1. oleg_rico
        28.10.2022 21:49
        +1

        Присоединяюсь к вопросу - а что вы предлагаете делать в нынешних условиях?


        1. progchip666
          28.10.2022 22:02
          +2

          Купить нормальное оборудование, если хочется отечественное очень то у Термопро и не жмотиться, нанять пару специалистов умеющих с ним работать. При ремонте такого дорогого оборудования вложения окупятся очень быстро.


  1. prishol
    28.10.2022 15:33
    +2

    Скорее износ SLC ячеек в банках памяти.


    1. acc0unt
      28.10.2022 22:35

      Они же не NAND Flash со встроенной флешки подняли, а с какой-то EEPROM, и наверняка на NOR.

      Там было всего 4 килобайта памяти - сейчас NAND в таких объёмах никто ни делать, ни ставить не станет.


  1. hw_store
    28.10.2022 16:42

    Фотка рабочего стола - супер! почти как у нас


  1. Ded_Pichto
    28.10.2022 17:32
    +3

    Ребята, вы красавцы! Буду рад почитать больше хардварных (и хардкорных) историй.


    1. AndreyTarasov Автор
      28.10.2022 17:33
      +2

      Спасибо! Будем стараться.


  1. osipov_dv
    28.10.2022 17:54
    +8

    Вот это настоящая починка, а не заменили плату и отправили сбойную вендору.


  1. slog2
    28.10.2022 20:00
    +9

    А осциллограф с1-94 зачем? 50гц в розетке смотреть?


  1. progchip666
    28.10.2022 20:11
    +4

    В другом сгорел микроконтроллер, который отвечает за шифрование. Из любопытства я нашел этот чип на eBay в составе сетевой карты, которая продается за 30 долларов.

    Любопытство - двигатель прогресса. Но я бы порекомендовал вам перед ремонтом поинтересоваться в кружке "умелые руки" в чём отличие микроконтроллера от микропроцессора. Вы бы с удивлением узнали что главное - микроконтроллер имеет встроенную и защищённую память программ. А это значит вы можете купить десять карт с таким же чипом, но ни один из них не заработает у вас после замены. Программа там не та...


    1. vadimk91
      28.10.2022 21:33
      +5

      О сколько нам открытий чудных
      Готовит просвещенья дух...


    1. acc0unt
      28.10.2022 22:47
      +1

      Я даташитов не искал, но далеко не факт что в этом чипе есть своя память для кода. Даже сейчас куча микроконтроллеров подсасывает его из внешней SPI флешки прям по ходу работы, через аппаратный кэш страниц. А некоторые специфические вещи вроде чипов Wi-Fi-контроллеров вообще урезаны донельзя - в них есть только тоненький и узенький MaskROM, а нормальную прошивку туда запинывает драйвер хоста.


      1. progchip666
        28.10.2022 23:00

        Вполне вероятно, что в этом чипе нет памяти, но тогда это не микроконтроллер. Ваша правда действительно бывают микроконтроллеры с ROM но все мне известные микроконтроллеры без программируемой FLASH памяти крайне примитивные китайские поделки, обычно безкорпусные. Обычно они не используются в платах такого уровня. Скорее всего это просто не микроконтроллер, сейчас достаточно много чипов, которые по большому счёту не являются ни микроконтроллерами ни процессорами, но используют для конфигурации внешнюю память. Впрочем и микроконтроллеры также внешнюю FLASH используют для конфигурирования, и сохранения настроек, но реже.


        1. acc0unt
          28.10.2022 23:53
          +7

          Примеры микроконтроллеров без собственной флешки сходу - ESP32 и вся линейка чипов от Espressif, RP2040. Есть ещё целое ведро микроконтроллеров, у которых по факту внутри корпуса болтается кристалл SPI флешки.

          Почему так? Потому что техпроцесс для производства CPU+ROM+RAM+Flash ощутимо сложнее и дороже, чем процесс для производства просто CPU+ROM+RAM. А делать Flash отдельно весьма дёшево.

          Поэтому с одной стороны - в очень дешёвых и очень массовых девайсах проще отдать роль флешки внешнему чипу и получить или более дешёвое производство, или больше памяти за те же деньги. С другой стороны - если у тебя очень жирное и мощное ядро, то делать большие площади кристалла на совместимых с Flash памятью техпроцессах грустно, а скорость работы такой флешки не будет поспевать за ядром. И выходит что всякие вещи уровня Linux SoC флешки на кристалле не несут

          Вот и получается, что SPI Flash чип с "25" в имени - крайне ходовой товар.


          1. progchip666
            29.10.2022 08:27
            +1

            Вынужден признать свою ошибку и принести извинения. Погорячился. Тем не менее, очень сильно сомневаюсь что в сетевых картах для шифрования используются микроконтроллеры, хотя и это теоретически не исключено. Скорее всего это заказные узкоспециализированные чипы, которые принято ASIC называть.

            От себя хочу добавить что в последнее время всё настойчивей попытки использовать уже и ОЗУ с SPI интерфейсом, даже аббревиатуру придумали - PSRAM. Ну и да, грань между микроконтроллерами и процессорами всё больше размывается...


      1. progchip666
        29.10.2022 08:36

        Я даташитов не искал, но далеко не факт что в этом чипе есть своя память для кода. Даже сейчас куча микроконтроллеров подсасывает его из внешней SPI флешки прям по ходу работы, через аппаратный кэш страниц.

        Микроконтроллеров? Буду благодарен, если сможете привести пример такого микроконтроллера.


        1. acc0unt
          29.10.2022 17:18

          Выше уже сказал, что самый очевидный пример - это линейка микроконтроллеров от Espressif, включая широко известный ESP32. У него SPI флешка монтируется в память под r-x с помощью специального кеширующего контроллера.


  1. oleg_rico
    28.10.2022 21:51
    +6

    Если почитать историю техники, то достаточно часто из вот таких сервисов выростали крупные фирмы по производству. Желаю всяческих успехов.


  1. Ioanna
    28.10.2022 22:40
    +2

    "Как мы подковали блоху")


  1. Interreto
    29.10.2022 01:37
    +5

    А на Кубе авто 60-х годов досихпор чинят!


    1. Fangaro
      29.10.2022 07:00
      +4

      Автомобилям, которые и по сей день можно отремонтировать - большой +. Экономике, которая вынуждает этим заниматься - скорее -.


      1. progchip666
        29.10.2022 09:14
        +9

        Большинство устройств от Cisco тоже можно отремонтировать, просто до этого нужды в этом не было. Это очень дорогие устройства, с большим гарантийным сроком. Покупают их корпорации у которых нет проблем с финансами и они могут позволить по истечению 5-10 лет просто обновить оборудование вместо того, чтобы ремонтировать. С учётом того, что оно быстро устаревает.

        Сейчас ситуация изменилась...

        Ну а минус надо ставить не экономике, которая на удивление мужественно и успешно держит удар, а политике, которая эти удары провоцирует.


  1. MAXH0
    29.10.2022 12:35
    +5

    "Находчивость и смекалка".  это отсыл к "Слабоумие и отвага" или это случайные ассоциации? Просто Чип и Дейл спешат на помощь с серебристым скотчем и синей изолентой.


  1. FotoHunter
    31.10.2022 08:11

    Из моего опыта эксплуатации Huawei s5600 - были две ревизии одной и той же модели, разница только в дате производства и может где то в серийнике номера отличались, а так де более свежая прошивка. Вот с прошивкой и ввшел глюк - я на новве железки для единообразия поставил старую версию прошивки, что бы поднять стэк между 2мя железками и тут у меня посыпалась флэшка, оказалось они поменяли аппаратную базу и старые прошивки с новой флэшкой криво работабт. Отформатировал флэшку и залил свежие прошивки - всё завелось. Старый релиз с новой прошивкой работал без проблем.

    Так же на Huawei s5600 очень часто дохли блоки питания с PoE - 3 или 4 фирмы обещали починить, но увидев количество управляющих микросхем на бп отказывались т. к. не знали как слить память с рабочего бп, проще было попросить интегратора найти бу бп (скорее всего выдернутые из зипа)

    У могучей Huawei s6506R глюк с таблицей мак адресов - не запоминает более 400 адресов и как следствие dhcp начинает повторно выдавать ip - сначала функция dhcp была вынесена на Linux сервер, а на ядре жил relay, а потом маршрутизацию полностью перевёл на Linux, а ядро вывел из эксплуатации.

    Сейчас постепенно дохнут точки доступа HP 460msm - зависают на этапе загрузки т. е. тоже проблема с загрузчиком или прошивкой.

    Фирмы, которая, как вы, занималась бы ремонтом, а не переправкой производителя железок ОЧЕНЬ не хватает. Время ожидания в 2 месяца при отсутствии договора на поддержку включающую горячий резерв и раньше не радовало.