Первое и естественное желание - выбросить это барахло.
Второе - отправить туда, откуда эти 2000 роутеров пришли. Пусть китайцы сами шьют.
К сожалению, ни один из вариантов не подошел нам по временным рамкам. На нашем складе имелось несколько десятков роутеров, а склад на юге страны был в дефиците уже неделю. Нам необходимо было найти быстрое решение для этой проблемы. Вот несколько методов, которыми можно воспользоваться, если вы столкнетесь с подобной ситуацией и имеете схожие вводные.
Перед тем как начнем, немного вводных о самих устройствах
Я работаю в интернет-провайдере, который заводит оптику до абонента.
Соответственно роутер с GPON-WAN-входом. Роутер без Wi-Fi интерфейса и имеет 2 выхода: RJ-45 и Аналоговый для телевидения. После нашего роутера ставится любой роутер с WI-FI интерфейсом от абонента. Настройки роутер абонента получает по DHCP. Это делает управление сетью для нас более унифицированным процессом (мы знаем, как работать с каждой из наших железок, поэтому если у абонента проблема с сетью, а на нашем роутере все ок - значит проблема у абонента на роутере), и защищает нашу сеть от абонентов.
Итак, у нас есть вводные
Задача такова: в офисе Бишкека 1400 роутеров, в офисе Оша - 600. Нужно за адекватное время сделать так, чтобы роутеры, оказавшись у абонентов в домах, были на нужной нам прошивке. Вот несколько способов, как это можно сделать:
Вариант А. Он же самый простой
Каждый монтажник, получающий роутер из промаркированной коробки, будет прошивать его самостоятельно по месту у абонента.
В нашем случае у монтажников отсутствуют ноутбуки. Это небольшая проблема, так как есть USB-сетевые карты, которые можно подключать к телефонам, и это тоже решение.
Но в нашем случае это сработало не на всех мобильных телефонах. Такой план выглядел как крайне ненадежный, и от него мы отказались.
Вариант B. Чуть посложнее
На каждый из новоподключаемых роутеров по SSH подключается Ansible, выполняет команду загрузки с FTP сервера прошивки, и устанавливает ее на устройстве. Все выглядело просто, но было 2 момента.
У наших роутеров не было SSH, только Telnet. Что в целом не страшно. Ансибл все так же мог бы подключаться к каждому новому роутеру, обновлять прошивку, после чего убивать телнет для безопасности. Но тут то мы и получили 2 проблему.
Роутеры по дефолту закрыты по телнет из WAN-порта. Но открыт с порта локальной сети.
А значит...
Еще один вариант. То же самое, что и в предыдущем, но для локальной сети
Берем самую большую по портам Cisco. У нас это было 48 портов. Сверху берем любой Микротик, желательно хотя бы из роутерной HEX-серии.
У нас 47 роутеров, у каждого из которых для локальной сети одинаковый IP-адрес: 192.168.1.1
Чтобы решить эту проблему, берем коммутатор из пункта 1, и создаем на нем 47 VLAN-ов.
Коммутатор втыкаем в микротик. Дальше начинается магия с VRF, которую я не реализовывал, но так точно можно делать. Вопрос только в том, вытащит ли такое Микротик HEX-серии, или нужно что-то посерьезнее.
Итак, на каждый из 47 виртуальных роутеров мы приземляем по VLAN-у. Поднимаем на каждом из этих роутеров NAT, и делаем проброс портов до наших роутеров из внешней сети.
Микротику, FTP-серверу и Серверу со скриптом для обновления даем адреса из подсети, которую виртуальные роутеры считают внешней. Допустим это будет сеть 10.0.0.0/26 (чтобы оперировать 62 IP-адресами).
После конфигурирования сети напишем небольшой скрипт, который:
• Откроет telnet сессию через каждый виртуальный роутер на роутер, который мы собрались прошивать
• Отдаст команду на скачивание прошивки
• После того, как прошивка будет скачана, отдаст команду на ее установку. Но на деле я просто собирался написать "sleep 1m", чтобы прошивка точно была скачана.
Все это звучало как отличный план, но наши китайские друзья любезно предоставили нам утилиту для бродкаст прошивки своих роутеров, и план немного упростился.
Самый последний вариант. Теперь уже точно
Достал 48-портовую Cisco и 24-портовый и самый тупой TP-Link.
Все порты на Cisco переводим в ацесс мод. На TP-Link-е можно ничего не трогать.
-
Процесс работы с утилитой достаточно прост:
питание на роутерах отключается
активируется утилита
начинает кидать широковещательные пакеты по какому-то из своих протоколов. Я не уточнял этот момент, работает и ладно
Подаем питание на роутеры, и первое, что они видят - пакеты от утилиты
Роутеры переходят в режим прошивки.
на роутерах видим индикацию о прошивке
ждем 5 минут
Отключаем утилиту
Отключаем-включаем питание на роутерах для перезагрузки
Получаем готовые роутеры.
-
Каждый из портов Cisco настраивается следующим образом:
interface GigabitEthernet <номер порта> switchport access vlan <номер влана> / Все порты в один влан switchport mode access spanning-tree portfast / Отключаем STP на порту. Пока циска согласует порты, модемы выйдут из режима готовности к прошивке, и утилита не отработает.
В остальном ничего специфичного, можно брать дефолтную циску.
На этом процесс настройки можно считать завершенным. Перейдем к процессу построения конвейера.
-
Питание. После того, как все сконфигурировано, нужно как-то запитать условные 70 роутеров. И вот это уже проблема. Достав все пилоты, что были в запасах на складе, у меня получилось организовать только 52 гнезда на 220. 2 пилона были "мэнеджмент", чтобы удобно включать/отключать питание на роутерах. Все это выглядело вот так:
Подключаем 52 блока питания для роутеров. Крайний левый и крайний правый пилон - для управления питанием. Питание для питания. Посчитав максимальную нагрузку, получил цифру в 3,4 киловатта для всей этой фермы. Нагрузка не запредельная, как 2 чайника, но безопасности ради пришлось тыкнуть это все в отдельную розетку от щитка. Лучше держать этот момент в уме, когда захотите прошить 100 модемов за раз.
-
Очень желательно было после прошивки вернуть каждый модем в родную коробку, так как на коробке была маркировка с серийным номером, который нужно прописывать при активации роутера в биллинге. Вопрос был решен вот такой "матрицей". Коробки брались последовательно, ставились на нужную позицию. Допустим это позиция 5. После чего роутер из 5 коробки втыкался в 5 порт. После прошивки роутер с 5 порта возвращался в 5 коробку.
Пустой массив для коробок 
Массив заполнен коробкамиц -
Для того, чтобы каждый раз не искать, из какого порта идет кабель, я промаркировал каждый кабель цифрами от 1 до 52, воткнув каждый кабель в соответствующий порт.
Подпишите каждый кабель по номеру порта на циске, чтобы потом не искать
Как итог получился следующий процесс
Взять коробку с 60 роутерами. В коробке 5 столбцов по 4 ряда и 3 слоя в высоту
Достать и распаковать один ряд роутеров
Поставить 5 коробок из ряда к стене, каждую на свою позицию
Воткнуть роутеры в порты, согласно номерам позиций
Провести процесс прошивки
Вернуть 52 роутера в соответствующие коробки.
В теории все просто и быстро, на практике процесс прошивки одной "партии" из 52 роутеров занимал от 40 минут до 1 часа, что за 8-часовую смену давало 400 прошитых роутеров. На практике выходило 200, что тоже результат.
В Бишкекском офисе было 1400 роутеров, так что с перерывами и неспеша с этой работой мы справились примерно за 2 недели.
В город Ош отправили 600 роутеров, и они предсказуемо сделали все за 3 дня.
Не пытаюсь развести на комментарии, но мне было бы интересно узнать, как вы бы решили такую задачу. Можете писать свои варианты.
Комментарии (57)
Wesha
22.06.2023 13:54+11В нашем случае у монтажников отсутствуют ноутбуки.
susuoltcev Автор
22.06.2023 13:54+10Их дело простое: приехать - запаять оптику в муфте - тыкнуть ее в роутер - отписаться в чатик с ID-шником модема - уехать. Остальное сделает техподдержка.
Это экономит время монтажникам - им не надо возиться с настройками.
Это экономит время нам - можно скипнуть эту главу при обучении сотрудников)))
Popadanec
22.06.2023 13:54Проверить что интернет точно есть, у клиента в данный момент может нечем проверить интернет или какие то проблемы с сетевой картой/драйверами.
По крайней мере РТ мне так и делали, когда подключали. Экономит кучу времени обоим сторонам.
AADogov
22.06.2023 13:54+7Недавно заказывал прокладку кабеля в новой квартире, до этапа чистовой отделки так у меня там не то что компьютера, у меня даже роутера не было.
Пришел монтажник, сказал нет проблем, и похвастался таким мультитулом на android который может работать как анализатор сети, роутер как клиентское устройство, приемник спутникового сигнала, телевизор, имеет несколько входов ethernet. и коаксиальных входов. Сказал что с таким устройством ему больше не нужен ноутбук.
Popadanec
22.06.2023 13:54+1Круто конечно, но стоит такая штука вероятно дороже ноута.
MaFrance351
22.06.2023 13:54+2В перспективе железка, занимающая в кармане места не больше, чем обыкновенный терминал сбора данных, наверняка окажется куда удобнее и эффективнее ноутбука.
Popadanec
22.06.2023 13:54Там всё равно громоздкий чемодан для сварки оптики.
Но меньше и легче барахла таскать монтажнику, конечно лучше.
А если она себя окупает, то имеет смысл.MaFrance351
22.06.2023 13:54+2Тем более. Когда и так с собой куча оборудования, то каждые сто грамм на вес золота. Точнее, каждые отсутствующие сто грамм.
Popadanec
22.06.2023 13:54Так то да, но кто монтажника будет спрашивать, что дадут, то и будет использовать.
Если это оборудование позволит сократить время работы и потенциально отобьёт свою стоимость, то купят, если конечно не РТ.
mayorovp
22.06.2023 13:54Ну и зачем вы дали три ссылки на одну страницу?
Squoworode
22.06.2023 13:54+5Это так в мобильной версии разметка работает. Любое форматирование (хоть зачёркивание, хоть простой разрыв строки) разрывает тег <a>.
Wesha
22.06.2023 13:54+11Это Вы у Хабра спросите — зачем он порвал одну ссылку
как Тузик грелкуна три.(Нет, я знаю, почему. Я спрашиваю — зачем. А кто в этом виноват и что с этим делать — это уже вопросы к хозяевам Хабра.)
Spetros
22.06.2023 13:54+5Ваши роутеры не умеют получать по DHCP адрес ACS сервера и работать по TR-069?
the_vitas
22.06.2023 13:54Какой там tr-069, это уныло поделие от азиатских товарищей. Чаще подобные розетки используют как конвертер из оптики (gpon) в медь. Хотя в них и заложен функционал простецкого роутера.
MiraclePtr
22.06.2023 13:54+20Гораздо веселее, когда в прошивке обнаруживается критичный баг (ведущий к полной невозможности абонентам пользоваться услугами), и устройства уже установлены у абонентов...
Рассказывал уже здесь когда-то
Был то ли конец лета, то ли начало осени. Маркетинговый отдел провайдера запустил несколько акций, обеспечив неплохой приток новых абонентов. Попутно люди возвращались из отпусков, начинался учебный год у школьников и студентов. И в одно теплое утром понедельника началось...
Массовые технические проблемы у провайдера обычно первыми фиксирует либо мониторинг (если ему есть что мониторить), либо техподдержка. В техподдержке это выглядит как резкий рост ожидающих звонков в очереди: что-то сильно ломается, и люди начинают звонить рассказать о проблеме. В этом же случае рост был постепенный, но симптомы одинаковые: у людей с определенного момента утра модемы не поднимали сессию и люди не могли попасть в интернет. При этом сообщения о проблемах приходили из разных городов и районов, мониторинг показывал, что с сетью всё в порядке. Потом кто-то из инженеров заметил, что у людей, испытывающих проблемы, были похожие MAC-адреса оборудования, что означало, что у них модемы одного и того же производителя. Стало ясно, в какую сторону копать. ADSL модемы обычно могут работать в двух режимах: режиме «бриджа» и режиме «роутера». В первом случае модем работает как простая коробочка, тупо пересылающая всё со входа на выход и обратно, а PPPoE-подключение инициируется на компьютере пользователя. Во втором случае же модем работает именно как роутер, поднимая подключение сам и раздавая доступ через NAT подключенным к нему устройствам. Проблема наблюдалась у тех пользователей, чьи модемы работали в режиме роутера.
Расследование показало следующее. PPPoE-подключение инициируется модемом и терминируется на одном из серверов доступа (BRAS). С увеличением количества пользователей один из серверов начал чуть-чуть подтормаживать при инициации сессии. Задержка ответов на запросы, при всем при этом, не превышала допустимую согласно стандарту протокола, поэтому модемы всех остальных производителей эту ситуацию переживали совершенно нормально, ровно как и стандартный PPPoE-клиент Windows, но у одного вендора был свой, особый путь, и его модемы, не дожидаясь ответа от сервера, тупо рвали процесс соединения и отказывались работать.
Это были адовые два дня для техподдержки. Части абонентов (для которых это было приемлемо) по телефону объясняли, как перенастроить модем из роутера в бридж, часть абонентов перераспределили по другим BRAS’ам (в результате чего проблемы начались и там), в итоге производитель все-таки на второй день выпустил исправленные прошивки для своих моделей, кто-то из пользователей смог их накатить самостоятельно, к остальным еще долго в гости ездили техники и прошивали им устройства.
tooler
22.06.2023 13:54Производитель отреагировал на ошибку или так совпало, что в два дня?
MiraclePtr
22.06.2023 13:54+1Производитель отреагировал за два дня. Что очень удивило, для них подобное было несвойственно, потому что для других моделей они довольно серьезные проблемы бывало не фиксили по пол года.
jingvar
22.06.2023 13:54Tr-069 не?
susuoltcev Автор
22.06.2023 13:54+1Так уж вышло, что с GPON это почему-то не работало для нашего вендора. Зато работало с EPON. На вопрос "Почему так?" получили ответ "Ну вот так получается". Думаю, это действительно стоило указать в статье.
Thomas_Hanniball
22.06.2023 13:54+5Тут основная проблема не в том, как перепрошить много роутеров, а как забрать установленный у абонента роутер, прошить его и потом вернуть обратно. Вот это и есть самая большая головная боль.
Перепрошить модемы, которые находятся у вас, а не у абонента, это не трудно, т.к. это лишь вопрос времени и количества свободных рук на офисе.
P.S. Сами фотка в статье классные, а алгоритм раскладка коробок достоит уважения.
sshemol
22.06.2023 13:54+4Тут основная проблема не в том, как перепрошить много роутеров, а как забрать установленный у абонента роутер, прошить его и потом вернуть обратно.
Менять на уже прошитый?
Neitr
22.06.2023 13:54+1В нашем случае у монтажников отсутствуют ноутбуки.
По статистике когда люди заказываю подключение интернета, то у них дома есть либо компьютер либо ноутбук, и одним из пунктов подключения всегда идет настройка интернета и демонстрация работы/проверка (ЛК) на этих устройствах.
За долгие годы не вспомню случая, чтобы кто то из монтажников просто пришел к клиенту кинул кабель и без проверки ушел (ну может 1 -2). Но даже если так, то в какой то момент клиент позвонит, вот тогда удаленно и перепрошить когда у него появится потребитель
SoP_Kyle
22.06.2023 13:54+1не всегда есть компьютер или ноутбук. Я бы даже сказал у большинства абонентов только смартфоны и они заказывают интернет, т.к. в том районе плохая связь
sneg2015
22.06.2023 13:54+1ну хз. Я интернет прокладывал на стадии ремонта. Там не то что ноутбука, там стены еще не все были.
Sergey_Cheban
22.06.2023 13:54+3Если 52 роутера прошивались от 40 минут до часа, значит, на прошивку одного роутера тратилась примерно минута. А сколько времени занимает прошивка роутера сама по себе? Ну, наверное, где-то минуту и занимает. Ну ок, пусть пять минут, но никак не пятьдесят. А значит, от распараллеливания процесса на 52 порта толку не было. Может быть, прошивка десяти роутеров работала бы даже быстрее за счёт меньшей путаницы с коробками, кабелями и пр.
susuoltcev Автор
22.06.2023 13:54+8Это все может и работает, но только если ты непрерывно стоишь у этого "станка".
В моем случае это выглядело так:
С утра приехали монтажники - зарядили стенд роутерами - уехали. Я приехал в офис, тыкнул кнопку, пошел пить чай. После немного поделал любые другие дела. Через 30 минут вернулся, скидал все в коробки.
Тут работает правило "лучше один раз сконцентрируй внимание на 52 штуках, чем 52 раза сконцентрируй внимание на 1 штуке".
Один роутер шьется 4 минуты, если для точности контекста.
Tuvok
22.06.2023 13:54Да, но время на разработку решения, на поиск, подключение и конфигурирование стенда и т. п. здесь учитывается?
susuoltcev Автор
22.06.2023 13:54+1С момента принятия решения о том, что роутеры придется шить до готовности стенда прошло 2 дня)
Yuriy_krd
22.06.2023 13:54за два дня можно было бы прошить без стенда, а последовательно, пару сотен роутеров. :)
Tarakanator
22.06.2023 13:54+2всё равно не понимаю зачем городить 52 места.
берёшь 1-й роутер, не вынимая из коробки(т.е. открыл крышку и приподнял чтоб до портов долезть) втыкаешь витуху, втыкаешь питание.
Потом 2,3....10й.
Потом отключаешь уже прошившийся первый и втыкаешь на его место 11й.
Но вообще всё зависит от постановки задачи. Вам нужно было организовать прошивку, вы сделали стенд а возятся с ним другие. Если же вам самим нужно было бы перепрошить, то мой вариант выглядит лучше.
Sergey_Cheban
22.06.2023 13:54Шить по одному - конечно, не вариант. А вот в режиме "Десять шьём, другие десять отключаем/упаковываем/достаём/подключаем" процесс imho шёл бы побыстрее, и не только за счёт отсутствия поводов отвлечься на чай, но и за счёт меньшего размера стенда.
Впрочем, и так неплохо получилось.
vadimr
22.06.2023 13:54+2Я так понял из статьи, что роутеры прошиваются одновременно, каким-то бродкастом. Что на один роутер 40 минут, что на 52 роутера 40 минут.
Оказывается нет.
evpozd
22.06.2023 13:54+5Они же не должны все одновременно с точностью до секунды включиться и приступить к прошивке?
Если на прошивку 50 роутеров уходит 5 минут, а оставшиеся час-два - на их распаковку, подключение и упаковку, не вижу смысла прошивать одновременно более 6 роутеров.
Включил утилиту, подключил один, распаковал второй, пока дошел до шестого, можно отсоединять первый, перезагружать, упаковывать, распаковывать новый. Выйдут те же 1-2 мин на роутер.
LazyZeroed
22.06.2023 13:54+1есть USB-сетевые карты, которые можно подключать к телефонам
А можете привести пример такой карты?
Ded_Pichto
22.06.2023 13:54+1Например эта, есть варианты как просто USB, так и Type-C
Очень уважаю эту фирму, периодически покупаю её продукцию.
DaemonGloom
22.06.2023 13:54+2На самом деле, большинство 100mb/1gb usb сетевых карт спокойно заработают с современными телефонами. С большими скоростями уже может быть подвох — для них может не быть драйвера в установленном Android.
not-allowed-here
22.06.2023 13:54а что мешало Шить при подключении? выдаем монтажникам Роутер который уже настроен по дефолту Роутер попадает в спец VLAN и шьется.... Такую процедуру отработать стоило бы и для всего остального что бы Можно было прошивать скажем при нахождении дыр что бы не плодить ботнеты....
HiLander
22.06.2023 13:54Что-то подобное делал в одном замечательном банке в преддверии олимпиады, когда в течение пары дней нужно было установить несколько коробок POS терминалов c GSM подключением (точное количество не упомню, но больше сотни точно). Просто подготовить 1 посик к работе занимало не менее 20 минут (установка симки, заливка прошивки, настройка, криптоключи, привязка id и пр.). И был КОНВЕЕР и стояли по всем столам блоки питания рядами и плакали сотрудники провайдера с ближайших сотовых вышек...
MRD000
22.06.2023 13:54+1активируется утилита
начинает кидать широковещательные пакеты по какому-то из своих протоколов. Я не уточнял этот момент, работает и ладно
Как-то это не кажется очень безопасным. Получается, что эта утилита имеет доступ к роутеру только потому, что она в той же сети? Т.е. теоретически malware из сети может прошивать или, я так понимаю, можно даже команды посылать.
Единственное исключение, если это зашифровано как-то, но ведь утилитку можно и реверснуть и все ключики и пароли оттуда достать.Разве нет?
evpozd
22.06.2023 13:54+1Хотя нет, согласен, не норм. Какая-нибудь манипуляция с зубочисткой должна быть для входа в аварийный режим перед прошивкой.
me21
22.06.2023 13:54+1Наверное, дополнительное условие, что пакет должен быть первым принятым после подачи питания.
evpozd
22.06.2023 13:54+2Могу предположить, что малварь должна будет ограничивать доступ к интернету и одновременно начинать бомбить пакетами. Человек первым или вторым делом перезагрузит роутер - и вуаля.
MRD000
22.06.2023 13:54Я тоже об этом подумал. Не очень надежная идея.
Лучше наверное какую-то комбинацию кнопок чтобы нажать нужно. Но в этом случае достаточно чтобы просто через интернет обновлялось без какого-то софта, который через заложенную дыру заходит
event1
22.06.2023 13:54-1Мы похожую ситуацию решили последовальной обработкой. Поставили стенд на 16 портов и меняли маршрутизаторы по мере готовности. Один маршрутизатор готовился за 10 минут. Тысячу прогнали за 2 дня примерно. Но при нём всё время человек стоял и перетыкивал устройства.
DX168B
22.06.2023 13:54+1Интересно, а можно было бы сделать по другому? В провайдерской сети поднять технический VLAN , на котором поднять сервис обновления прошивки. Но клиентские роутеры не настраивать на него. Монтажникам вручить специально настроенный роутер, настроенный на этот VLAN. Монтажник приходит на объект, втыкает спецроутер, подключает его к роутеру, который нужно прошить, подаёт питание, прошивает, снимает спецроутер и ставит свежепрошитый роутер на объект. Это позволило бы избавиться от этой проблемы хоть и не сразу, а постепенно.
Sunrise357
22.06.2023 13:54-1А Вам не кажется, что использование дома оборудования от незнакомого дяди - это сама по себе дикость? Это всё равно что тащить домой чужой компьютер. Кто может знать, что и с какими целями происходит на этих устройствах?
demiansly
22.06.2023 13:54Я уржался уже на заголовке, проработав пресейлом почти 10 лет в телекоме могу сказать сразу кто останется без премии в лучшем случае, и кто пойдёт по собственному в худшем случае. От статьи я ожидал если честно не лечения -- а свода правил как в такое не попасть. Ещё момент -- раз так можно шить -- не стоило ЛИ сразу подстелить соломку и сделать конфиг чтобы шить можно было не отходя от кассы прямо в доме у клиента не трогая больные ноги из-за дурной головы? Методику как прошить роутеры не сложнее игры в тетрис -- не это хочется увидеть, так или иначе лыком мыком это можно, а вот то что технический пресейл у вас откуда-то из из того самого органа с универсальной шиной, что во-первых вы не пошли к нему спросить какого хрена, это по плану -- если не по плану какой путь решения -- явно говорит о том что кто пресейл и работает головой, а кто пресейл и деньги получает. К слову у нас были сходные пресейлы по входящим условиям, в моих проектах проектах тем более, все эти ситуации я просчитывал заранее, затем тестировал на предпилотной стадии в песочнице -- и только потом одобрял или отклонял в зависимости от ситуации. В статье описано решение головняка который вы не должны решать потому что он не должен состояться минимум из-за трёх человек которые стояли в цепочке -- но жизнь сурова : )
susuoltcev Автор
22.06.2023 13:54+1Увы, но в нашей компании нет пресейла от слова совсем. С заводом-поставщиком работаем довольно давно, раньше все было ок. Это внезапно вылезшая проблема, которую надо было как-то решать. Я описал свой опыт и не претендую на истину последней инстанции.
Но в целом вы правы. Хороший пресейл - основное лекарство от такой проблемы.
Soren
С таким без проблем должна будет справиться и самая дешевая современная железка от них (благо функционал RouterOS и их лицензий в контексте задачи одинаковый), особенно если роутеры шьются последовательно. Прошивки весят мало, пакетов в секунду NAT'ится немного. Хороший вариант.