14-й и 15-й выпуски СДСМ, а параллельно с этим работа в мегаскейле стимулировала мой интерес к аппаратной начинке сетевых устройств.

Теперь стало любопытно, как выглядит процесс производства оборудования, и насколько российское импортозамещение соответствует представлениям СДСМ14.

По счастливой неслучайности мы всё ещё поддерживаем тесную связь с Артёмом Спицыным — ныне руководителем Московского офиса Элтекс Коммуникации. И он мне предложил новые вопросы привезти на Окружную 29В в Новосибирске.

Данная статья — продукт поездки на фабрику Элтекс и дальнейших размышлений.



И мы снова собрали доблестную четвёрку в поход на Элтекс: сетевой инженер Яндекса (Я), тестировщица из Plesk (наша Наташа), безработный, вернувшийся из кругосветки (Сергей, помогавший нам с CCIE за год), и студент СибГУТИ ИВТ (Миша).

Одна из вещей, которые изменились за 2,5 года — разрешили фотографировать. Поэтому часть фотографий в этой публикации предоставлена Элтекс — хорошего качества, а часть — в общем, извините.

Итак в декабре 2018-го Элтекс наконец-то запустил новый корпус. Буквально за неделю до нашего туда пришествия. Шума было много, запускали с апломбом. Пресса, министры, экскурсии.
На мой избалованный вкус дизайн исключительно утилитарный: стерильные лабиринты коридоров, однообразные кабинеты, рыжие столы-клоны, про которые уже и в прошлый раз было замечено. Однако на этом фоне особенно живо смотрятся логова конструкторов и железячников, усыпанные платами, сопротивлениями, чипами, осциллографами и прочей возбуждающей техникой.





Производственная линия



На втором этаже построили первую из трёх линий длиной метров в 200.
Это примерно десяток станков, выстроенных в ряд, между которыми по конвейеру путешествует плата, обрастая всё новыми и новыми деталями. Станки перемежаются участками с установленными вокруг конвейера столами, где трудятся обычные люди, выполняя работу, для которой мозг и противопоставленный палец обходится дешевле, чем бездушное азиатское железо.
Таким образом линия обеспечивает полный цикл производства продукта: в её начале въезжают голые печатные платы, а в конце выходит коробка с устройством, готовая к продаже или установке.

Давайте сначала взглянем на этапы производства, а потом разберёмся, какая исследовательская и разработческая работа этому предшествует.



Поверхностный монтаж


Первая стадия — это поверхностный монтаж SMD-компонентов (Surface Mounted Device) — чипы, резисторы, конденсаторы и прочие компоненты устанавливаются на свои места и припаиваются.

В первый станок с торца въезжает печатная плата с уже вытравленными дорожками и подготовленными посадочными площадками.

Станок наносит на плату смесь припоя с флюсом в соотношении 9:1. Чтобы смесь ложилась только на нужные точки, используется заранее подготовленный трафарет.

Далее плата с припоем передвигается в другой станок, где на неё в соответствии со схемой помещаются компоненты.

Резисторы, транзисторы, конденсаторы, чипы памяти, пакетные процессоры, CPU находятся на бобинах с лентами, закреплёнными на лицевой стороне станка.

Таких станка три, и установлены они один за другим — все физически идентичны, но имеют разную программу и оперируют разными компонентами. Если грубо, то хват настроен на разные размеры элементов.



Следующим станком является печь для запекания плат. Сначала они плавно прогреваются до 100 градусов, это выравнивает температуру компонентов и защищает их от термального шока на следующем шаге производства, когда температура резкого повышается до примерно 330°C на 5 минут. Допустимые температурные режимы указываются в спецификациях компонентов.

В завершение первой стадии происходит оптический анализ пайки. В автоматическом режиме каждая плата проверяется на предмет холодной пайки, повреждений и дефектов.

Штыревой монтаж


Дальше заканчивается изящество автоматизации. Платы попадают на растерзание в нежные женские (впрочем, не только) руки. В прошлый наш визит цех штыревого монтажа произвёл неизгладимое впечатление. К счастью этот благоухающий оазис с амазонками никуда не делся, просто в новом корпусе добавился конвейер.



На этой стадии на платы устанавливают в уже готовые отверстия элементы, имеющие штыри. К ним относятся, например, разъёмы питания, сетевые, кнопки, светодиоды.

Автоматизация такой работы всё ещё крайне невыгодна сравнительно мелкому производителю, поэтому как и прежде в Элтекс выполняют её люди. А поскольку мужчины (крайне слабо приспособленные к такой монотонной работе создания) совершают много ошибок, её поручают преимущественно женщинам (и не заводите разговор о сексизме — между полами исторически сложилась разница).

Дальше плата ещё раз попадает в печь, где волновым методом запаиваются установленные элементы.

Сначала здесь происходит нанесение флюса, далее как и при поверхностном монтаже в три этапа плата прогревается. А в самом конце станка — большой чан с жидким припоем и в чане ламинарная ходит волна. Волна слегка касается одной из сторон платы, и припой смачивает контактные площадки, а под действием капиллярного эффекта поднимается вверх по сквозным отверстиям, запаивая штыри.

Излишки припоя стекают обратно в чан. Температура — около 260°C.


На фото платы как раз устремлены в печь.

Линию выключили незадолго до нашего визита — станок ещё сохранил волнующее тепло, однако припой уже застыл.


Иллюстрация из статьи о волновой пайке



Прошивка


Все устройства далее проходят прошивку.


На фото её проходят ТВ-приставки.



Установка в корпус


Следующая стадия — это монтаж оставшихся элементов и корпуса.



Делается это вручную: человек в заранее изготовленный в Азии (или России) корпус монтирует едущую по линии плату.



Тестирование



На фотографии тестируют ТВ-приставки.

Довольно интересно выглядит тестирование оборудования Wi-Fi — на специальных столах установлены металлические ящики, изолирующие излучение, а соответственно и влияние соседних испытуемых, напичканные измерительной аппаратурой.



Упаковка


Последним шагом является упаковка готового устройства в защитные мешки, коробки и добавление аксессуаров: антенн, монтажных ушек, блоков питания, пультов итд. Занимается этим, конечно же человек. По линии к нему приезжает собранное устройство, а рядом в ящиках подвозят упаковочный материал.

Готовую продукцию увозят заказчику.



В конкретный момент времени линия настроена на определённое устройство: начиная с программ и трафаретов и заканчивая набором лент с компонентами.

Если нужно поменять конфигурацию, производство останавливается и полностью перенастраивается.

В новом корпусе предполагается крупносерийное производство — ТВ-приставки, коммутаторы, маршрутизаторы, VoIP-шлюзы и VoIP-телефоны — то, что сразу разъезжается сотням заказчиков разного калибра (Вопреки бытующим стереотипам — у Элтекса не один заказчик).
Старую же линию, на который мы были в прошлый раз, не демонтируют, разумеется — на ней будет мелкосерийное и экспериментальное производства — устройства, которые пока требуются штучно.



Но самый интересный вопрос не в том, как в азиатских станках платы обрастают азиатскими компонентами, а в том, откуда берутся программы для них, сами платы, трафареты.

До того, как запустить устройство в производство — его нужно разработать, начиная с бизнес-задачи и заканчивая 3D-симуляцией потоков воздуха внутри устройства и температурной картой.

Разработка печатной платы


В этот наш визит инженеры и архитекторы Элтекс оказались гораздо более общительны, чем два года назад. Я связываю это с тем, что за это время linkmeup вырос из никому неизвестного подкаста в проект, у которого есть даже свои личные ненавистники. Хотя вполне вероятно, потому что в прошлый раз это было четыре человека из Huawei, который как известно, везде своих казачков засылает, а теперь это Я — янедксоид, Наташа из Плеска, безработный Серёга, и студент Миша).

Поэтому инженеры Элтекс были открыты и с видимым удовольствием рассказывали о своей работе. А мы в свою очередь не упускали возможности задать вопрос.

Структурная схема


Всё начинается со структурной схемы. Это наиболее поверхностный взгляд на устройство/плату.

На такой схеме изображаются все элементы платы и логические связи между ними. Её задача дать представление о структуре устройства, роли отдельных частей и интерфейсах взаимодействия между ними без лишней детализации.

Так на иллюстрации ниже изображена структурная схема материнской платы обычного компьютера


Структурная схема материнской платы ASUS P5BW-MB.

Мы видим все её базовые элементы и связи между ними в самом общем виде.

В случае сетевого оборудования это будет CPU, память, чип коммутации (он же пакетный процессор, он же Forwarding Engine), PHY (до сих пор не определено, как произносить — «фи» или фаи" в Элтексе все склоняются ко второму варианту) итд.

Элтекс имеет несколько линеек оборудования от STB до модульных маршрутизаторов. В больших железках уровня оператора или ДЦ верны заветам Juniper и Forwarding Plane полностью отделён от Control, поэтому CPU не принимает участия в передаче данных, а берёт на себя интеллектуальные функции. Для коммутации же есть отдельный чип FE.

Об этом подробнее в 14-м выпуске СДСМ.
С другой стороны в SOHO-рутерах и ТВ-приставках используется SoC, которого вполне достаточно для функций, которые ожидают от устройства.

Каждый тип устройства имеет свою структурную схему.

Можно понизить уровень абстракции и вспомнить, что каждый микрочип сам имеет сложную структуру и соответствующие структурную и принципиальную схемы. В общем-то и разница между печатной платой и чипом в том, что в качестве подложки в одном случае используется текстолит с медными дорожками, а в другом — оксид кремния.

Принципиальная схема


После того, как определена структурная схема, пора приступать к выбору каждого конкретного компонента и разработке принципиальной схемы.

Это уже детализированная схема устройства с абсолютно всеми элементами, актуальным количеством контактов и их соединениями. Обычно это многостраничный документ, на котором схема разбита на множество частей.

Но это всё ещё логика работы — не разводка токопроводящих соединений на плате.

Вот пример небольшого кусочка принципиальной схемы материнской платы:


Часть принципиальной схемы той же материнской платы ASUS P5BW-MB.

А вот отрывок из приницпиальной схемы коммутатора MES1124M:



С какими-то из компонентов всё сравнительно просто. Грубо говоря, резисторы да конденсаторы подбираются по номиналу. Простые ASIC'и по своим функциям.

Однако, чем сложнее чип, тем больше возникает вопросов и компромиссов.

С одной стороны каждый поставщик реализует одни и те же механизмы по-своему. С другой набор поддерживаемых функций тоже у всех разный.

Наиболее сложным является, очевидно выбор процессоров — центрального и пакетного (FE). Причём последнего сложнее, потому что для CPU достаточно определить архитектуру, а дальше все производители делают ± одно и то же, а для FE вариации по поддерживаемой функциональности и языку общения с чипом не ограничены.

К тому же и производителей сейчас на рынке хватает:

  • Серия Broadcom
  • Marvell XPliant
  • Barefoot Tofino
  • Mellanox Spectrum
  • Innovium Teralynx
  • Даже Realtek

Для коммутаторов Элтекс не остановился на одном в роли FE, а использует Broadcom, Marvell и Realtek.

Как чип коммутации для свитча, так и SoC для какой-нибудь Wi-Fi-точки или STB является его сердцем, вокруг которого строится вся прочая обвязка.

Когда счёт идёт на сотни и тысячи ножек, разобраться в том, как чип работает, уже достойно научной работы. Поэтому производитель обычно поставляет какое-то экспериментальное устройство с этим чипом. Оно не должно быть гибким, компактным, энергосберегающим — его единственная роль — показать, как взаимодействовать с чипом (помимо тысяч страниц документации SDK).

А вендор сетевого оборудования после этого уже думает, как эти ноги пристроить на свои устройства.

Кстати, в качестве софта для домовых и Fixed-size железок используют этот самый SDK, предоставляемый производителем чипов. В некоторых случаях его допиливают, а порой отдают пользователю — как есть.



Таким образом на стадии завершения принципиальной схемы становится уже окончательно понятно, как устройство будет работать и какие компоненты использованы.

Разводка печатной платы


Следующая задача — расположить это всё на текстолитовой плате.

Современные платы многослойные — вплоть до 40 слоёв (что, скорее редкость, чем общая практика). Наращиваются на производстве они постепенно — сначала схема вытравливается на самом глубоком внутреннем слое, далее один за другим вытравливаются следующие и прессуются с имеющимися. Чем больше слоёв, тем меньше толщина каждой пластинки. Соответственно зависимость между числом слоёв и толщиной платы — нелинейная.
В простейшем случае — слой один. В простом случае — их четыре, и они разделены функционально: сигнальные, электропитание, заземление. В сложных платах, как например, для коммутаторов — это ещё и возможность многократно увеличить доступную для проводников площадь без фактического увеличения размеров, а также избежать индукции между соседними дорожками на одном слое, проходящими рядом друг с другом.

Пример четырёхслойной платы: заметно на просвет, как на разных слоях отличаются токопроводящие дорожки и заливка заземления.

Естественно, разные слои должны взаимодействовать друг с другом, то есть иметь металлический контакт, поэтому в нужных местах слои высверливаются на необходимую глубину (до какого слоя нужно добуриться). Если диаметр больше 0,2 мм, используется обычное сверло, при меньших значениях — уже лазер.

Далее это отверстие металлизируется.

На фото я выделил то, как такие переходные отверстия выглядят на плате.


Переходные отверстия.


3D-модель многослойной платы и реализации переходных отверстий.


Срез всамделишной платы в месте переходного отверстия.



Любопытный момент (который, кстати, возникает тут на каждом шагу) — если через переходное отверстие проходит высокоскоростной сигнал (10GE), допустим с верхнего слоя и «ныряет» на внутренний, то остается неиспользуемая часть отверстия между этим внутренним и нижним слоями. Так скажем паразитная (stub) часть переходного отверстия. Чтобы от нее избавиться с обратной стороны платы такие переходные отверстия высверливаются большим сверлом на определенную глубину до необходимого внутреннего слоя.

Любопытный момент (которые, кстати, возникают тут на каждом шагу) — если оставить такое переходное отверстие, как есть, то высокоскоростной сигнал (10GE), ныряя с верхнего слоя на внутренний, будет отражаться от паразитной части (stub), и могут возникать помехи передаваться помехи, ухудшающие работу платы вплоть до полной неисправности.

Одно из возможных решений этой проблемы, которое использует Элтекс, — технология backdrilling. С противоположной стороны сверлится встречное отверстие большего диаметра. В этом случае сигнал не отражается, а проходит насквозь.



Естественным образом, получается, что в месте такого переходного отверстия ни на одном из слоёв не может пролегать дорожка.

Однако общая рекомендация — избегать переходных отверстий, насколько это возможно, тем более для высокочастотных сигналов.

До недавних пор у меня были иллюзии, что трассировки дорожек на печатных платах уже давно делаются автоматическим методом. Сложно было представить, что километры тончайших дорожек рисуются руками.

Но сначала в подкасте про виртуализацию Господин Инженер, далеко углубившись в железо, тоном не терпящим возражений сообщил что сейчас ни один продукт не умеет в адекватную автотрассировку, а теперь и Элтекс стал примером, подтверждающим это утверждение.

Хуже того изначально нет даже библиотеки чипов, которые можно было бы накидать на рабочее пространство и соединять их дорожками. В спецификации чипов указывается схема расположения контактных площадок, которая вручную воссоздаётся в проекте.

И если, к примеру, чип имеет 1200 контактов, то и сами контакты и дорожки от каждого рисуются вручную.

В целом современные платформы для разработки платы функциональность автотрассировок имеют, только для их адекватной работы, необходимо задавать сотни правил в случае более или менее сложной схемы.

Часть из них достаточно простые:

  • Ширина токопроводящих дорожек. Тут море нюансов. Но универсальные правила следуют из закона Ома: чем ниже сечение, тем выше сопротивление и больше падение напряжение, а соответственно и нагрев.
  • Ширина зазора. При наличии разных потенциалов в двух проводниках даже диэлектрик может стать проводником. И тем вероятнее, чем проводники ближе.
    Таким образом ширина дорожек и зазоров — это компромисс между рисками и эффективностью.
    Кстати, здесь есть тонкий момент: в то время как вся (нет) Россия использует миллиметры для расчётов размеров, Китай (и не он один) считает в милах.
    Mille — тысячная доля дюйма или, соответственно, 0.0254 мм.
    Вот где нас подстерегла имперская система мер, словно 8 измерений, затаившихся внутри элементарных частиц (интересно, успею ли я при жизни пожалеть об этой вере).
    Поэтому совершенно типичны ситуации, когда при работе с китайскими производителями приходится пересчитывать из одной системы в другую. Удобно. Так в своё время греки переводили числа в вавилонскую систему, потому что в ней удобно было считать, а потом обратно в греческую — потому что так принято.

А другая часть менее очевидна.

  • Не рекомендуется делать повороты дорожек под углом 90 градусов — правильнее под 45 или закруглять по радиусу.

    В противном случае ток распространяется неравномерно. При больших токах это может вызывать локальные перегревы и выгорания дорожки.

    В случае когда имеем дело с высокоскоростным сигналом необходимо максимально плавно прокинуть сигнал на плате для уменьшения его затухания и здесь не допускается поворот даже под 45 градусов — только скругления.

    Элтекс использует радиус загиба на глаз, чего более чем достаточно.
  • На некоторых участках требуется, чтобы длина проводников была одинаковой.
    Одним из примеров будет подключение оперативной памяти.

    Другим — дифференциальные пары, соединяющие высокоскоростной порт (10GE) с чипом PHY. В этом методе сигнал передаётся по двум проводникам, но по одному из них в инвертированном виде (с другим знаком). Приёмник сравнивает два сигнала, полученных разным путём, а не сигнал одного провода с землёй. В этом случае электромагнитные помехи влияют одновременно на два провода, что повышает устойчивость, которая очень важна на таких скоростях.

    Очевидно, для того чтобы на приёмнике был один и тот же сигнал, сигнал этот должен прийти одновременно, соответственно и длина проводников должна быть одинаковой.


    CPU+DDR платы MES1124M.



    Плата, ты просто космос!

    Этим объясняются подчас странные формы дорожек на платах. Это не что иное, как выравнивание длин проводников между собой.



    Дорожки, связывающие процессор и оперативную память

    Необходимость в этом имелась всегда.


    Векторный суперкомпьютер CRAY-1.

Не только траектории каждой из тысяч дорожек определяются вручную, но и все переходные отверстия, скругления, контроль одинаковости длины проводников там где это требуется (Читай ниже про дифференциальные пары).

Павел Бомбизов, инженер-конструктор Элтекс, показал, как выделить дорожки, посмотреть их длину и сравнить с длиной её пары, как выбрать стык и сгладить его по радиусу, как создать контактные площадки чипов в виде равномерного массива точек.

Новые корпуса компонентов действительно необходимо рисовать вручную. В документации на чип производителем указывается схема расположения контактных площадок, их размеры и прочая информация, которую нужно перерисовать в библиотечный компонент. Порой это сделать не так-то просто поскольку количество контактов микросхемы может достигать нескольких тысяч, и здесь главное — не ошибиться с их расположением и обозначением.

Однако далее однажды нарисованный компонент вносится в библиотеку, и в будущем его можно будет просто переносить на рабочее пространство.

То есть рисуются только новые компоненты, не использовавшиеся в проектах ранее. Основная часть компонентов либо уже нарисована ранее, либо имеется в стандартной библиотеке компонентов, встроенной в САПР.


Марвеловский чип PHY с обратной стороны — для оценки числа контактов, которые нужно правильно нарисовать.
Во время экскурсии было не очень понятно, почему Элтекс делает вручную выравнивания и загибы. Софт для разводки плат уже очень давно умеет как минимум в сравнение длины проводников, выравнивание, задание параметров кривизны. Но позднее Элтекс дал комментарии.
Выравнивание сигналов делается автоматом, но бывает проще и быстрее сделать это вручную. Всё зависит от конкретного случая.

Например, память, которая на фото Дорожки, связывающие процессор и оперативную память" разведена автоматом, вручную так нарисовать проблематично.
А вот диффпары на картинке Плата, ты просто космос!" выровнены вручную, причем здесь необходимо выровнять лишь одну и скопировать выравнивание на все остальные.
То есть проектирование плат — всё ещё колоссальный труд, который требует от конструктора предельной аккуратности и сосредоточенности внимания.

По словам Павла на разводку одной платы уходит от месяца. Если это коммутатор с четырёхслойной платой — около одного месяца. А например, MES9032, имеющий 20 слоев, множество нюансов и требующий решения многих конструктивных задач, может потребовать более полугода).

Последним шагом при проектировании платы является шелкография — расстановка позиционных обозначений компонентов, подписей разъемов, интерфейсов ввода-вывода итд.

Это не только обязательное требование при промышленной разработке плат, но и своего рода «комментарии к коду»:
Как использовать плату, как установить компонент, где плюс/минус питания, что показывает индикатор, даже как расположить плату в устройстве (например, гиродатчик, для которого важно расположение осей).

На этом этапе уже есть полное понимание того, как плата будет выглядеть и какие компоненты где на ней будут стоять.

Однако разработка устройства на этом ещё не закончена. Даже печатную плату ещё нельзя отправлять в производство, потому что по результатам следующего шага могут потребоваться ещё изменения.



Расчёт корпуса и системы вентиляции


Далее (на самом деле параллельно) проект передаётся конструкторам корпуса и системы вентиляции. Очевидно, это связанные вещи, поэтому и занимается ими один человек (или отдел).
На этом этапе в SolidWorks импортируются результаты предыдущего этапа.

С точки зрения формы корпуса важно знать размеры платы, расположение портов, индикаторов, кнопок, выводы антенн И так далее.

С точки зрения системы вентиляции — количество тепла, выделяемого компонентами, их размер и местоположение.

Теперь строится трёхмерная модель устройства вместе с корпусом и внутренней набивкой.
Исходя из тепловыделения, предполагаемых потоков воздуха и опыта, конструктор располагает отверстия вентиляции, радиаторы и перегородки и запускает расчёт.

Но прежде всего модель в значительной степени упрощается. Убираются:

  • Многослойность платы
  • Дорожки
  • Переходные отверстия
  • Монтажные отверстия
  • Компоненты, выделяющие пренебрежимо мало тепла и не влияющие на потоки воздуха
  • Сами компоненты тоже упрощаются вплоть до параллелепипедов.


Упрощенная модель MES1124M.

Температурная карта, направления потоков воздуха, их скорость и всё это для разных временных интервалов вычисляются достаточно продолжительное время. Для простого коммутатора или STB на околотоповой видеокарте это занимает несколько часов. А для модульного маршрутизатора ME5000 — 2 недели.

К сожалению, изумительной красоты результаты расчётов с траекториями потоков воздуха и температурными картами, возбуждающие живой интерес любого инженера, опубликовать не разрешили.

Увы, у Элтекса пока нет достаточной потребности в вычислительном кластере, поэтому трудится на благо заказчика десктоп конструктора. Забыл спросить, а не было бы удобнее здесь обратиться к публичным облакам — каждый уважающий себя провайдер уже имеет ферму с GPU (или планирует).

На основе первых результатов конструктор пробует различные конфигурации радиаторов, перегородок, вентиляторов и отверстий в рамках имеющихся ограничений.

Не всегда это удаётся, поэтому в некоторых случаях приходится возвращать проект на шаг назад и пересматривать расположение элементов и даже их модели.

Этот итеративный процесс продолжается до тех пор, пока расчёты не будут показывать стабильный температурный режим.

Разумеется, система охлаждения — это одно из компромиссных решений между энергоэффективностью и номинальным температурным режимом работы.

Например, в ТВ-приставках кулер будет смотреться неуместно. В то же время никто не ожидает от пятнадцатиюнитового шасси пассивного охлаждения. Кстати в нём стоят 6 вот таких вентиляторов, каждый из которых при максимальной скорости отрывается от поверхности стола:



Хочется тут вспомнить Яндекс, который благодаря грамотному планированию потоков воздуха в серверах (не только этому, конечно) добился в своих ДЦ фрикулинга и PUE близкого к единице.

Ну а потом наступает этап проверки теории практикой. До серийного производства корпуса в самом Элтексе печатается на 3д-принтере пробный вариант, в него помещается опытный образец платы. И далее устройство подвергается многочисленным тестам.

Здесь можно обнаружить нестыковки корпуса с платой, ошибки в расположении элементов, удобство использования, а самое главное измерить реальную температуру чипов и на разных участках платы, выяснив насколько модель соответствует реальности.

По словам сотрудников Элтекс в большинстве случаев никаких отклонений не обнаруживается. Однако если тесты не прошли, модель приходится корректировать — либо чего-то не учли, либо во входные данные вкралась ошибка, например, неправильно ввели тепловыделение чипа.

Что же до модели, то как всегда — она компромисс между близостью её к реальности и эффективностью расчётов. Моделируемый объект нужно упростить настолько, насколько это возможно, но не больше.



Когда испытания пройдены, корпус утверждён, устройство работает исправно, оно пускается в серию.


3д-модель MES1124M в корпусе.

Пластиковые корпуса изготовляются преимущественно в Китае. Металл гнуть и у нас, кажется, умеют, хотя и не всегда, как рассказывает Элтекс.

Многослойные платы производят так же в Азии, хотя есть и у нас в России заводы. Такой выбор обусловлен рядом причин. Например, возможности техпроцесса: переходные отверстия 0,1 мм наши пока делать не умеют. Стабильность продукта и предсказуемое время поставки — другие причины. Ну и никуда не деть того факта, что производство в Азии всё ещё дешевле, чем в России.

Вся рассыпуха и микрочипы — тоже оттуда.

Ну а компонуется это всё уже на сборочной линии в Новосибирске.

Для этого создаются:

  • сборочный чертеж на плату,
  • трафареты для нанесения паяльной пасты на станке,
  • программа для установщика компонентов: что, как и куда устанавливать

Это всё ожидаемо делают те же ребята, что и занимаются разработкой.



Так выглядит печатная плата, изготовленная в Китае.


Плата коммутатора MES1124M. На ней я отметил ключевые компоненты: CPU и память, чипы FE и PHY, Downlink и Uplink порты, и что интересно — трансформаторы. Их роль здесь — изолировать цепи контактов разъёма от остальных цепей коммутатора и корпуса и, как следствие защитить дорогостоящие чипы PHY и чипы пакетной коммутации.

Изоляция в 1500 VAC — это минимальное требование стандарта IEEE802.3, поэтому при попадании 220 VAC на порт (например, через витую пару при повреждении изоляции кабеля), ничего не сгорит — 220 VAC не сможет пробить.

Однако трансформатор не может защитить от электростатического разряда, так как разряд с первичной стороны трансформатора наводится на цепи на вторичной стороне. Защита от электростатики выполняется другими средствами.




Что же до импортозамещения, увы, приходится признать, что дальше разводки печатных плат и сборки/пайки готового устройства, мы так и не зашли. Все микрочипы всё ещё закупаются в Азии.
У Элтекса был (да и есть) опыт с Байкалами в качестве центральных процессоров. Взаимодействие с экспертами Baikal Electronics ведётся при создании оборудования для госорганов.

Однако с пакетными процессорами (FE) ситуация не изменилась — всё ещё не умеем. И, насколько мне известно, не пробуем. Элтекс говорит, что я ошибаюсь, но без деталей, увы. Если, конечно, речь не о чипах Миландра, которые безусловно любопытны, но всё-таки далеки от bleeding edge.

Кроме того в этот раз нам представилась возможность второй раз поговорить с Александром Евгеньевичем Моховым — начальником лаборатории Ethernet Technology. Из-под его рук в некотором смысле выходят коммутаторы серии MES и маршрутизаторов ME5000.

В прошлый раз мы были лазутчиками из Huawei, о которых не предупредили заранее. А теперь и визит заранее согласовали, и гости из понятных мест. Поэтому вместо недоверчивых аккуратных фраз получился приватный разговор, из которого стало ясно, что в целом Элтекс следует лучшим практикам при строительстве модульных устройств.

Пожалуй, по существу здесь добавить нечего.



Полезные ссылки





Заключение


С точки зрения техники экскурсия вышла превосходной. Лично мне было интересно окунуться в процессы, к тому же это заставило меня и самого немного почитать на эту тему. Несколько вещей стали настоящими открытиями, другие просто расставили всё по местам.

Несмотря на неоднозначное отношение как инженеров операторов, так и обычных пользователей к Элтексу, я рад, что у нас есть люди, которые способны создавать такие вещи, создают их, и не боятся о них рассказывать.

За это время модульный маршрутизатор вышел из стадии разработки и трудится на сети неназванного заказчика. Если есть счастливые инженеры, эксплуатирующие их, пишите комментарии.

По словам отдела маркетинга Элтекс на сегодняшний день поставки их оборудования, помимо России, осуществляются в страны СНГ, Европы, Ближнего Востока, Северной и Южной Америки, Юго-Восточной Азии. Наибольшим спросом на зарубежном рынке пользуется оборудование широкополосного доступа для операторов связи.

Что ж, желаем нашему производителю активной и результативной экспансии на международный рынок — только там здоровая конкуренция бросает настоящие вызовы.
Если вы приносите в сетевой мир что-то новое и вам есть, что показать и рассказать, то мы с удовольствием наведаемся и к вам в гости.


Спасибы


  • Мария Мищенко — маркетолог Элтекс и наш гид.
  • Артём Спицын — руководитель московского офиса Элтекс Коммуникации и инициатор экскурсии.
  • Павел Бомбизов — инженер-конструктор Элтекс (проектирование плат)
  • Алексей Филон — инженер-конструктор Элтекс (проектирование корпусов и системы вентиляции)
  • Сергей Игонин — начальник участка SMD Элтекс (производственная линия)
  • Вячеслав Горбач — инженер-программист Элтекс (лаборатория Hardware, рассказ про использование SDK для SoC)
  • Александр Мохов — начальник лаборатории Ethernet Technоlogy Элтекс (разработка сетевого оборудования и взаимодействие с производителями чипов)
  • Роман Гурьев — инженер-электронщик (за исправление неточностей)
  • Дмитрий Булыгин — инженер связи (за знакомство с Артёмом и замечания по читаемости текста)
  • Сергей Луньков — сетевой инженер (за компанию)
  • Наталья Асташенко — тестировщик (за компанию и поправки к статье)
  • Михаил Пуртов — студент (за компанию)
  • Павел Остапенко — инженер связи (за несделанные фото и поправки к статье)

Комментарии (55)


  1. alexanster
    14.01.2019 14:14

    Никогда не видел, чтобы у рэкового оборудования разъём питания был на лицевой панели. В чём преимущества такого подхода?


    1. eucariot
      14.01.2019 14:18

      Про плюсы не скажу, но неоднократно видел железо с разъёмами впереди. В частности Huawei NE40-x3.
      Возможно, потому что они не глубокие и с другой стороны стойки можно поставить второй.


    1. vanyas
      14.01.2019 14:39
      +1

      Это для монтажа с коммутационные шкафы скорее, где задняя стенка глухая и подлезть к разъёмам с обратной стороны очень проблематично


      1. vvpoloskin
        14.01.2019 19:32
        +1

        Особенно актуально в настенных шкафах.


    1. Loxmatiymamont
      14.01.2019 14:39

      Правила размещения в стойках ЦОД'а, а именно: горячие/холодные корридоры, прокладка комутации в стойке. Иного смысла не замечено.


    1. NAI
      14.01.2019 15:06

      При жестких требованиях к габаритам. Например, если использовать навесной шкаф, то при подводе питания сзади 1.его неудобно подключать\отключать. 2.Как минимум 7-10 см. (разъем+радиус загиба кабеля питания) надо оставлять между коммутатором и задней стенкой. Частично может спасти использование углового IEC С13(расстояние до задней стенке сокращается до ~4 см) — но их тоже надо суметь найти.

      Мне пришлось упихивать коммутатор (270x44.5x230)+опт. кросс+автомат питания+вводные клеммы в шкаф ШВГ 380х380х210 (требования заказчика). И вот там подвод питания сзади сильно сокращал пространство для подключения кабелей сети.


      1. alexanster
        14.01.2019 15:39

        Благодарю всех ответивших, стало понятно.


  1. BiosUefi
    14.01.2019 14:43

    На EmbeddedWorld2019 приедут?


    1. lelik363
      14.01.2019 22:19

      Пока что от России заявлено 4 компаний, которые будут иметь на выставки собственные стенды: EmSо, Fastwel, Миландр, Z-Wave.Me.


  1. vesper-bot
    14.01.2019 14:49

    Интересно, что на последнем фото мамка от стомегабитного коммутатора — неужели такие ещё пользуются спросом?


    1. shtirlitsus
      14.01.2019 17:04
      +2

      да. как коммутаторы доступа в подъездах у провайдеров.


    1. eucariot
      14.01.2019 22:03

      Я не зря вставил ссылку на миландр) Они делают чипы на 10Мб/с.
      Эти скорости всё ещё с нами.


      1. lelik363
        14.01.2019 22:05

        Какую архитектуру имеют устройства с процессором Байкал-Т1?


        1. Eltex_CO
          15.01.2019 12:01

          Архитектуру вы можете найти на сайте www.baikalelectronics.ru/products/T1


          1. lelik363
            15.01.2019 12:37

            Как устроен процессор я знаю. Мне интересно узнать про архитектуру Вашего устройство с BE-T1.


            1. Eltex_CO
              15.01.2019 13:25

              Архитектура типовая — процессор управляет коммутатором через шину PCI-E


              1. lelik363
                15.01.2019 14:28

                А коммутатор чей?


  1. REPISOT
    14.01.2019 18:10

    для оценки числа контактов, которые нужно правильно нарисовать
    Может, «правильно развести»? Чего их рисовать-то? Или у вас в среде нельзя матрицей массив контактов вставить при создании компонента?


    1. eucariot
      14.01.2019 18:17

      Сначала "нарисовать" или взять из библиотеки. Не всегда чип имеет равномерный массив контактов.


      1. Gryphon88
        14.01.2019 18:44

        Ну не совсем же вручную его рисуют. Думаю, фоткают и параметрически подгоняют, иначе страшно как-то.


        1. eucariot
          14.01.2019 22:07

          Я всё жду, когда придёт Элтекс в комментарии и авторитетно ответит, но его всё нет.
          По словами конструкторов, в спецификациях к чипам есть раскладки контактов. Вот их и переносят вручную.


          1. tm8211
            15.01.2019 12:03

            Некоторые производители микросхем (например, Analog Devices) предлагают файлы для принципиальных схем (symbol) и для печатных плат (decal|footprint). Для этого как правило используется ПО UltraLibrarian, умеющее выводить данные в разных форматах (для разных САПР). Все же остальные компоненты требуют ручного создания необходимых файлов по имеющейся документации, каждый контакт по координатам с точностью до микрона. Это долго, дорого и повышает вероятность ошибок. Бывает, что первые собранные платы приходится выбрасывать — у какого-то из важных компонентов оказались перепутаны контакты, и невозможно запустить устройство хотя бы для проверки остальных компонентов.

            Какой САПР используется для разработки электрической схемы и печатной платы?

            Это PADS Layout от Mentor Graphics.


            1. lelik363
              15.01.2019 12:34

              Бывает, что первые собранные платы приходится выбрасывать

              Сколько обычно итераций происходит прежде чем оборудование начинает массово производиться?


            1. Eltex_CO
              15.01.2019 13:30

              В своей работе сотрудники предприятия пользуются САПР лидеров рынка — Cadence и Mentor Graphics.


              1. lelik363
                15.01.2019 14:28

                del


        1. vvzvlad
          15.01.2019 12:42

          Обычно как-то так выглядит картинка:

          Но часто есть готовые принты, сделанные кем-то(иногда и производителем), либо похожий от другого чипа.


      1. lelik363
        14.01.2019 22:09

        Какой САПР используется для разработки электрической схемы и печатной платы?


      1. fizikdaos
        15.01.2019 21:41

        Зря заострили внимание на создании библиотеки. Это, пожалуй, самое простое. Хотя и требует аккуратности и внимания. На каждый контакт микросхемы необходимо минимум пару страниц документации внимательно изучать.


  1. Konachan700
    14.01.2019 18:55
    +2

    Как вижу многослойную разводку жирных BGA, прямо жутковато становится. Тут QFP176 разводишь, так ни терпения ни нервов не хватает, то тут ошибся, то там места нет… Как у людей хватает терпения разводить эти многие тысячи точек, даже при наличии автотрассировщика, я не представляю просто…


  1. sterr
    14.01.2019 20:45

    Помню элтексы здорово подосрали, когда первая партия была с разъемами питания на одной стороне и заземлением спереди, а вторая партия была с питанием с другой стороны и заземлением сзади. Вот мы тогда матюкались и ставили их вверх-ногами. Разъем спереди удобен, когда в ящике их стоит 4 и между ними не засунуть руку, чтобы перезагрузить не надо шарить сзади. В этом смысле они удобней оптических 24, там питание сзади, еще он длиннее. Разъем упирается в ящик, вытащить его невозможно, не открутив.
    И еще в этих 24 портовых свитчах порты выгорали блоками. И с измерениями линий вечно какие-то приколы. Если ничего не понятно, он просто выдает Line mismatch (не дословно, не помню уж как). Но, если честно — техника очень надежная. Лучше чем зависающие длинки. У нас в сети их штук 200 наверное.


  1. lelik363
    14.01.2019 22:07

    Проводится ли и как проводится нагрузочное тестирование на устройства типа коммутатора MES1124M?


    1. artemspitsyn
      15.01.2019 12:03

      В обязательном порядке проводится многоэтапное тестирование всего разрабатываемого оборудования и коммутаторы серии MES1124 не исключение. Всегда проводят тестирование перед выходом нового релиза HW или SW.
      Технология стандартна, собирается стенд с оборудованием в необходимой конфигурации и оценивается соответствие производительности устройства заявленным требованиям согласно внутренним регламентам.
      Есть возможность воспроизводить фрагменты сети заказчика и осуществлять тестирование под конкретные требования, так обычно и поступают, если необходима кастомизация под проект или разработка нового решения.
      Ниже фото нескольких стендов, прошу не впадать в депрессию по поводу проводов — сделаны не в лучшее время переезда в новый корпус. :)

      тестовые стенды
      image
      image


      1. lelik363
        15.01.2019 12:28

        На фото скорее показано оборудование для проведения приёмо — сдаточных испытаний. Или я не прав?
        Оборудование от IXIA или XENA используете?


    1. Eltex_CO
      15.01.2019 13:40

      Оборудование проходит функциональное и нагрузочное тестирование. В рамках функционального тестирования используется схема применения и проверка взаимодействия устройства в стенде (настройка сети). В ходе нагрузочного тестирования на стенд, на котором используется DUT (device under test), подаются различные виды трафика. Для подачи трафика на максимальной скорости ЭЛТЕКС использует тестовое оборудование, в частности IXIA.


      1. lelik363
        15.01.2019 14:30

        То есть подаете трафик на все 24 порта?


  1. DX168B
    14.01.2019 22:15

    О не менее интересном не рассказали. Кто пишет софт для этого железа?


    1. eucariot
      14.01.2019 22:18

      Коротко упомянул. Для простых вещей, вроде приставок используется голый или доработанный SDK от производителя.
      На больших, вроде, ME5000 пишут сами на основе Linux, OpenSource и своих разработок. Но где тут граница и что такое свои разработки — я не знаю :)


      1. snizovtsev
        15.01.2019 13:16

        Не вижу, где на вашем сайте можно скачать исходники ядра, которое под GPL.
        UPD: Прошу прощения, вы не из Элтекс. Но судя по их форуму — они злостные и упрямые нарушитили GPL.


      1. legioner
        15.01.2019 22:59

        off Еще бы обновили версию Android на ТВ-приставках, а то 4.4 уже полтора года как EOL /off


    1. Eltex_CO
      15.01.2019 13:49

      В компании работает около 200 программистов, которые пишут софт для оборудования. Все исходные коды принадлежат ЭЛТЕКС.


      1. snizovtsev
        15.01.2019 14:58
        +1

        Смотрим https://eltex-co.ru/catalog/provider_edge_router/me5100/
        Там лежит прошивка firmware-1.8.1.127R.me510, являющаяся cpio архивом. Распаковываем, внутри архив fs.tgz. Распаковываем, а внутри как минимум образ ядра Linux и бинарник BusyBox (и ещё куча опенсорса). Эти двое точно распространяются под лицензией GPL. Вы выложили бинарники, поэтому вы обязаны выложить их модифицированные исходники. Где исходники, карл?


        1. motienko
          16.01.2019 11:15

          Насколько я помню, на самом деле достаточно передавать исходники покупателям по запросу. Ну и положить текст GPL лицензии в комплекте. Азиатские производители так и делают, кстати.


      1. Pinsky
        15.01.2019 18:26

        Количество программистов в компании никак не коррелирует с правами на использованный код, распространяемый под виральной лицензией, и требующий публикацию всех изменений публично.

        Свободное ПО != делай что хочешь


    1. artemspitsyn
      15.01.2019 15:58

      Немного не в тему статьи, но помимо ethernet switch и ПО для них у Элтекс есть еще много направлений, в том числе и VOIP. В рамках линейки АТС есть замечательный продукт — программный коммутатор ECSS-10 SoftSwitch. И это не переработаный астер, как многие пренебрежительно думают, основываясь на опыте отечественных аналогов.
      Это собственное решение, разработанное талантливой командой программистов, причем на языке Erlang! Изначально в приоритете была поставлена задача кластеризации, отказоустойчивости и легкого масштабирования SSW для этого и выбрали не самый популярный язык — Erlang, созданный как раз для систем подобного уровня.
      Но есть и минусы — в следствии «популярности» языка ощущается нехватка кадров, особенно в Сибири. Как способ решения проблемы — организуются школы программирования и различные коллаборации с ВУЗами Новосибирска. Элтекс готовит сам для себя кадры посредством организации подобных школ и стажировок и начал это задолго до того как это стало мейнстримом. :)


  1. maxzhurkin
    14.01.2019 22:47

    и не заводите разговор о сексизме — между полами исторически сложилась разница
    говоря так, вы лишь сообщаете тот очевидный факт, что у сексизма есть история, правильнее и точнее, IMHO, говорить, что разница сложилась эволюционно


    1. eucariot Автор
      15.01.2019 12:02

      Да, «эволюционно» здесь подошло бы более точно.


  1. sendnudesorban
    15.01.2019 12:01

    человек в заранее изготовленный в Азии (или России) корпус


    случайно можно прочитать как человек заранее изготовленный в Азии (или Россиии) :)




    1. eucariot Автор
      15.01.2019 12:02

      Спасибо, что обратили внимание)


  1. JustMoose
    15.01.2019 13:13

    когда температура резкого повышается до примерно 330°C на 5 минут

    Ыых. Насколько я помню, компоненты можно греть паяльником по 10 секунд максимум.
    За 5 минут оно зажарится :)


    1. Eltex_CO
      15.01.2019 13:54

      Компоненты имеют каждый свой рекомендуемый профиль. К счастью, все производители учитывают особенности техпроцессов производителей других составляющих SMD технологии, поэтому чаще всего возможно подобрать температурный профиль, устраивающий все требования. Обычно профиль имеет зону начального прогрева, зону предварительного прогрева и зону оплавления. Регулируя температуру в зонах печи, при отладке процессов получают нужный термопрофиль.


      1. mikdim
        15.01.2019 15:16

        Вы уж извините, что я к Вам со своим самоваром, но даже производители пассивки рекомендуют придерживаться термопрофилей в зависимости от пасты. Наврятли вы паяете чем-то эксклюзивным, для самых ходовых паст 270 градусов — максимум.

        А на 330 уже велик шанс получить
        image


  1. maxzhurkin
    15.01.2019 20:48

    Кто же с такими мониторами размещает панель задач горизонтально?!
    Да ещё и с большими значками!
    Да ещё и две!


    1. vesper-bot
      16.01.2019 10:14

      Вторая панель — это удаленный рабочий стол в оконном режиме. А остальное — «так удобнее» и всё.


      1. maxzhurkin
        16.01.2019 13:48

        Вот сильно сомневаюсь: предполагаю, что, пользователь или не знает, что можно поменять, или ленится, или не считают себя в праве менять, потому, что пользуется не один.


  1. pbx1
    16.01.2019 21:52

    Корпуса и схемы не рисуют, их чертят.