14-й и 15-й выпуски СДСМ, а параллельно с этим работа в мегаскейле стимулировала мой интерес к аппаратной начинке сетевых устройств.
Теперь стало любопытно, как выглядит процесс производства оборудования, и насколько российское импортозамещение соответствует представлениям СДСМ14.
По счастливой неслучайности мы всё ещё поддерживаем тесную связь с Артёмом Спицыным — ныне руководителем Московского офиса Элтекс Коммуникации. И он мне предложил новые вопросы привезти на Окружную 29В в Новосибирске.
Данная статья — продукт поездки на фабрику Элтекс и дальнейших размышлений.
И мы снова собрали доблестную четвёрку в поход на Элтекс: сетевой инженер Яндекса (Я), тестировщица из Plesk (наша Наташа), безработный, вернувшийся из кругосветки (Сергей, помогавший нам с CCIE за год), и студент СибГУТИ ИВТ (Миша).
Одна из вещей, которые изменились за 2,5 года — разрешили фотографировать. Поэтому часть фотографий в этой публикации предоставлена Элтекс — хорошего качества, а часть — в общем, извините.
Итак в декабре 2018-го Элтекс наконец-то запустил новый корпус. Буквально за неделю до нашего туда пришествия. Шума было много, запускали с апломбом. Пресса, министры, экскурсии.
На мой избалованный вкус дизайн исключительно утилитарный: стерильные лабиринты коридоров, однообразные кабинеты, рыжие столы-клоны, про которые уже и в прошлый раз было замечено. Однако на этом фоне особенно живо смотрятся логова конструкторов и железячников, усыпанные платами, сопротивлениями, чипами, осциллографами и прочей возбуждающей техникой.
На втором этаже построили первую из трёх линий длиной метров в 200.
Это примерно десяток станков, выстроенных в ряд, между которыми по конвейеру путешествует плата, обрастая всё новыми и новыми деталями. Станки перемежаются участками с установленными вокруг конвейера столами, где трудятся обычные люди, выполняя работу, для которой мозг и противопоставленный палец обходится дешевле, чем бездушное азиатское железо.
Таким образом линия обеспечивает полный цикл производства продукта: в её начале въезжают голые печатные платы, а в конце выходит коробка с устройством, готовая к продаже или установке.
Давайте сначала взглянем на этапы производства, а потом разберёмся, какая исследовательская и разработческая работа этому предшествует.
Первая стадия — это поверхностный монтаж SMD-компонентов (Surface Mounted Device) — чипы, резисторы, конденсаторы и прочие компоненты устанавливаются на свои места и припаиваются.
В первый станок с торца въезжает печатная плата с уже вытравленными дорожками и подготовленными посадочными площадками.
Станок наносит на плату смесь припоя с флюсом в соотношении 9:1. Чтобы смесь ложилась только на нужные точки, используется заранее подготовленный трафарет.
Далее плата с припоем передвигается в другой станок, где на неё в соответствии со схемой помещаются компоненты.
Резисторы, транзисторы, конденсаторы, чипы памяти, пакетные процессоры, CPU находятся на бобинах с лентами, закреплёнными на лицевой стороне станка.
Таких станка три, и установлены они один за другим — все физически идентичны, но имеют разную программу и оперируют разными компонентами. Если грубо, то хват настроен на разные размеры элементов.
Следующим станком является печь для запекания плат. Сначала они плавно прогреваются до 100 градусов, это выравнивает температуру компонентов и защищает их от термального шока на следующем шаге производства, когда температура резкого повышается до примерно 330°C на 5 минут. Допустимые температурные режимы указываются в спецификациях компонентов.
В завершение первой стадии происходит оптический анализ пайки. В автоматическом режиме каждая плата проверяется на предмет холодной пайки, повреждений и дефектов.
Дальше заканчивается изящество автоматизации. Платы попадают на растерзание в нежные женские (впрочем, не только) руки. В прошлый наш визит цех штыревого монтажа произвёл неизгладимое впечатление. К счастью этот благоухающий оазис с амазонками никуда не делся, просто в новом корпусе добавился конвейер.
На этой стадии на платы устанавливают в уже готовые отверстия элементы, имеющие штыри. К ним относятся, например, разъёмы питания, сетевые, кнопки, светодиоды.
Автоматизация такой работы всё ещё крайне невыгодна сравнительно мелкому производителю, поэтому как и прежде в Элтекс выполняют её люди. А поскольку мужчины (крайне слабо приспособленные к такой монотонной работе создания) совершают много ошибок, её поручают преимущественно женщинам (и не заводите разговор о сексизме — между полами исторически сложилась разница).
Дальше плата ещё раз попадает в печь, где волновым методом запаиваются установленные элементы.
Сначала здесь происходит нанесение флюса, далее как и при поверхностном монтаже в три этапа плата прогревается. А в самом конце станка — большой чан с жидким припоем и в чане ламинарная ходит волна. Волна слегка касается одной из сторон платы, и припой смачивает контактные площадки, а под действием капиллярного эффекта поднимается вверх по сквозным отверстиям, запаивая штыри.
Излишки припоя стекают обратно в чан. Температура — около 260°C.
На фото платы как раз устремлены в печь.
Линию выключили незадолго до нашего визита — станок ещё сохранил волнующее тепло, однако припой уже застыл.
Иллюстрация из статьи о волновой пайке
Все устройства далее проходят прошивку.
На фото её проходят ТВ-приставки.
Следующая стадия — это монтаж оставшихся элементов и корпуса.
Делается это вручную: человек в заранее изготовленный в Азии (или России) корпус монтирует едущую по линии плату.
На фотографии тестируют ТВ-приставки.
Довольно интересно выглядит тестирование оборудования Wi-Fi — на специальных столах установлены металлические ящики, изолирующие излучение, а соответственно и влияние соседних испытуемых, напичканные измерительной аппаратурой.
Последним шагом является упаковка готового устройства в защитные мешки, коробки и добавление аксессуаров: антенн, монтажных ушек, блоков питания, пультов итд. Занимается этим, конечно же человек. По линии к нему приезжает собранное устройство, а рядом в ящиках подвозят упаковочный материал.
Готовую продукцию увозят заказчику.
В конкретный момент времени линия настроена на определённое устройство: начиная с программ и трафаретов и заканчивая набором лент с компонентами.
Если нужно поменять конфигурацию, производство останавливается и полностью перенастраивается.
В новом корпусе предполагается крупносерийное производство — ТВ-приставки, коммутаторы, маршрутизаторы, VoIP-шлюзы и VoIP-телефоны — то, что сразу разъезжается сотням заказчиков разного калибра (Вопреки бытующим стереотипам — у Элтекса не один заказчик).
Старую же линию, на который мы были в прошлый раз, не демонтируют, разумеется — на ней будет мелкосерийное и экспериментальное производства — устройства, которые пока требуются штучно.
Но самый интересный вопрос не в том, как в азиатских станках платы обрастают азиатскими компонентами, а в том, откуда берутся программы для них, сами платы, трафареты.
До того, как запустить устройство в производство — его нужно разработать, начиная с бизнес-задачи и заканчивая 3D-симуляцией потоков воздуха внутри устройства и температурной картой.
В этот наш визит инженеры и архитекторы Элтекс оказались гораздо более общительны, чем два года назад. Я связываю это с тем, что за это время linkmeup вырос из никому неизвестного подкаста в проект, у которого есть даже свои личные ненавистники. Хотя вполне вероятно, потому что в прошлый раз это было четыре человека из Huawei, который как известно, везде своих казачков засылает, а теперь это Я — янедксоид, Наташа из Плеска, безработный Серёга, и студент Миша).
Поэтому инженеры Элтекс были открыты и с видимым удовольствием рассказывали о своей работе. А мы в свою очередь не упускали возможности задать вопрос.
Всё начинается со структурной схемы. Это наиболее поверхностный взгляд на устройство/плату.
На такой схеме изображаются все элементы платы и логические связи между ними. Её задача дать представление о структуре устройства, роли отдельных частей и интерфейсах взаимодействия между ними без лишней детализации.
Так на иллюстрации ниже изображена структурная схема материнской платы обычного компьютера
Структурная схема материнской платы ASUS P5BW-MB.
Мы видим все её базовые элементы и связи между ними в самом общем виде.
В случае сетевого оборудования это будет CPU, память, чип коммутации (он же пакетный процессор, он же Forwarding Engine), PHY (до сих пор не определено, как произносить — «фи» или фаи" в Элтексе все склоняются ко второму варианту) итд.
Элтекс имеет несколько линеек оборудования от STB до модульных маршрутизаторов. В больших железках уровня оператора или ДЦ верны заветам Juniper и Forwarding Plane полностью отделён от Control, поэтому CPU не принимает участия в передаче данных, а берёт на себя интеллектуальные функции. Для коммутации же есть отдельный чип FE.
Об этом подробнее в 14-м выпуске СДСМ.
С другой стороны в SOHO-рутерах и ТВ-приставках используется SoC, которого вполне достаточно для функций, которые ожидают от устройства.
Каждый тип устройства имеет свою структурную схему.
Можно понизить уровень абстракции и вспомнить, что каждый микрочип сам имеет сложную структуру и соответствующие структурную и принципиальную схемы. В общем-то и разница между печатной платой и чипом в том, что в качестве подложки в одном случае используется текстолит с медными дорожками, а в другом — оксид кремния.
После того, как определена структурная схема, пора приступать к выбору каждого конкретного компонента и разработке принципиальной схемы.
Это уже детализированная схема устройства с абсолютно всеми элементами, актуальным количеством контактов и их соединениями. Обычно это многостраничный документ, на котором схема разбита на множество частей.
Но это всё ещё логика работы — не разводка токопроводящих соединений на плате.
Вот пример небольшого кусочка принципиальной схемы материнской платы:
Часть принципиальной схемы той же материнской платы ASUS P5BW-MB.
А вот отрывок из приницпиальной схемы коммутатора MES1124M:
С какими-то из компонентов всё сравнительно просто. Грубо говоря, резисторы да конденсаторы подбираются по номиналу. Простые ASIC'и по своим функциям.
Однако, чем сложнее чип, тем больше возникает вопросов и компромиссов.
С одной стороны каждый поставщик реализует одни и те же механизмы по-своему. С другой набор поддерживаемых функций тоже у всех разный.
Наиболее сложным является, очевидно выбор процессоров — центрального и пакетного (FE). Причём последнего сложнее, потому что для CPU достаточно определить архитектуру, а дальше все производители делают ± одно и то же, а для FE вариации по поддерживаемой функциональности и языку общения с чипом не ограничены.
К тому же и производителей сейчас на рынке хватает:
Для коммутаторов Элтекс не остановился на одном в роли FE, а использует Broadcom, Marvell и Realtek.
Как чип коммутации для свитча, так и SoC для какой-нибудь Wi-Fi-точки или STB является его сердцем, вокруг которого строится вся прочая обвязка.
Когда счёт идёт на сотни и тысячи ножек, разобраться в том, как чип работает, уже достойно научной работы. Поэтому производитель обычно поставляет какое-то экспериментальное устройство с этим чипом. Оно не должно быть гибким, компактным, энергосберегающим — его единственная роль — показать, как взаимодействовать с чипом (помимо тысяч страниц документации SDK).
А вендор сетевого оборудования после этого уже думает, как эти ноги пристроить на свои устройства.
Кстати, в качестве софта для домовых и Fixed-size железок используют этот самый SDK, предоставляемый производителем чипов. В некоторых случаях его допиливают, а порой отдают пользователю — как есть.
Таким образом на стадии завершения принципиальной схемы становится уже окончательно понятно, как устройство будет работать и какие компоненты использованы.
Следующая задача — расположить это всё на текстолитовой плате.
Современные платы многослойные — вплоть до 40 слоёв (что, скорее редкость, чем общая практика). Наращиваются на производстве они постепенно — сначала схема вытравливается на самом глубоком внутреннем слое, далее один за другим вытравливаются следующие и прессуются с имеющимися. Чем больше слоёв, тем меньше толщина каждой пластинки. Соответственно зависимость между числом слоёв и толщиной платы — нелинейная.
Пример четырёхслойной платы: заметно на просвет, как на разных слоях отличаются токопроводящие дорожки и заливка заземления.
Естественно, разные слои должны взаимодействовать друг с другом, то есть иметь металлический контакт, поэтому в нужных местах слои высверливаются на необходимую глубину (до какого слоя нужно добуриться). Если диаметр больше 0,2 мм, используется обычное сверло, при меньших значениях — уже лазер.
Далее это отверстие металлизируется.
На фото я выделил то, как такие переходные отверстия выглядят на плате.
Переходные отверстия.
3D-модель многослойной платы и реализации переходных отверстий.
Срез всамделишной платы в месте переходного отверстия.
Любопытный момент (который, кстати, возникает тут на каждом шагу) — если через переходное отверстие проходит высокоскоростной сигнал (10GE), допустим с верхнего слоя и «ныряет» на внутренний, то остается неиспользуемая часть отверстия между этим внутренним и нижним слоями. Так скажем паразитная (stub) часть переходного отверстия. Чтобы от нее избавиться с обратной стороны платы такие переходные отверстия высверливаются большим сверлом на определенную глубину до необходимого внутреннего слоя.
Любопытный момент (которые, кстати, возникают тут на каждом шагу) — если оставить такое переходное отверстие, как есть, то высокоскоростной сигнал (10GE), ныряя с верхнего слоя на внутренний, будет отражаться от паразитной части (stub), и могут возникать помехи передаваться помехи, ухудшающие работу платы вплоть до полной неисправности.
Одно из возможных решений этой проблемы, которое использует Элтекс, — технология backdrilling. С противоположной стороны сверлится встречное отверстие большего диаметра. В этом случае сигнал не отражается, а проходит насквозь.
Естественным образом, получается, что в месте такого переходного отверстия ни на одном из слоёв не может пролегать дорожка.
Однако общая рекомендация — избегать переходных отверстий, насколько это возможно, тем более для высокочастотных сигналов.
До недавних пор у меня были иллюзии, что трассировки дорожек на печатных платах уже давно делаются автоматическим методом. Сложно было представить, что километры тончайших дорожек рисуются руками.
Но сначала в подкасте про виртуализацию Господин Инженер, далеко углубившись в железо, тоном не терпящим возражений сообщил что сейчас ни один продукт не умеет в адекватную автотрассировку, а теперь и Элтекс стал примером, подтверждающим это утверждение.
Хуже того изначально нет даже библиотеки чипов, которые можно было бы накидать на рабочее пространство и соединять их дорожками. В спецификации чипов указывается схема расположения контактных площадок, которая вручную воссоздаётся в проекте.
И если, к примеру, чип имеет 1200 контактов, то и сами контакты и дорожки от каждого рисуются вручную.
В целом современные платформы для разработки платы функциональность автотрассировок имеют, только для их адекватной работы, необходимо задавать сотни правил в случае более или менее сложной схемы.
Часть из них достаточно простые:
А другая часть менее очевидна.
Не только траектории каждой из тысяч дорожек определяются вручную, но и все переходные отверстия, скругления, контроль одинаковости длины проводников там где это требуется (Читай ниже про дифференциальные пары).
Павел Бомбизов, инженер-конструктор Элтекс, показал, как выделить дорожки, посмотреть их длину и сравнить с длиной её пары, как выбрать стык и сгладить его по радиусу, как создать контактные площадки чипов в виде равномерного массива точек.
Новые корпуса компонентов действительно необходимо рисовать вручную. В документации на чип производителем указывается схема расположения контактных площадок, их размеры и прочая информация, которую нужно перерисовать в библиотечный компонент. Порой это сделать не так-то просто поскольку количество контактов микросхемы может достигать нескольких тысяч, и здесь главное — не ошибиться с их расположением и обозначением.
Однако далее однажды нарисованный компонент вносится в библиотеку, и в будущем его можно будет просто переносить на рабочее пространство.
То есть рисуются только новые компоненты, не использовавшиеся в проектах ранее. Основная часть компонентов либо уже нарисована ранее, либо имеется в стандартной библиотеке компонентов, встроенной в САПР.
Марвеловский чип PHY с обратной стороны — для оценки числа контактов, которые нужно правильно нарисовать.
По словам Павла на разводку одной платы уходит от месяца. Если это коммутатор с четырёхслойной платой — около одного месяца. А например, MES9032, имеющий 20 слоев, множество нюансов и требующий решения многих конструктивных задач, может потребовать более полугода).
Последним шагом при проектировании платы является шелкография — расстановка позиционных обозначений компонентов, подписей разъемов, интерфейсов ввода-вывода итд.
Это не только обязательное требование при промышленной разработке плат, но и своего рода «комментарии к коду»:
Как использовать плату, как установить компонент, где плюс/минус питания, что показывает индикатор, даже как расположить плату в устройстве (например, гиродатчик, для которого важно расположение осей).
На этом этапе уже есть полное понимание того, как плата будет выглядеть и какие компоненты где на ней будут стоять.
Однако разработка устройства на этом ещё не закончена. Даже печатную плату ещё нельзя отправлять в производство, потому что по результатам следующего шага могут потребоваться ещё изменения.
Далее (на самом деле параллельно) проект передаётся конструкторам корпуса и системы вентиляции. Очевидно, это связанные вещи, поэтому и занимается ими один человек (или отдел).
На этом этапе в SolidWorks импортируются результаты предыдущего этапа.
С точки зрения формы корпуса важно знать размеры платы, расположение портов, индикаторов, кнопок, выводы антенн И так далее.
С точки зрения системы вентиляции — количество тепла, выделяемого компонентами, их размер и местоположение.
Теперь строится трёхмерная модель устройства вместе с корпусом и внутренней набивкой.
Исходя из тепловыделения, предполагаемых потоков воздуха и опыта, конструктор располагает отверстия вентиляции, радиаторы и перегородки и запускает расчёт.
Но прежде всего модель в значительной степени упрощается. Убираются:
Упрощенная модель MES1124M.
Температурная карта, направления потоков воздуха, их скорость и всё это для разных временных интервалов вычисляются достаточно продолжительное время. Для простого коммутатора или STB на околотоповой видеокарте это занимает несколько часов. А для модульного маршрутизатора ME5000 — 2 недели.
К сожалению, изумительной красоты результаты расчётов с траекториями потоков воздуха и температурными картами, возбуждающие живой интерес любого инженера, опубликовать не разрешили.
Увы, у Элтекса пока нет достаточной потребности в вычислительном кластере, поэтому трудится на благо заказчика десктоп конструктора. Забыл спросить, а не было бы удобнее здесь обратиться к публичным облакам — каждый уважающий себя провайдер уже имеет ферму с GPU (или планирует).
На основе первых результатов конструктор пробует различные конфигурации радиаторов, перегородок, вентиляторов и отверстий в рамках имеющихся ограничений.
Не всегда это удаётся, поэтому в некоторых случаях приходится возвращать проект на шаг назад и пересматривать расположение элементов и даже их модели.
Этот итеративный процесс продолжается до тех пор, пока расчёты не будут показывать стабильный температурный режим.
Разумеется, система охлаждения — это одно из компромиссных решений между энергоэффективностью и номинальным температурным режимом работы.
Например, в ТВ-приставках кулер будет смотреться неуместно. В то же время никто не ожидает от пятнадцатиюнитового шасси пассивного охлаждения. Кстати в нём стоят 6 вот таких вентиляторов, каждый из которых при максимальной скорости отрывается от поверхности стола:
Хочется тут вспомнить Яндекс, который благодаря грамотному планированию потоков воздуха в серверах (не только этому, конечно) добился в своих ДЦ фрикулинга и PUE близкого к единице.
Ну а потом наступает этап проверки теории практикой. До серийного производства корпуса в самом Элтексе печатается на 3д-принтере пробный вариант, в него помещается опытный образец платы. И далее устройство подвергается многочисленным тестам.
Здесь можно обнаружить нестыковки корпуса с платой, ошибки в расположении элементов, удобство использования, а самое главное измерить реальную температуру чипов и на разных участках платы, выяснив насколько модель соответствует реальности.
По словам сотрудников Элтекс в большинстве случаев никаких отклонений не обнаруживается. Однако если тесты не прошли, модель приходится корректировать — либо чего-то не учли, либо во входные данные вкралась ошибка, например, неправильно ввели тепловыделение чипа.
Что же до модели, то как всегда — она компромисс между близостью её к реальности и эффективностью расчётов. Моделируемый объект нужно упростить настолько, насколько это возможно, но не больше.
Когда испытания пройдены, корпус утверждён, устройство работает исправно, оно пускается в серию.
3д-модель MES1124M в корпусе.
Пластиковые корпуса изготовляются преимущественно в Китае. Металл гнуть и у нас, кажется, умеют, хотя и не всегда, как рассказывает Элтекс.
Многослойные платы производят так же в Азии, хотя есть и у нас в России заводы. Такой выбор обусловлен рядом причин. Например, возможности техпроцесса: переходные отверстия 0,1 мм наши пока делать не умеют. Стабильность продукта и предсказуемое время поставки — другие причины. Ну и никуда не деть того факта, что производство в Азии всё ещё дешевле, чем в России.
Вся рассыпуха и микрочипы — тоже оттуда.
Ну а компонуется это всё уже на сборочной линии в Новосибирске.
Для этого создаются:
Это всё ожидаемо делают те же ребята, что и занимаются разработкой.
Так выглядит печатная плата, изготовленная в Китае.
Плата коммутатора MES1124M. На ней я отметил ключевые компоненты: CPU и память, чипы FE и PHY, Downlink и Uplink порты, и что интересно — трансформаторы. Их роль здесь — изолировать цепи контактов разъёма от остальных цепей коммутатора и корпуса и, как следствие защитить дорогостоящие чипы PHY и чипы пакетной коммутации.
Изоляция в 1500 VAC — это минимальное требование стандарта IEEE802.3, поэтому при попадании 220 VAC на порт (например, через витую пару при повреждении изоляции кабеля), ничего не сгорит — 220 VAC не сможет пробить.
Однако трансформатор не может защитить от электростатического разряда, так как разряд с первичной стороны трансформатора наводится на цепи на вторичной стороне. Защита от электростатики выполняется другими средствами.
Что же до импортозамещения, увы, приходится признать, что дальше разводки печатных плат и сборки/пайки готового устройства, мы так и не зашли. Все микрочипы всё ещё закупаются в Азии.
У Элтекса был (да и есть) опыт с Байкалами в качестве центральных процессоров. Взаимодействие с экспертами Baikal Electronics ведётся при создании оборудования для госорганов.
Однако с пакетными процессорами (FE) ситуация не изменилась — всё ещё не умеем.И, насколько мне известно, не пробуем. Элтекс говорит, что я ошибаюсь, но без деталей, увы. Если, конечно, речь не о чипах Миландра, которые безусловно любопытны, но всё-таки далеки от bleeding edge.
Кроме того в этот раз нам представилась возможность второй раз поговорить с Александром Евгеньевичем Моховым — начальником лаборатории Ethernet Technology. Из-под его рук в некотором смысле выходят коммутаторы серии MES и маршрутизаторов ME5000.
В прошлый раз мы были лазутчиками из Huawei, о которых не предупредили заранее. А теперь и визит заранее согласовали, и гости из понятных мест. Поэтому вместо недоверчивых аккуратных фраз получился приватный разговор, из которого стало ясно, что в целом Элтекс следует лучшим практикам при строительстве модульных устройств.
Пожалуй, по существу здесь добавить нечего.
С точки зрения техники экскурсия вышла превосходной. Лично мне было интересно окунуться в процессы, к тому же это заставило меня и самого немного почитать на эту тему. Несколько вещей стали настоящими открытиями, другие просто расставили всё по местам.
Несмотря на неоднозначное отношение как инженеров операторов, так и обычных пользователей к Элтексу, я рад, что у нас есть люди, которые способны создавать такие вещи, создают их, и не боятся о них рассказывать.
За это время модульный маршрутизатор вышел из стадии разработки и трудится на сети неназванного заказчика. Если есть счастливые инженеры, эксплуатирующие их, пишите комментарии.
По словам отдела маркетинга Элтекс на сегодняшний день поставки их оборудования, помимо России, осуществляются в страны СНГ, Европы, Ближнего Востока, Северной и Южной Америки, Юго-Восточной Азии. Наибольшим спросом на зарубежном рынке пользуется оборудование широкополосного доступа для операторов связи.
Что ж, желаем нашему производителю активной и результативной экспансии на международный рынок — только там здоровая конкуренция бросает настоящие вызовы.
Теперь стало любопытно, как выглядит процесс производства оборудования, и насколько российское импортозамещение соответствует представлениям СДСМ14.
По счастливой неслучайности мы всё ещё поддерживаем тесную связь с Артёмом Спицыным — ныне руководителем Московского офиса Элтекс Коммуникации. И он мне предложил новые вопросы привезти на Окружную 29В в Новосибирске.
Данная статья — продукт поездки на фабрику Элтекс и дальнейших размышлений.
И мы снова собрали доблестную четвёрку в поход на Элтекс: сетевой инженер Яндекса (Я), тестировщица из Plesk (наша Наташа), безработный, вернувшийся из кругосветки (Сергей, помогавший нам с CCIE за год), и студент СибГУТИ ИВТ (Миша).
Одна из вещей, которые изменились за 2,5 года — разрешили фотографировать. Поэтому часть фотографий в этой публикации предоставлена Элтекс — хорошего качества, а часть — в общем, извините.
Итак в декабре 2018-го Элтекс наконец-то запустил новый корпус. Буквально за неделю до нашего туда пришествия. Шума было много, запускали с апломбом. Пресса, министры, экскурсии.
На мой избалованный вкус дизайн исключительно утилитарный: стерильные лабиринты коридоров, однообразные кабинеты, рыжие столы-клоны, про которые уже и в прошлый раз было замечено. Однако на этом фоне особенно живо смотрятся логова конструкторов и железячников, усыпанные платами, сопротивлениями, чипами, осциллографами и прочей возбуждающей техникой.
Производственная линия
На втором этаже построили первую из трёх линий длиной метров в 200.
Это примерно десяток станков, выстроенных в ряд, между которыми по конвейеру путешествует плата, обрастая всё новыми и новыми деталями. Станки перемежаются участками с установленными вокруг конвейера столами, где трудятся обычные люди, выполняя работу, для которой мозг и противопоставленный палец обходится дешевле, чем бездушное азиатское железо.
Таким образом линия обеспечивает полный цикл производства продукта: в её начале въезжают голые печатные платы, а в конце выходит коробка с устройством, готовая к продаже или установке.
Давайте сначала взглянем на этапы производства, а потом разберёмся, какая исследовательская и разработческая работа этому предшествует.
Поверхностный монтаж
Первая стадия — это поверхностный монтаж SMD-компонентов (Surface Mounted Device) — чипы, резисторы, конденсаторы и прочие компоненты устанавливаются на свои места и припаиваются.
В первый станок с торца въезжает печатная плата с уже вытравленными дорожками и подготовленными посадочными площадками.
Станок наносит на плату смесь припоя с флюсом в соотношении 9:1. Чтобы смесь ложилась только на нужные точки, используется заранее подготовленный трафарет.
Далее плата с припоем передвигается в другой станок, где на неё в соответствии со схемой помещаются компоненты.
Резисторы, транзисторы, конденсаторы, чипы памяти, пакетные процессоры, CPU находятся на бобинах с лентами, закреплёнными на лицевой стороне станка.
Таких станка три, и установлены они один за другим — все физически идентичны, но имеют разную программу и оперируют разными компонентами. Если грубо, то хват настроен на разные размеры элементов.
Следующим станком является печь для запекания плат. Сначала они плавно прогреваются до 100 градусов, это выравнивает температуру компонентов и защищает их от термального шока на следующем шаге производства, когда температура резкого повышается до примерно 330°C на 5 минут. Допустимые температурные режимы указываются в спецификациях компонентов.
В завершение первой стадии происходит оптический анализ пайки. В автоматическом режиме каждая плата проверяется на предмет холодной пайки, повреждений и дефектов.
Штыревой монтаж
Дальше заканчивается изящество автоматизации. Платы попадают на растерзание в нежные женские (впрочем, не только) руки. В прошлый наш визит цех штыревого монтажа произвёл неизгладимое впечатление. К счастью этот благоухающий оазис с амазонками никуда не делся, просто в новом корпусе добавился конвейер.
На этой стадии на платы устанавливают в уже готовые отверстия элементы, имеющие штыри. К ним относятся, например, разъёмы питания, сетевые, кнопки, светодиоды.
Автоматизация такой работы всё ещё крайне невыгодна сравнительно мелкому производителю, поэтому как и прежде в Элтекс выполняют её люди. А поскольку мужчины (крайне слабо приспособленные к такой монотонной работе создания) совершают много ошибок, её поручают преимущественно женщинам (и не заводите разговор о сексизме — между полами исторически сложилась разница).
Дальше плата ещё раз попадает в печь, где волновым методом запаиваются установленные элементы.
Сначала здесь происходит нанесение флюса, далее как и при поверхностном монтаже в три этапа плата прогревается. А в самом конце станка — большой чан с жидким припоем и в чане ламинарная ходит волна. Волна слегка касается одной из сторон платы, и припой смачивает контактные площадки, а под действием капиллярного эффекта поднимается вверх по сквозным отверстиям, запаивая штыри.
Излишки припоя стекают обратно в чан. Температура — около 260°C.
На фото платы как раз устремлены в печь.
Линию выключили незадолго до нашего визита — станок ещё сохранил волнующее тепло, однако припой уже застыл.
Иллюстрация из статьи о волновой пайке
Прошивка
Все устройства далее проходят прошивку.
На фото её проходят ТВ-приставки.
Установка в корпус
Следующая стадия — это монтаж оставшихся элементов и корпуса.
Делается это вручную: человек в заранее изготовленный в Азии (или России) корпус монтирует едущую по линии плату.
Тестирование
На фотографии тестируют ТВ-приставки.
Довольно интересно выглядит тестирование оборудования Wi-Fi — на специальных столах установлены металлические ящики, изолирующие излучение, а соответственно и влияние соседних испытуемых, напичканные измерительной аппаратурой.
Упаковка
Последним шагом является упаковка готового устройства в защитные мешки, коробки и добавление аксессуаров: антенн, монтажных ушек, блоков питания, пультов итд. Занимается этим, конечно же человек. По линии к нему приезжает собранное устройство, а рядом в ящиках подвозят упаковочный материал.
Готовую продукцию увозят заказчику.
В конкретный момент времени линия настроена на определённое устройство: начиная с программ и трафаретов и заканчивая набором лент с компонентами.
Если нужно поменять конфигурацию, производство останавливается и полностью перенастраивается.
В новом корпусе предполагается крупносерийное производство — ТВ-приставки, коммутаторы, маршрутизаторы, VoIP-шлюзы и VoIP-телефоны — то, что сразу разъезжается сотням заказчиков разного калибра (Вопреки бытующим стереотипам — у Элтекса не один заказчик).
Старую же линию, на который мы были в прошлый раз, не демонтируют, разумеется — на ней будет мелкосерийное и экспериментальное производства — устройства, которые пока требуются штучно.
Но самый интересный вопрос не в том, как в азиатских станках платы обрастают азиатскими компонентами, а в том, откуда берутся программы для них, сами платы, трафареты.
До того, как запустить устройство в производство — его нужно разработать, начиная с бизнес-задачи и заканчивая 3D-симуляцией потоков воздуха внутри устройства и температурной картой.
Разработка печатной платы
В этот наш визит инженеры и архитекторы Элтекс оказались гораздо более общительны, чем два года назад. Я связываю это с тем, что за это время linkmeup вырос из никому неизвестного подкаста в проект, у которого есть даже свои личные ненавистники. Хотя вполне вероятно, потому что в прошлый раз это было четыре человека из Huawei, который как известно, везде своих казачков засылает, а теперь это Я — янедксоид, Наташа из Плеска, безработный Серёга, и студент Миша).
Поэтому инженеры Элтекс были открыты и с видимым удовольствием рассказывали о своей работе. А мы в свою очередь не упускали возможности задать вопрос.
Структурная схема
Всё начинается со структурной схемы. Это наиболее поверхностный взгляд на устройство/плату.
На такой схеме изображаются все элементы платы и логические связи между ними. Её задача дать представление о структуре устройства, роли отдельных частей и интерфейсах взаимодействия между ними без лишней детализации.
Так на иллюстрации ниже изображена структурная схема материнской платы обычного компьютера
Структурная схема материнской платы ASUS P5BW-MB.
Мы видим все её базовые элементы и связи между ними в самом общем виде.
В случае сетевого оборудования это будет CPU, память, чип коммутации (он же пакетный процессор, он же Forwarding Engine), PHY (до сих пор не определено, как произносить — «фи» или фаи" в Элтексе все склоняются ко второму варианту) итд.
Элтекс имеет несколько линеек оборудования от STB до модульных маршрутизаторов. В больших железках уровня оператора или ДЦ верны заветам Juniper и Forwarding Plane полностью отделён от Control, поэтому CPU не принимает участия в передаче данных, а берёт на себя интеллектуальные функции. Для коммутации же есть отдельный чип FE.
Об этом подробнее в 14-м выпуске СДСМ.
С другой стороны в SOHO-рутерах и ТВ-приставках используется SoC, которого вполне достаточно для функций, которые ожидают от устройства.
Каждый тип устройства имеет свою структурную схему.
Можно понизить уровень абстракции и вспомнить, что каждый микрочип сам имеет сложную структуру и соответствующие структурную и принципиальную схемы. В общем-то и разница между печатной платой и чипом в том, что в качестве подложки в одном случае используется текстолит с медными дорожками, а в другом — оксид кремния.
Принципиальная схема
После того, как определена структурная схема, пора приступать к выбору каждого конкретного компонента и разработке принципиальной схемы.
Это уже детализированная схема устройства с абсолютно всеми элементами, актуальным количеством контактов и их соединениями. Обычно это многостраничный документ, на котором схема разбита на множество частей.
Но это всё ещё логика работы — не разводка токопроводящих соединений на плате.
Вот пример небольшого кусочка принципиальной схемы материнской платы:
Часть принципиальной схемы той же материнской платы ASUS P5BW-MB.
А вот отрывок из приницпиальной схемы коммутатора MES1124M:
С какими-то из компонентов всё сравнительно просто. Грубо говоря, резисторы да конденсаторы подбираются по номиналу. Простые ASIC'и по своим функциям.
Однако, чем сложнее чип, тем больше возникает вопросов и компромиссов.
С одной стороны каждый поставщик реализует одни и те же механизмы по-своему. С другой набор поддерживаемых функций тоже у всех разный.
Наиболее сложным является, очевидно выбор процессоров — центрального и пакетного (FE). Причём последнего сложнее, потому что для CPU достаточно определить архитектуру, а дальше все производители делают ± одно и то же, а для FE вариации по поддерживаемой функциональности и языку общения с чипом не ограничены.
К тому же и производителей сейчас на рынке хватает:
- Серия Broadcom
- Marvell XPliant
- Barefoot Tofino
- Mellanox Spectrum
- Innovium Teralynx
- Даже Realtek
Для коммутаторов Элтекс не остановился на одном в роли FE, а использует Broadcom, Marvell и Realtek.
Как чип коммутации для свитча, так и SoC для какой-нибудь Wi-Fi-точки или STB является его сердцем, вокруг которого строится вся прочая обвязка.
Когда счёт идёт на сотни и тысячи ножек, разобраться в том, как чип работает, уже достойно научной работы. Поэтому производитель обычно поставляет какое-то экспериментальное устройство с этим чипом. Оно не должно быть гибким, компактным, энергосберегающим — его единственная роль — показать, как взаимодействовать с чипом (помимо тысяч страниц документации SDK).
А вендор сетевого оборудования после этого уже думает, как эти ноги пристроить на свои устройства.
Кстати, в качестве софта для домовых и Fixed-size железок используют этот самый SDK, предоставляемый производителем чипов. В некоторых случаях его допиливают, а порой отдают пользователю — как есть.
Таким образом на стадии завершения принципиальной схемы становится уже окончательно понятно, как устройство будет работать и какие компоненты использованы.
Разводка печатной платы
Следующая задача — расположить это всё на текстолитовой плате.
Современные платы многослойные — вплоть до 40 слоёв (что, скорее редкость, чем общая практика). Наращиваются на производстве они постепенно — сначала схема вытравливается на самом глубоком внутреннем слое, далее один за другим вытравливаются следующие и прессуются с имеющимися. Чем больше слоёв, тем меньше толщина каждой пластинки. Соответственно зависимость между числом слоёв и толщиной платы — нелинейная.
В простейшем случае — слой один. В простом случае — их четыре, и они разделены функционально: сигнальные, электропитание, заземление. В сложных платах, как например, для коммутаторов — это ещё и возможность многократно увеличить доступную для проводников площадь без фактического увеличения размеров, а также избежать индукции между соседними дорожками на одном слое, проходящими рядом друг с другом.
Пример четырёхслойной платы: заметно на просвет, как на разных слоях отличаются токопроводящие дорожки и заливка заземления.
Естественно, разные слои должны взаимодействовать друг с другом, то есть иметь металлический контакт, поэтому в нужных местах слои высверливаются на необходимую глубину (до какого слоя нужно добуриться). Если диаметр больше 0,2 мм, используется обычное сверло, при меньших значениях — уже лазер.
Далее это отверстие металлизируется.
На фото я выделил то, как такие переходные отверстия выглядят на плате.
Переходные отверстия.
3D-модель многослойной платы и реализации переходных отверстий.
Срез всамделишной платы в месте переходного отверстия.
Любопытный момент (который, кстати, возникает тут на каждом шагу) — если через переходное отверстие проходит высокоскоростной сигнал (10GE), допустим с верхнего слоя и «ныряет» на внутренний, то остается неиспользуемая часть отверстия между этим внутренним и нижним слоями. Так скажем паразитная (stub) часть переходного отверстия. Чтобы от нее избавиться с обратной стороны платы такие переходные отверстия высверливаются большим сверлом на определенную глубину до необходимого внутреннего слоя.
Любопытный момент (которые, кстати, возникают тут на каждом шагу) — если оставить такое переходное отверстие, как есть, то высокоскоростной сигнал (10GE), ныряя с верхнего слоя на внутренний, будет отражаться от паразитной части (stub), и могут возникать помехи передаваться помехи, ухудшающие работу платы вплоть до полной неисправности.
Одно из возможных решений этой проблемы, которое использует Элтекс, — технология backdrilling. С противоположной стороны сверлится встречное отверстие большего диаметра. В этом случае сигнал не отражается, а проходит насквозь.
Естественным образом, получается, что в месте такого переходного отверстия ни на одном из слоёв не может пролегать дорожка.
Однако общая рекомендация — избегать переходных отверстий, насколько это возможно, тем более для высокочастотных сигналов.
До недавних пор у меня были иллюзии, что трассировки дорожек на печатных платах уже давно делаются автоматическим методом. Сложно было представить, что километры тончайших дорожек рисуются руками.
Но сначала в подкасте про виртуализацию Господин Инженер, далеко углубившись в железо, тоном не терпящим возражений сообщил что сейчас ни один продукт не умеет в адекватную автотрассировку, а теперь и Элтекс стал примером, подтверждающим это утверждение.
Хуже того изначально нет даже библиотеки чипов, которые можно было бы накидать на рабочее пространство и соединять их дорожками. В спецификации чипов указывается схема расположения контактных площадок, которая вручную воссоздаётся в проекте.
И если, к примеру, чип имеет 1200 контактов, то и сами контакты и дорожки от каждого рисуются вручную.
В целом современные платформы для разработки платы функциональность автотрассировок имеют, только для их адекватной работы, необходимо задавать сотни правил в случае более или менее сложной схемы.
Часть из них достаточно простые:
- Ширина токопроводящих дорожек. Тут море нюансов. Но универсальные правила следуют из закона Ома: чем ниже сечение, тем выше сопротивление и больше падение напряжение, а соответственно и нагрев.
- Ширина зазора. При наличии разных потенциалов в двух проводниках даже диэлектрик может стать проводником. И тем вероятнее, чем проводники ближе.
Таким образом ширина дорожек и зазоров — это компромисс между рисками и эффективностью.
Кстати, здесь есть тонкий момент: в то время как вся (нет) Россия использует миллиметры для расчётов размеров, Китай (и не он один) считает в милах.
Mille — тысячная доля дюйма или, соответственно, 0.0254 мм.
Вот где нас подстерегла имперская система мер, словно 8 измерений, затаившихся внутри элементарных частиц (интересно, успею ли я при жизни пожалеть об этой вере).
Поэтому совершенно типичны ситуации, когда при работе с китайскими производителями приходится пересчитывать из одной системы в другую. Удобно. Так в своё время греки переводили числа в вавилонскую систему, потому что в ней удобно было считать, а потом обратно в греческую — потому что так принято.
А другая часть менее очевидна.
- Не рекомендуется делать повороты дорожек под углом 90 градусов — правильнее под 45 или закруглять по радиусу.
В противном случае ток распространяется неравномерно. При больших токах это может вызывать локальные перегревы и выгорания дорожки.
В случае когда имеем дело с высокоскоростным сигналом необходимо максимально плавно прокинуть сигнал на плате для уменьшения его затухания и здесь не допускается поворот даже под 45 градусов — только скругления.
Элтекс использует радиус загиба на глаз, чего более чем достаточно. - На некоторых участках требуется, чтобы длина проводников была одинаковой.
Одним из примеров будет подключение оперативной памяти.
Другим — дифференциальные пары, соединяющие высокоскоростной порт (10GE) с чипом PHY. В этом методе сигнал передаётся по двум проводникам, но по одному из них в инвертированном виде (с другим знаком). Приёмник сравнивает два сигнала, полученных разным путём, а не сигнал одного провода с землёй. В этом случае электромагнитные помехи влияют одновременно на два провода, что повышает устойчивость, которая очень важна на таких скоростях.
Очевидно, для того чтобы на приёмнике был один и тот же сигнал, сигнал этот должен прийти одновременно, соответственно и длина проводников должна быть одинаковой.
CPU+DDR платы MES1124M.
Плата, ты просто космос!
Этим объясняются подчас странные формы дорожек на платах. Это не что иное, как выравнивание длин проводников между собой.
Дорожки, связывающие процессор и оперативную память
Необходимость в этом имелась всегда.
Векторный суперкомпьютер CRAY-1.
Не только траектории каждой из тысяч дорожек определяются вручную, но и все переходные отверстия, скругления, контроль одинаковости длины проводников там где это требуется (Читай ниже про дифференциальные пары).
Павел Бомбизов, инженер-конструктор Элтекс, показал, как выделить дорожки, посмотреть их длину и сравнить с длиной её пары, как выбрать стык и сгладить его по радиусу, как создать контактные площадки чипов в виде равномерного массива точек.
Новые корпуса компонентов действительно необходимо рисовать вручную. В документации на чип производителем указывается схема расположения контактных площадок, их размеры и прочая информация, которую нужно перерисовать в библиотечный компонент. Порой это сделать не так-то просто поскольку количество контактов микросхемы может достигать нескольких тысяч, и здесь главное — не ошибиться с их расположением и обозначением.
Однако далее однажды нарисованный компонент вносится в библиотеку, и в будущем его можно будет просто переносить на рабочее пространство.
То есть рисуются только новые компоненты, не использовавшиеся в проектах ранее. Основная часть компонентов либо уже нарисована ранее, либо имеется в стандартной библиотеке компонентов, встроенной в САПР.
Марвеловский чип PHY с обратной стороны — для оценки числа контактов, которые нужно правильно нарисовать.
Во время экскурсии было не очень понятно, почему Элтекс делает вручную выравнивания и загибы. Софт для разводки плат уже очень давно умеет как минимум в сравнение длины проводников, выравнивание, задание параметров кривизны. Но позднее Элтекс дал комментарии.То есть проектирование плат — всё ещё колоссальный труд, который требует от конструктора предельной аккуратности и сосредоточенности внимания.
Выравнивание сигналов делается автоматом, но бывает проще и быстрее сделать это вручную. Всё зависит от конкретного случая.
Например, память, которая на фото Дорожки, связывающие процессор и оперативную память" разведена автоматом, вручную так нарисовать проблематично.
А вот диффпары на картинке Плата, ты просто космос!" выровнены вручную, причем здесь необходимо выровнять лишь одну и скопировать выравнивание на все остальные.
По словам Павла на разводку одной платы уходит от месяца. Если это коммутатор с четырёхслойной платой — около одного месяца. А например, MES9032, имеющий 20 слоев, множество нюансов и требующий решения многих конструктивных задач, может потребовать более полугода).
Последним шагом при проектировании платы является шелкография — расстановка позиционных обозначений компонентов, подписей разъемов, интерфейсов ввода-вывода итд.
Это не только обязательное требование при промышленной разработке плат, но и своего рода «комментарии к коду»:
Как использовать плату, как установить компонент, где плюс/минус питания, что показывает индикатор, даже как расположить плату в устройстве (например, гиродатчик, для которого важно расположение осей).
На этом этапе уже есть полное понимание того, как плата будет выглядеть и какие компоненты где на ней будут стоять.
Однако разработка устройства на этом ещё не закончена. Даже печатную плату ещё нельзя отправлять в производство, потому что по результатам следующего шага могут потребоваться ещё изменения.
Расчёт корпуса и системы вентиляции
Далее (на самом деле параллельно) проект передаётся конструкторам корпуса и системы вентиляции. Очевидно, это связанные вещи, поэтому и занимается ими один человек (или отдел).
На этом этапе в SolidWorks импортируются результаты предыдущего этапа.
С точки зрения формы корпуса важно знать размеры платы, расположение портов, индикаторов, кнопок, выводы антенн И так далее.
С точки зрения системы вентиляции — количество тепла, выделяемого компонентами, их размер и местоположение.
Теперь строится трёхмерная модель устройства вместе с корпусом и внутренней набивкой.
Исходя из тепловыделения, предполагаемых потоков воздуха и опыта, конструктор располагает отверстия вентиляции, радиаторы и перегородки и запускает расчёт.
Но прежде всего модель в значительной степени упрощается. Убираются:
- Многослойность платы
- Дорожки
- Переходные отверстия
- Монтажные отверстия
- Компоненты, выделяющие пренебрежимо мало тепла и не влияющие на потоки воздуха
- Сами компоненты тоже упрощаются вплоть до параллелепипедов.
Упрощенная модель MES1124M.
Температурная карта, направления потоков воздуха, их скорость и всё это для разных временных интервалов вычисляются достаточно продолжительное время. Для простого коммутатора или STB на околотоповой видеокарте это занимает несколько часов. А для модульного маршрутизатора ME5000 — 2 недели.
К сожалению, изумительной красоты результаты расчётов с траекториями потоков воздуха и температурными картами, возбуждающие живой интерес любого инженера, опубликовать не разрешили.
Увы, у Элтекса пока нет достаточной потребности в вычислительном кластере, поэтому трудится на благо заказчика десктоп конструктора. Забыл спросить, а не было бы удобнее здесь обратиться к публичным облакам — каждый уважающий себя провайдер уже имеет ферму с GPU (или планирует).
На основе первых результатов конструктор пробует различные конфигурации радиаторов, перегородок, вентиляторов и отверстий в рамках имеющихся ограничений.
Не всегда это удаётся, поэтому в некоторых случаях приходится возвращать проект на шаг назад и пересматривать расположение элементов и даже их модели.
Этот итеративный процесс продолжается до тех пор, пока расчёты не будут показывать стабильный температурный режим.
Разумеется, система охлаждения — это одно из компромиссных решений между энергоэффективностью и номинальным температурным режимом работы.
Например, в ТВ-приставках кулер будет смотреться неуместно. В то же время никто не ожидает от пятнадцатиюнитового шасси пассивного охлаждения. Кстати в нём стоят 6 вот таких вентиляторов, каждый из которых при максимальной скорости отрывается от поверхности стола:
Хочется тут вспомнить Яндекс, который благодаря грамотному планированию потоков воздуха в серверах (не только этому, конечно) добился в своих ДЦ фрикулинга и PUE близкого к единице.
Ну а потом наступает этап проверки теории практикой. До серийного производства корпуса в самом Элтексе печатается на 3д-принтере пробный вариант, в него помещается опытный образец платы. И далее устройство подвергается многочисленным тестам.
Здесь можно обнаружить нестыковки корпуса с платой, ошибки в расположении элементов, удобство использования, а самое главное измерить реальную температуру чипов и на разных участках платы, выяснив насколько модель соответствует реальности.
По словам сотрудников Элтекс в большинстве случаев никаких отклонений не обнаруживается. Однако если тесты не прошли, модель приходится корректировать — либо чего-то не учли, либо во входные данные вкралась ошибка, например, неправильно ввели тепловыделение чипа.
Что же до модели, то как всегда — она компромисс между близостью её к реальности и эффективностью расчётов. Моделируемый объект нужно упростить настолько, насколько это возможно, но не больше.
Когда испытания пройдены, корпус утверждён, устройство работает исправно, оно пускается в серию.
3д-модель MES1124M в корпусе.
Пластиковые корпуса изготовляются преимущественно в Китае. Металл гнуть и у нас, кажется, умеют, хотя и не всегда, как рассказывает Элтекс.
Многослойные платы производят так же в Азии, хотя есть и у нас в России заводы. Такой выбор обусловлен рядом причин. Например, возможности техпроцесса: переходные отверстия 0,1 мм наши пока делать не умеют. Стабильность продукта и предсказуемое время поставки — другие причины. Ну и никуда не деть того факта, что производство в Азии всё ещё дешевле, чем в России.
Вся рассыпуха и микрочипы — тоже оттуда.
Ну а компонуется это всё уже на сборочной линии в Новосибирске.
Для этого создаются:
- сборочный чертеж на плату,
- трафареты для нанесения паяльной пасты на станке,
- программа для установщика компонентов: что, как и куда устанавливать
Это всё ожидаемо делают те же ребята, что и занимаются разработкой.
Так выглядит печатная плата, изготовленная в Китае.
Плата коммутатора MES1124M. На ней я отметил ключевые компоненты: CPU и память, чипы FE и PHY, Downlink и Uplink порты, и что интересно — трансформаторы. Их роль здесь — изолировать цепи контактов разъёма от остальных цепей коммутатора и корпуса и, как следствие защитить дорогостоящие чипы PHY и чипы пакетной коммутации.
Изоляция в 1500 VAC — это минимальное требование стандарта IEEE802.3, поэтому при попадании 220 VAC на порт (например, через витую пару при повреждении изоляции кабеля), ничего не сгорит — 220 VAC не сможет пробить.
Однако трансформатор не может защитить от электростатического разряда, так как разряд с первичной стороны трансформатора наводится на цепи на вторичной стороне. Защита от электростатики выполняется другими средствами.
Что же до импортозамещения, увы, приходится признать, что дальше разводки печатных плат и сборки/пайки готового устройства, мы так и не зашли. Все микрочипы всё ещё закупаются в Азии.
У Элтекса был (да и есть) опыт с Байкалами в качестве центральных процессоров. Взаимодействие с экспертами Baikal Electronics ведётся при создании оборудования для госорганов.
Однако с пакетными процессорами (FE) ситуация не изменилась — всё ещё не умеем.
Кроме того в этот раз нам представилась возможность второй раз поговорить с Александром Евгеньевичем Моховым — начальником лаборатории Ethernet Technology. Из-под его рук в некотором смысле выходят коммутаторы серии MES и маршрутизаторов ME5000.
В прошлый раз мы были лазутчиками из Huawei, о которых не предупредили заранее. А теперь и визит заранее согласовали, и гости из понятных мест. Поэтому вместо недоверчивых аккуратных фраз получился приватный разговор, из которого стало ясно, что в целом Элтекс следует лучшим практикам при строительстве модульных устройств.
Пожалуй, по существу здесь добавить нечего.
Полезные ссылки
- Разводка печатной платы
- 7 правил проектирования печатных плат
- Автоматизированная пайка и пайка волной припоя в технологии сквозного монтажа печатных плат
- Полный цикл разработки IoT устройства управления подогревом бассейна на ESP8266 в среде Arduino
- Софтовый PHY для Ethernet 10BASE-T
- Современные чипы – взгляд изнутри
- От песка до процессора
- Перспективы развития Ethernet решений
- Перспективный коммутатор сети Ethernet от компании «Миландр»
Заключение
С точки зрения техники экскурсия вышла превосходной. Лично мне было интересно окунуться в процессы, к тому же это заставило меня и самого немного почитать на эту тему. Несколько вещей стали настоящими открытиями, другие просто расставили всё по местам.
Несмотря на неоднозначное отношение как инженеров операторов, так и обычных пользователей к Элтексу, я рад, что у нас есть люди, которые способны создавать такие вещи, создают их, и не боятся о них рассказывать.
За это время модульный маршрутизатор вышел из стадии разработки и трудится на сети неназванного заказчика. Если есть счастливые инженеры, эксплуатирующие их, пишите комментарии.
По словам отдела маркетинга Элтекс на сегодняшний день поставки их оборудования, помимо России, осуществляются в страны СНГ, Европы, Ближнего Востока, Северной и Южной Америки, Юго-Восточной Азии. Наибольшим спросом на зарубежном рынке пользуется оборудование широкополосного доступа для операторов связи.
Что ж, желаем нашему производителю активной и результативной экспансии на международный рынок — только там здоровая конкуренция бросает настоящие вызовы.
Если вы приносите в сетевой мир что-то новое и вам есть, что показать и рассказать, то мы с удовольствием наведаемся и к вам в гости.
Спасибы
- Мария Мищенко — маркетолог Элтекс и наш гид.
- Артём Спицын — руководитель московского офиса Элтекс Коммуникации и инициатор экскурсии.
- Павел Бомбизов — инженер-конструктор Элтекс (проектирование плат)
- Алексей Филон — инженер-конструктор Элтекс (проектирование корпусов и системы вентиляции)
- Сергей Игонин — начальник участка SMD Элтекс (производственная линия)
- Вячеслав Горбач — инженер-программист Элтекс (лаборатория Hardware, рассказ про использование SDK для SoC)
- Александр Мохов — начальник лаборатории Ethernet Technоlogy Элтекс (разработка сетевого оборудования и взаимодействие с производителями чипов)
- Роман Гурьев — инженер-электронщик (за исправление неточностей)
- Дмитрий Булыгин — инженер связи (за знакомство с Артёмом и замечания по читаемости текста)
- Сергей Луньков — сетевой инженер (за компанию)
- Наталья Асташенко — тестировщик (за компанию и поправки к статье)
- Михаил Пуртов — студент (за компанию)
- Павел Остапенко — инженер связи (за несделанные фото и поправки к статье)
Комментарии (55)
vesper-bot
14.01.2019 14:49Интересно, что на последнем фото мамка от стомегабитного коммутатора — неужели такие ещё пользуются спросом?
REPISOT
14.01.2019 18:10для оценки числа контактов, которые нужно правильно нарисовать
Может, «правильно развести»? Чего их рисовать-то? Или у вас в среде нельзя матрицей массив контактов вставить при создании компонента?eucariot
14.01.2019 18:17Сначала "нарисовать" или взять из библиотеки. Не всегда чип имеет равномерный массив контактов.
Gryphon88
14.01.2019 18:44Ну не совсем же вручную его рисуют. Думаю, фоткают и параметрически подгоняют, иначе страшно как-то.
eucariot
14.01.2019 22:07Я всё жду, когда придёт Элтекс в комментарии и авторитетно ответит, но его всё нет.
По словами конструкторов, в спецификациях к чипам есть раскладки контактов. Вот их и переносят вручную.tm8211
15.01.2019 12:03Некоторые производители микросхем (например, Analog Devices) предлагают файлы для принципиальных схем (symbol) и для печатных плат (decal|footprint). Для этого как правило используется ПО UltraLibrarian, умеющее выводить данные в разных форматах (для разных САПР). Все же остальные компоненты требуют ручного создания необходимых файлов по имеющейся документации, каждый контакт по координатам с точностью до микрона. Это долго, дорого и повышает вероятность ошибок. Бывает, что первые собранные платы приходится выбрасывать — у какого-то из важных компонентов оказались перепутаны контакты, и невозможно запустить устройство хотя бы для проверки остальных компонентов.
Какой САПР используется для разработки электрической схемы и печатной платы?
Это PADS Layout от Mentor Graphics.lelik363
15.01.2019 12:34Бывает, что первые собранные платы приходится выбрасывать
Сколько обычно итераций происходит прежде чем оборудование начинает массово производиться?
vvzvlad
15.01.2019 12:42Обычно как-то так выглядит картинка:
Но часто есть готовые принты, сделанные кем-то(иногда и производителем), либо похожий от другого чипа.
lelik363
14.01.2019 22:09Какой САПР используется для разработки электрической схемы и печатной платы?
fizikdaos
15.01.2019 21:41Зря заострили внимание на создании библиотеки. Это, пожалуй, самое простое. Хотя и требует аккуратности и внимания. На каждый контакт микросхемы необходимо минимум пару страниц документации внимательно изучать.
Konachan700
14.01.2019 18:55+2Как вижу многослойную разводку жирных BGA, прямо жутковато становится. Тут QFP176 разводишь, так ни терпения ни нервов не хватает, то тут ошибся, то там места нет… Как у людей хватает терпения разводить эти многие тысячи точек, даже при наличии автотрассировщика, я не представляю просто…
sterr
14.01.2019 20:45Помню элтексы здорово подосрали, когда первая партия была с разъемами питания на одной стороне и заземлением спереди, а вторая партия была с питанием с другой стороны и заземлением сзади. Вот мы тогда матюкались и ставили их вверх-ногами. Разъем спереди удобен, когда в ящике их стоит 4 и между ними не засунуть руку, чтобы перезагрузить не надо шарить сзади. В этом смысле они удобней оптических 24, там питание сзади, еще он длиннее. Разъем упирается в ящик, вытащить его невозможно, не открутив.
И еще в этих 24 портовых свитчах порты выгорали блоками. И с измерениями линий вечно какие-то приколы. Если ничего не понятно, он просто выдает Line mismatch (не дословно, не помню уж как). Но, если честно — техника очень надежная. Лучше чем зависающие длинки. У нас в сети их штук 200 наверное.
lelik363
14.01.2019 22:07Проводится ли и как проводится нагрузочное тестирование на устройства типа коммутатора MES1124M?
artemspitsyn
15.01.2019 12:03В обязательном порядке проводится многоэтапное тестирование всего разрабатываемого оборудования и коммутаторы серии MES1124 не исключение. Всегда проводят тестирование перед выходом нового релиза HW или SW.
Технология стандартна, собирается стенд с оборудованием в необходимой конфигурации и оценивается соответствие производительности устройства заявленным требованиям согласно внутренним регламентам.
Есть возможность воспроизводить фрагменты сети заказчика и осуществлять тестирование под конкретные требования, так обычно и поступают, если необходима кастомизация под проект или разработка нового решения.
Ниже фото нескольких стендов, прошу не впадать в депрессию по поводу проводов — сделаны не в лучшее время переезда в новый корпус. :)
тестовые стенды
lelik363
15.01.2019 12:28На фото скорее показано оборудование для проведения приёмо — сдаточных испытаний. Или я не прав?
Оборудование от IXIA или XENA используете?
Eltex_CO
15.01.2019 13:40Оборудование проходит функциональное и нагрузочное тестирование. В рамках функционального тестирования используется схема применения и проверка взаимодействия устройства в стенде (настройка сети). В ходе нагрузочного тестирования на стенд, на котором используется DUT (device under test), подаются различные виды трафика. Для подачи трафика на максимальной скорости ЭЛТЕКС использует тестовое оборудование, в частности IXIA.
DX168B
14.01.2019 22:15О не менее интересном не рассказали. Кто пишет софт для этого железа?
eucariot
14.01.2019 22:18Коротко упомянул. Для простых вещей, вроде приставок используется голый или доработанный SDK от производителя.
На больших, вроде, ME5000 пишут сами на основе Linux, OpenSource и своих разработок. Но где тут граница и что такое свои разработки — я не знаю :)
snizovtsev
15.01.2019 13:16Не вижу, где на вашем сайте можно скачать исходники ядра, которое под GPL.
UPD: Прошу прощения, вы не из Элтекс. Но судя по их форуму — они злостные и упрямые нарушитили GPL.
legioner
15.01.2019 22:59off Еще бы обновили версию Android на ТВ-приставках, а то 4.4 уже полтора года как EOL /off
Eltex_CO
15.01.2019 13:49В компании работает около 200 программистов, которые пишут софт для оборудования. Все исходные коды принадлежат ЭЛТЕКС.
snizovtsev
15.01.2019 14:58+1Смотрим https://eltex-co.ru/catalog/provider_edge_router/me5100/
Там лежит прошивка firmware-1.8.1.127R.me510, являющаяся cpio архивом. Распаковываем, внутри архив fs.tgz. Распаковываем, а внутри как минимум образ ядра Linux и бинарник BusyBox (и ещё куча опенсорса). Эти двое точно распространяются под лицензией GPL. Вы выложили бинарники, поэтому вы обязаны выложить их модифицированные исходники. Где исходники, карл?motienko
16.01.2019 11:15Насколько я помню, на самом деле достаточно передавать исходники покупателям по запросу. Ну и положить текст GPL лицензии в комплекте. Азиатские производители так и делают, кстати.
Pinsky
15.01.2019 18:26Количество программистов в компании никак не коррелирует с правами на использованный код, распространяемый под виральной лицензией, и требующий публикацию всех изменений публично.
Свободное ПО != делай что хочешь
artemspitsyn
15.01.2019 15:58Немного не в тему статьи, но помимо ethernet switch и ПО для них у Элтекс есть еще много направлений, в том числе и VOIP. В рамках линейки АТС есть замечательный продукт — программный коммутатор ECSS-10 SoftSwitch. И это не переработаный астер, как многие пренебрежительно думают, основываясь на опыте отечественных аналогов.
Это собственное решение, разработанное талантливой командой программистов, причем на языке Erlang! Изначально в приоритете была поставлена задача кластеризации, отказоустойчивости и легкого масштабирования SSW для этого и выбрали не самый популярный язык — Erlang, созданный как раз для систем подобного уровня.
Но есть и минусы — в следствии «популярности» языка ощущается нехватка кадров, особенно в Сибири. Как способ решения проблемы — организуются школы программирования и различные коллаборации с ВУЗами Новосибирска. Элтекс готовит сам для себя кадры посредством организации подобных школ и стажировок и начал это задолго до того как это стало мейнстримом. :)
maxzhurkin
14.01.2019 22:47и не заводите разговор о сексизме — между полами исторически сложилась разница
говоря так, вы лишь сообщаете тот очевидный факт, что у сексизма есть история, правильнее и точнее, IMHO, говорить, что разница сложилась эволюционно
sendnudesorban
15.01.2019 12:01человек в заранее изготовленный в Азии (или России) корпус
случайно можно прочитать как человек заранее изготовленный в Азии (или Россиии) :)
JustMoose
15.01.2019 13:13когда температура резкого повышается до примерно 330°C на 5 минут
Ыых. Насколько я помню, компоненты можно греть паяльником по 10 секунд максимум.
За 5 минут оно зажарится :)Eltex_CO
15.01.2019 13:54Компоненты имеют каждый свой рекомендуемый профиль. К счастью, все производители учитывают особенности техпроцессов производителей других составляющих SMD технологии, поэтому чаще всего возможно подобрать температурный профиль, устраивающий все требования. Обычно профиль имеет зону начального прогрева, зону предварительного прогрева и зону оплавления. Регулируя температуру в зонах печи, при отладке процессов получают нужный термопрофиль.
mikdim
15.01.2019 15:16Вы уж извините, что я к Вам со своим самоваром, но даже производители пассивки рекомендуют придерживаться термопрофилей в зависимости от пасты. Наврятли вы паяете чем-то эксклюзивным, для самых ходовых паст 270 градусов — максимум.
А на 330 уже велик шанс получить
maxzhurkin
15.01.2019 20:48Кто же с такими мониторами размещает панель задач горизонтально?!
Да ещё и с большими значками!
Да ещё и две!vesper-bot
16.01.2019 10:14Вторая панель — это удаленный рабочий стол в оконном режиме. А остальное — «так удобнее» и всё.
maxzhurkin
16.01.2019 13:48Вот сильно сомневаюсь: предполагаю, что, пользователь или не знает, что можно поменять, или ленится, или не считают себя в праве менять, потому, что пользуется не один.
alexanster
Никогда не видел, чтобы у рэкового оборудования разъём питания был на лицевой панели. В чём преимущества такого подхода?
eucariot
Про плюсы не скажу, но неоднократно видел железо с разъёмами впереди. В частности Huawei NE40-x3.
Возможно, потому что они не глубокие и с другой стороны стойки можно поставить второй.
vanyas
Это для монтажа с коммутационные шкафы скорее, где задняя стенка глухая и подлезть к разъёмам с обратной стороны очень проблематично
vvpoloskin
Особенно актуально в настенных шкафах.
Loxmatiymamont
Правила размещения в стойках ЦОД'а, а именно: горячие/холодные корридоры, прокладка комутации в стойке. Иного смысла не замечено.
NAI
При жестких требованиях к габаритам. Например, если использовать навесной шкаф, то при подводе питания сзади 1.его неудобно подключать\отключать. 2.Как минимум 7-10 см. (разъем+радиус загиба кабеля питания) надо оставлять между коммутатором и задней стенкой. Частично может спасти использование углового IEC С13(расстояние до задней стенке сокращается до ~4 см) — но их тоже надо суметь найти.
Мне пришлось упихивать коммутатор (270x44.5x230)+опт. кросс+автомат питания+вводные клеммы в шкаф ШВГ 380х380х210 (требования заказчика). И вот там подвод питания сзади сильно сокращал пространство для подключения кабелей сети.
alexanster
Благодарю всех ответивших, стало понятно.