Размещение голых чипсетов на кремниевой сети позволит делать компьютеры меньшего размера и большей вычислительной мощности

Необходимость делать определённые устройства всё меньше и меньше, а другие – всё больше и больше, давно уже служит главным мотиватором инноваций в электронике. Первый вариант проявляет себя в прогрессе от ноутбуков к смартфонам, затем к умным часам, умным наушникам и другой «невидимой» электронике. Второй вариант определяет конфигурацию современных дата-центров – мегаваттные монстры, заполняющие специально построенные под них складские помещения по всему миру. Интересно, что в обоих случаях прогресс ограничивает одна и та же технология – только по разным причинам.

Мы утверждаем, что виновником служит печатная плата. Наше решение – полностью избавиться от неё.

Наше исследование показывает, что печатные платы можно заменить тем же самым материалом, из которого состоят припаянные к ней чипы – то есть, кремнием. Такой подход позволил бы создавать как системы меньшего размера и веса, пригодные для носимой электроники и других ограниченных в размерах устройств, так и невероятно мощные высокоскоростные компьютеры, способные запихнуть вычислительные мощности десятка серверов в кремниевую подложку размером с обеденную тарелку.

Подобная полностью кремниевая технология, которую мы называем межкомпонентная кремниевая сеть, позволяет подсоединять голые чипы напрямую к отдельным фрагментам кремния. В отличие от дорожек на печатных платах, контакт между чипами на нашей подложке по размеру совпадает с дорожками внутри чипов. В связи с этим в подложке можно проложить гораздо больше соединений, и все они способны передавать данные быстрее с меньшим энергопотреблением.

Межкомпонентная кремниевая сеть [silicon-interconnect fabric, Si-IF] даёт и ещё одно дополнительное преимущество. Это прекрасный способ раздробить относительно крупные, сложные и неудобные в производстве однокристальные системы [system-on-a-Chip, SoC], на которых сегодня держится всё, от смартфонов до суперкомпьютеров. Разработчики систем могли бы использовать вместо SoC конгломераты мелких, более простых в проектировании и в производстве чиплетов, тесно связанных между собой на Si-IF. Такая революция чиплетов уже идёт — AMD, Intel, Nvidia и другие компании предлагают наборы чиплетов, собранных внутри продвинутых корпусов. Межкомпонентная кремниевая сеть расширяет эту идею, разбивая корпус системы, и позволяя включить в неё весь компьютер целиком.

Чтобы понять всю пользу устранения печатной платы, рассмотрим, что происходит с типичной SoC. Из-за развития электроники по закону Мура, на квадратном сантиметре кремния можно упаковать практически всё необходимое для работы смартфона. К сожалению, по многим причинам, связанным с особенностями печатной платы, этот кусочек кремния размещают внутри пластикового корпуса, иной раз в 20 раз превышающего по размерам сам чип.

Разница в размерах между чипом и корпусом создаёт, по меньшей мере, две проблемы. Во-первых, вес и объём упакованного чипа получается больше, чем у самого кусочка кремния. Очевидно, это проблема для всех устройств, которым нужно быть мелкими, тонкими и лёгкими. Во-вторых, если для готового изделия требуется несколько чипов, обменивающихся данными друг с другом (а у большинства систем так и есть), тогда расстояние, которое необходимо преодолеть сигналу, увеличивается более чем в 10 раз. Это – узкое место для скорости и энергопотребления, особенно при обмене большими объёмами данных. Это, вероятно, крупнейшая проблема для реализации приложений, сильно зависящих от данных – графика, машинное обучение, поиск. Что ещё хуже, чипы в таких корпусах тяжелее охлаждать. Отведение тепла уже несколько десятилетий служит ограничивающим возможности электроники фактором.

Но если эти корпуса такие проблемные, почему бы от них не избавиться? Из-за печатной платы.

Задача печатной платы – комбинировать чипы, пассивные компоненты и другие устройства в рабочую систему. Но эта технология не идеальна. Печатные платы тяжело делать идеально ровными – они часто искривляются. Корпуса чипов обычно соединяют с платой при помощи капелек припоя, которые во время производства плавятся и заново паяются. Ограничения технологии пайки вместе с искривлением поверхности приводят к тому, что капельки не могут располагаться ближе, чем 0,5 мм друг к другу. Иначе говоря, на квадратном сантиметре получится разместить не более 400 контактов. Для многих приложений этого оказывается слишком мало для питания и передачи сигналов к чипу и от него. К примеру, на небольшой поверхности, занимаемой кристаллом процессора Intel Atom есть достаточно места для сотни контактов размером 0,5 мм, а ему нужно 300. Разработчики используют корпуса для кристаллов, чтобы математика с количеством контактов на единицу площади сходилась. Корпус берёт крохотные контакты кремниевого чипа – шириной от 1 до 50 мкм – и распространяет их на масштабы платы, 500 мкм.

Недавно полупроводниковая индустрия попыталась ограничить проблемы, связанные с печатными платами, разработав передовые корпуса с технологией кремниевых интерпозеров. Интерпозер – тонкий слой кремния, на котором крепятся небольшое количество голых кремниевых чипов, связываемых друг с другом посредством большого количества контактов. Но при этом интерпозер со своими чипами всё равно нужно прятать в корпус и размещать на печатной плате, поэтому этот вариант добавляет сложности, не решая остальных проблем. Кроме того, интерпозеры обязательно получаются тонкими, хрупкими и ограниченными в размерах – а значит, на них тяжело создавать крупные системы.

Мы считаем, что лучшим вариантом будет вообще избавиться от корпусов и печатных плат, прикрепив чипы к относительно толстой (от 500 мкм до 1 мм) кремниевой подложке. Процессоры, кристаллы памяти, RF-чиплеты, модули регулирования напряжения, и даже пассивные компоненты типа индукторов и конденсаторов можно крепить прямо к кремнию. По сравнению с обычным материалом печатных плат – стеклотекстолитом и эпоксидным составом FR-4 – кремниевая подложка твёрдая, и её можно отполировать почти до идеальной плоскости, поэтому искривления ей не страшны. Более того, поскольку чипы и подложка будут расширяться и сужаться при изменении температуры на одинаковую величину, вам уже не потребуется большое и гибкое соединение между чипом и подложкой, такое, как пайка.

Капли припоя можно заменить микрометровыми медными штырьками, встроенными в подложку. При помощи термокомпрессии – по сути, точное приложение нагрева и давления – медные контакты входа/выхода чипов можно напрямую соединять со штырьками. Тщательная оптимизация термокомпрессионного соединения может дать нам куда как более надёжные контакты, чем пайка, и при этом с использованием меньшего количества разных материалов.

Устранив печатные платы и их слабые места, можно будет располагать порты ввода/вывода на расстоянии всего в 10 мкм друг от друга вместо 500 мкм. В итоге получится разместить в 2500 раз больше портов на кремниевом кристалле без необходимости использовать корпус.

Что ещё лучше, стандартный процесс полупроводникового производства можно перенастроить на изготовление многоуровневых монтажных схем на Si-IF. Дорожки у них можно делать гораздо тоньше, чем на печатных платах. Отстоять друг от друга они могут всего на 2 мкм, а не на 500 мкм, как на печатных платах. Технология даже позволяет размещать чипы на расстоянии в 100 мкм друг от друга, в отличие от печатных плат, где оно должно быть больше 1 мм. В итоге система Si-IF экономит место, энергию и время прохождения сигналов.

Более того, в отличие от печатных плат и материалов для корпусов ИС, кремний достаточно хорошо проводит тепло. Радиаторы можно монтировать с обеих сторон Si-IF, чтобы отводить ещё больше тепла – по нашим прикидкам, на 70% больше. А чем больше отводится тепла, тем быстрее могут работать процессоры.

Хотя кремний имеет хорошую прочность на растяжение и твёрдость, он немного хрупок. К счастью, полупроводниковая индустрия за несколько десятилетий разработала методы работы с крупными кремниевыми подложками, предотвращающие растрескивание. А после всех нужных процедур производства Si-IF мы ожидаем, что они пройдут большую часть тестов на надёжность, включая ударные проверки, цикличный нагрев и воздействие окружающей среды.

Никуда не денешься от того факта, что кристаллический кремний стоит дороже FR-4. И хотя стоимость зависит от многих факторов, цена квадратного миллиметра 8-слойной печатной платы может быть в десять раз меньше, чем у 4-слойного Si-IF. Однако наш анализ показывает, что если вычесть стоимость размещения чипов в корпусах и сложное производство плат, и учесть экономию места при помощи технологии Si-IF, разница в стоимости будет незначительной, а в некоторых случаях Si-IF может оказаться даже выгоднее.


Межкомпонентная кремниевая сеть по сравнению с печатной платой и чипами в корпусах. Внизу схемы приведён примерный масштаб для понимания разницы в размерах.

Давайте посмотрим на несколько примеров того, какую пользу использование Si-IF приносит вычислительной системе. В одном исследовании проектов серверов мы обнаружили, что использование процессоров без корпусов при помощи Si-IF может удвоить производительность обычных процессоров благодаря улучшенной связности и повышенного рассеивания энергии. Кроме того, размер кремниевой «платы» (за отсутствием лучшего термина) можно уменьшить с 1000 см² до 400 см². Такое серьёзное уменьшение значительно повлияет на объёмы зданий дата-центров и размер инфраструктуры охлаждения. Что до другого конца шкалы, то мы изучили небольшую систему для «интернета вещей» на основе микроконтроллера Arm. В данном случае использование Si-IF уменьшает не только размер платы на 70%, но и её вес, с 20 до 8 грамм.

Кроме уменьшения существующих систем и увеличения производительности, Si-IF позволит разработчикам создавать такие компьютеры, которые в иных условиях было бы невозможно сконструировать – или же это было бы весьма непрактично.

В типичном мощном сервере на плате стоит 2-4 процессора. Для некоторых проектов с высокой вычислительной нагрузкой требуется по несколько серверов. При перемещении данных между разными процессорами и платами возникают задержки и узкие места. Но что, если бы все процессоры разместились на единой кремниевой подложке? Их бы можно было бы интегрировать настолько плотно, что вся система работала бы, как один большой процессор.

Впервые эту концепцию предложил Джин Амдал в своей компании Trilogy Systems. Но у Trilogy ничего не вышло, поскольку их производственный процесс не сумел выдать достаточное качество для рабочей системы. При производстве чипа всегда есть вероятность возникновения дефектов, и с увеличением его площади вероятность брака увеличивается экспоненциально. Когда размер чипа сравним с обеденной тарелкой, наличие убивающего всю систему брака в нём практически гарантировано.

Но если у вас межкомпонентная кремниевая сеть, вы можете начать с чиплетов, которые мы уже умеем изготавливать без брака, а потом объединить их в единую систему. Наша группа исследователей из Калифорнийского университета в Лос-Анджелесе и Иллинойского университета в Урбана-Кампейн разработала такую систему с подложкой, содержащей 40 GPU. В симуляциях она ускоряла вычисления больше чем в 5 раз, а потребляла энергии меньше на 80% по сравнению с эквивалентной системой из 40 GPU, созданной при помощи передовых многочиповых корпусов и печатных плат.

Результаты получились убедительными, хотя задача стояла непростая. Нам нужно было учесть множество ограничений, в частности: максимальное количество тепла, отводимое от подложки; как заставить GPU максимально быстро обмениваться данными; как подводить питание по всей площади подложки.




Дайлеты, или чиплеты, объединённые на межкомпонентной кремниевой сети, 100-миллиметровой подложке. Дайлеты, в отличие от чипов на печатной плате, можно размещать на расстоянии в 100 мкм друг от друга

Основным ограничением оказалось питание. При стандартном рабочем напряжении чипа в 1 В тонким дорожкам подложки пришлось бы потреблять 2 кВт. Вместо этого мы подняли напряжение до 12 В, уменьшив таким способом ток и мощность. Для этого потребовалось распределить регуляторы напряжения и конденсаторы по всей подложке, и они заняли место, которое в ином случае можно было бы отдать дополнительным GPU. Вдохновившись ранними результатами, теперь мы собираем прототип вычислительной системы, который надеемся закончить к концу 2020 года.

Межкомпонентная кремниевая сеть может сыграть свою роль в важной тенденции компьютерной индустрии: разделении SoC на интегрированные наборы дайлетов [dielet – от «die», кристалл, и "–let", уменьшительная приставка / прим. перев.], или чиплетов (мы предпочитаем называть их дайлетами, поскольку это подчёркивает их суть, как голых кремниевых кристаллов, их небольшой размер и, возможно, неполную функциональность без других дайлетов на Si-IF). За последние два десятилетия стремление к увеличению быстродействия и уменьшению стоимости убедило разработчиков заменять наборы чипов ещё большими интегрированными SoC. И, несмотря на их преимущества, SoC обладают достаточным количеством недостатков.

Во-первых, SoC – это один крупный чип, и, как уже упоминалось, достичь приемлемых показателей по проценту брака на производстве крупного чипа довольно сложно, особенно на передовых полупроводниковых производствах (вспомним, что процент брака экспоненциально растёт с ростом площади чипа). Ещё один недостаток SoC – высокая стоимость проектирования и начала производства; к примеру, в США фотолитографическая маска может стоить от $2 млн, что делает вариант SoC недоступным для большинства схем. При этом любое, даже небольшое изменение в схеме или обновление производственного процесса потребует значительной переработки всей SoC. Наконец, подход SoC пытается уместить все подсистемы в один производственный процесс, даже когда некоторые из этих подсистем можно было бы сделать лучше в другом процессе. В итоге ничто в SoC не достигает максимально возможной эффективности или скорости.

Интеграция на Si-IF без участия корпусов позволяет избежать всех этих проблем, сохранив небольшой размер и быстродействие SoC, при этом давая преимущества по разработке и стоимости. Она разбивает SoC на составляющие её компоненты и воссоздаёт систему на подложке, system–on–Si-IF (SoIF).

Такая система состоит из независимо произведённых дайлетов, соединяющихся по Si-IF. Минимальное расстояние, разделяющее дайлеты (десятки микрометров) сопоставимо с расстоянием между двумя функциональными блоками SoC. Разводка на Si-IF такая же, какую используют на верхнем уровне SoC, поэтому плотность соединений у них сопоставима.


Сверху вниз: пропускная способность (ГБ/с), энергопотребление (фДж/Б), задержка (пс).
Синие – система на чипе, оттенки красного – обычная интеграция, оттенки зелёного – система-на-подложке

Преимущества SoIF перед SoC появляются из-за размера дайлета. Мелкие дайлеты производить дешевле, чем крупные SoC, поскольку из-за маленького размера у них меньше процент брака. У SoIF крупный размер имеет только сама подложка. Но у неё вряд ли будет проблема с браком, поскольку она делается из нескольких простых в производстве слоёв. Большая часть потерь на брак происходит из-за дефектов в транзисторных слоях или в сверхплотных нижних металлических слоях, а такого у межкомпонентной кремниевой сети.

Кроме этого, у SoIF будут все преимущества, в стремлении к которым индустрия переходит на чиплеты. Например, переход SoIF на следующий техпроцесс должен пройти легче и дешевле. У каждого дайлета может быть своя производственная технология, и обновлять можно только те дайлеты, которые этого действительно требуют. А дайлеты, которые не особенно выиграют от уменьшения транзисторов, не нужно будет менять. Такая разнородная интеграция позволяет создавать совершенно новый класс систем, смешивающих дайлеты различных поколений и технологий, которые обычно не совместимы с КМОП. К примеру, наша группа недавно продемонстрировала соединение кристалла из фосфида индия с SoIF, как пример потенциального использования в схемах высокой частоты.

Поскольку дайлеты будут производить и проверять до подсоединения к SoIF, их можно будет использовать в разных системах, что позволит значительно сэкономить на них. В итоге общая стоимость разработки и производства SoIF может оказаться на 70% меньше, чем у SoC. Особенно это будет выполняться для крупных систем, производимых малыми партиями – как в случае с аэрокосмической и оборонной индустрией, где есть спрос только на партии порядка нескольких сотен или тысяч единиц. Системы, изготавливаемые на заказ, также проще будет делать на SoIF, поскольку это уменьшает как стоимость, так и время разработки.

Мы считаем, что такие преимущества по стоимости и разнообразию могут привести к началу новой эры инноваций, в которой новое железо будет доступным для гораздо большего количества проектировщиков, стартапов и университетов.

В последние несколько лет мы достигли значительного прогресса в технологии интеграции Si-IF, но многое ещё предстоит сделать. В первую очередь, необходимо показать коммерчески жизнеспособный процесс производства Si-IF с низким уровнем брака. Создание Si-IF масштаба подложек может потребовать инноваций в области «безмасковой» литографии. Большинство существующих сегодня литографических систем могут делать подложки размером 33х24 мм. В итоге нам нужна система, способная выдавать подложку диаметром 300 мм.

Нам также нужны механизмы проверки голых дайлетов и Si-IF. Индустрия уже постепенно движется к тестированию голых кристаллов, поскольку производители чипов переходят на читлеты в передовых корпусах и трёхмерную интеграцию.

Затем нам понадобятся новые радиаторы или другие стратегии отвода тепла, пользующиеся хорошей теплопроводностью кремния. Мы с коллегами из Калифорнийского университета разрабатываем интегрированное решение по охлаждению и питанию подложек под названием PowerTherm.

Кроме того, для сборки полноценных систем понадобятся каркасы, крепежи, разъёмы и кабели.

Нам также нужно будет внести несколько изменений в методологию разработки, чтобы одно из обещаний SoIF стало реальностью. Si-IF – это пассивная подложка, в которой есть только одни проводники. Поэтому междайлетные соединения должны быть короткими. Для более длинных дорожек, соединяющих далеко расположенные дайлеты, нам понадобятся промежуточные дайлеты, передающие данные дальше по цепочке. Нужно будет пересмотреть алгоритмы проектировки, отвечающие за расположение элементов и назначение контактов, чтобы те воспользовались всеми преимуществами такого типа интеграции. А ещё нам нужно будет разработать новые способы изучения различных системных архитектур, пользующихся преимуществами неоднородности и обновляемости SoIF.

Также нам нужно будет рассмотреть надёжность систем. Если дайлет окажется бракованным после его прикрепления или откажет во время работы, его будет очень сложно заменить. Поэтому в SoIF, особенно в крупные, нужно будет встроить устойчивость к отказам. Её можно реализовать на уровне сети или на уровне дайлетов. На уровне сети нужно будет обеспечить прохождение сигнала в обход отказавших дайлетов. На уровне дайлетов можно будет рассмотреть различные трюки с физической избыточностью, к примеру, использование нескольких медных штырьков для каждого из портов ввода/вывода.

Конечно, преимущества дайлетной сборки зависят от наличия полезных дайлетов, которые можно интегрировать в систему. Пока что индустрия разбирается с тем, какие дайлеты ей производить. Нельзя просто сделать по дайлету для каждой подсистемы в SoC, поскольку некоторые из дайлетов окажутся слишком крохотными. Один многообещающий подход – использование статистической обработки схем существующих SoC и печатных плат с целью поиска функций, которые «стремятся» быть физически ближе друг к другу. Если у этих функции окажутся одинаковые технологии производства и циклы обновления, тогда их нужно интегрировать в единый дайлет.

Этот список проблем может казаться очень длинным, но исследователи уже работают над некоторыми из них в рамках программы Defense Advanced Research Projects Agency’s Common Heterogeneous Integration and IP Reuse Strategies (CHIPS), а также с консорциумами данной индустрии. И если мы сможем решить эти проблемы, это серьёзно поможет нам поддерживать наследие закона Мура в более мелком, быстром и недорогом варианте.