Мы уже проложили оптику до дома, но проложить её до процессора пока проблематично

Если вам кажется, что сегодня мы находимся на пороге технологической революции, представьте, каково было в середине 1980-х. Кремниевые чипы использовали транзисторы с характерным размером, измеряемым микронами. Оптоволоконные системы с огромной скоростью перемещали триллионы битов по всему миру. Казалось, всё возможно – стоит только скомбинировать цифровую кремниевую логику, оптоэлектронику и передачу данных по оптоволокну.

Инженеры представляли себе, как все эти прорывные технологии продолжат развиваться и сойдутся в точке, в которой фотоника сливается с электроникой и постепенно заменяет её. Фотоника позволяла бы перемещать биты не только между странами, но и внутри дата-центров, и даже внутри компьютеров. Оптоволокно перемещало бы данные от чипа к чипу – так они думали. И даже сами чипы были бы фотонными – многие считали, что невероятно быстрые логические чипы когда-нибудь станут работать с использованием фотонов вместо электронов.

Естественно, до этого не дошло. Компании и правительства вбухали сотни миллионов долларов в разработку новых фотонных компонентов и систем, объединяющих стойки компьютерных серверов в дата-центрах с использованием оптоволокна. И сегодня подобные фотонные устройства действительно соединяют стойки во многих дата-центрах. Но на этом фотоны и останавливаются. Внутри стойки отдельные сервера соединяются друг с другом при помощи недорогих медных проводов и высокоскоростной электроники. И, естественно, на самих платах размещаются металлические проводники, всю дорогу вплоть до процессора.

Попытки запихнуть технологию в сами сервера, напрямую скармливать оптоволокно процессорам, основывались на экономическом фундаменте. Действительно, существует рынок оптических трансиверов для Ethernet с объёмом почти $4 млрд в год, который должен вырасти до $4,5 млрд и 50 млн компонентов к 2020 году – так утверждает исследующая рынки компания LightCounting. Но фотоника так и не прошла эти последние несколько метров, разделяющие компьютерную стойку в дата-центре и процессор.

Тем не менее, громадный потенциал этой технологии продолжал поддерживать мечту. Пока технические проблемы остаются существенными. Но теперь, наконец, новые идеи по поводу схем дата-центров предлагают осуществимые способы организации фотонной революции, которая может помочь сдержать прилив больших данных.




Внутри фотонного модуля

Каждый раз, выходя в веб, смотря цифровое ТВ или выполняя практически любое действие в сегодняшнем цифровом мире, вы используете данные, прошедшие через оптические модули-трансиверы. Из задача – преобразовывать сигнал между оптическим и цифровым видами. Эти устройства живут на каждом конце оптического оптоволокна, гоняющего данные внутри дата-центра любого крупного облачного сервиса или соцсети. Устройства включаются в коммутатор, расположенный сверху серверной стойки, и превращают оптические сигналы в электрические, чтобы те затем дошли до нескольких серверов в этой стойке. Трансиверы также преобразовывают данные от этих серверов в оптические сигналы для передачи их к другим стойкам или через целую сеть свитчей в интернет.

Каждый оптический модуль содержит три основных компоненты: передатчик с одним или несколькими оптическими модуляторами, приёмник с одним или несколькими фотодиодами и КМОП-чипы, кодирующие и декодирующие данные. Обычный кремний очень плохо излучает свет, поэтому фотоны порождает лазер, отделённый от чипов (хотя он может размещаться в одном с ними корпусе). Лазер не представляет биты путём включения и выключения – он включён всё время, а биты кодируются в луче его света при помощи оптического модулятора.

Этот модулятор, сердце передатчика, может быть разных видов. Особенно удачный и простой носит название модулятора Маха-Цендера. В нём узкий кремниевый волновод направляет свет лазера. Волновод разветвляется на два, а через несколько миллиметров они снова сходятся. В обычной ситуации такая развилка и соединение никак не повлияли бы на световой выход, поскольку оба рукава волновода имеют одинаковую длину. Соединяясь обратно, световые волны остаются в фазе друг с другом. Однако, если подать на одну ветвь электрическое напряжение, это изменит её коэффициент преломления, что замедлит или ускорит световую волну. В результате после встречи двух волн они деструктивным образом интерферируют друг с другом, подавляя сигнал. Поэтому, варьируя напряжение на ответвлении, мы используем электрический сигнал для модуляции оптического.

Ресивер устроен проще: это просто фотодиод и поддерживающие его контуры. Свет, пройдя по оптоволокну, достигает германиевого или кремний-германиевого фотодиода ресивера, который выдаёт ток – обычно каждый световой импульс преобразуется в напряжение.

Модулятор и ресивер обслуживаются контурами, занимающимися усилением, обработкой пакетов, коррекцией ошибок, буферизацией и другими задачами, которые необходимо решить, чтобы удовлетворить стандарту Gigabit Ethernet для оптоволокна. Сколько задач выполняется на том же чипе или хотя бы в том же корпусе, что заведует фотоникой – зависит от производителя, но большая часть электронной логики отделена от фотоники.


Фотоника никогда не сможет передавать данные между разными частями кремниевого чипа. Круговой осциллятор оптического переключателя выполняет ту же функцию, что и отдельный транзистор, однако занимает в 10 000 раз большую площадь.

Появляется всё больше кремниевых интегральных схем, в которых есть оптические компоненты, и это может заставить вас подумать, что интеграция фотоники в процессор была неизбежной. И некоторое время так и считалось.

Однако растущее несоответствие между быстрым уменьшением размеров чипов с электронной логикой и неспособностью фотоники угнаться за ними, было недооценено или даже игнорировалось. Сегодня транзисторы имеют характерные размеры в несколько нанометров. У 7 нм технологии КМОП на каждом квадратном микрометре можно разместить более сотни логических транзисторов общего назначения. И это мы ещё не упоминаем лабиринт сложных медных проводов над ними. Кроме наличия на каждом чипе миллиардов транзисторов, на нём присутствует ещё десяток уровней металлических соединений, связывающих эти транзисторы в регистры, умножители, арифметико-логические устройства и более сложные конструкции, из которых состоят ядра процессоров и другие необходимые схемы.

Проблема в том, что типичный оптический компонент, например, модулятор, невозможно сделать ощутимо меньше размера длины волны света, который он переносит – что ограничивает его минимальную ширину 1 микрометром. Никакой закон Мура этого ограничения не преодолеет. Это не вопрос использования всё более и более продвинутых технологий литографии. Просто электроны – длина волны которых составляет несколько нанометров – тощие, а фотоны – толстые.

Но не могут ли производители просто интегрировать модулятор и смириться с тем, что на чипе будет меньше транзисторов? Ведь там их и так уже размещаются миллиарды? Не могут. Из-за огромного количества системных функций, которые способен выполнять каждый квадратный микрометр кремниевого электронного чипа, будет очень дорого заменять даже не очень много транзисторов на хуже работающие компоненты типа оптических.

Простой подсчёт. Допустим, на квадратном микрометре располагается в среднем 100 транзисторов. Тогда оптический модулятор, занимающий площадь 10 мкм на 10 мкм заменяет контур, состоящий из 10 000 транзисторов! Вспомните, что обычный оптический модулятор работает как единственный переключатель, который включает и выключает свет. Но каждый транзистор сам может работать, как переключатель. Поэтому, грубо говоря, стоимость включения этой примитивной функции в схему составляет 10 000:1, поскольку на каждый оптический модулятор приходится 10 000 электронных переключателей, которыми может воспользоваться разработчик схемы. Никакой производитель не примет такой большой стоимости, даже в обмен на ощутимое увеличение скорости и эффективности, которое можно было бы получить от интеграции модуляторов прямо в процессор.

У идеи замены электроники на чипах фотоникой есть и другие недостатки. К примеру, на чипе выполняются критически важные задачи, вроде работы с памятью, для которых у оптики нет возможностей. Фотоны просто несовместимы с базовыми функциями работы компьютерного чипа. А в тех случаях, когда это не так, не имеет смысла устраивать соревнование между оптическими и электронными компонентами на одном и том же чипе.


Схема работы дата-центра.
Сегодня (слева) фотоника передаёт данные по многоярусной сети. Связь с интернетом находится на верхнем (основном) уровне. Коммутатор передаёт данные по оптоволокну к верхним переключателям стоек.
Завтра (справа) фотоника сможет изменить архитектуру дата-центров. Архитектура масштаба стоек могла бы сделать дата-центры более гибкими, физически отделив компьютеры от памяти и связав эти ресурсы по оптической сети.

Но это не означает, что оптика не сможет приблизиться к процессорам, памяти и другим ключевым чипам. Сегодня рынок оптической связи в дата-центрах вращается вокруг свитчей «наверху стоек» (top-of-rack, TOR), в которые включаются оптические модули. Наверху двухметровых стоек, в которых установлены серверы, память и другие ресурсы, оптоволокно связывает TOR-ы вместе посредством отдельной прослойки из свитчей. А они соединены с другим набором свитчей, формирующим выход дата-центра в интернет.

Панель типичного TOR, куда воткнуты трансиверы, даёт представление о перемещении данных. Каждый TOR соединяется с одним трансивером, а тот, в свою очередь, соединяется с двумя оптическими кабелями (один на передачу, второй на приём). В TOR высотой 45 мм можно воткнуть 32 модуля, каждый из которых способен передавать данные со скоростью 40 Гбит/с в обоих направлениях, в результате чего между двумя стойками можно передавать данные со скоростью 2,56 Тбит/с.

Однако в рамках стоек и внутри серверов данные до сих пор текут по медным проводам. А это плохо, поскольку они становятся препятствием на пути к созданию более быстрых и энергоэффективных систем. Оптические решения последнего метра (или пары метров) – подводки оптики к серверу или даже непосредственно к процессору – представляют, вероятно, наилучшую возможность создать огромный рынок оптических компонентов. Но до той поры необходимо преодолеть серьёзные препятствия как в области цен, так и в области быстродействия.

Схемы под названием «волокно до процессора» не новы. Прошлое даёт нам немало уроков по поводу их стоимости, надёжности, энергоэффективности и ширины канала. Примерно 15 лет назад я участвовал в разработке и создании экспериментального трансивера, демонстрировавшего весьма высокую пропускную способность. Демонстрация связывала кабель из 12 оптических жил с процессором. Каждая жила передавала цифровые сигналы, генерируемые отдельно четырьмя поверхностно-излучающими лазерами с вертикальным резонатором (VCSEL). Это лазерный диод, излучающий свет с поверхности чипа, причём свет имеет большую плотность, чем у обычных лазерных диодов. Четыре VCSEL кодировали биты путём включения и выключения света, и каждый из них работал на своей частоте в одной и той же жил, что вчетверо повышало её пропускную способность благодаря грубому спектральному уплотнению каналов. Поэтому, если каждый VCSEL выдавал поток данных в 25 Гбит/с, то общая пропускная способность системы достигала 1,2 Тбит/с. Сегодня индустриальным стандартом расстояния между соседними жилами в 12-жильном кабеле является 0,25 мм, что даёт пропускную плотность в 0,4 Тбит/с/мм. Иначе говоря, за 100 секунд каждый миллиметр может обработать столько данных, сколько веб-архив Библиотеки конгресса США сохраняет за месяц.

Сегодня для передачи данных из оптики к процессору требуются ещё большие скорости, но начало было неплохим. Почему же эту технологию не приняли? Частично потому, что эта система была как недостаточно надёжной, так и непрактичной. В то время было очень сложно изготовить 48 VCSEL для передатчика и гарантировать отсутствие сбоев за время его жизни. Важным уроком стало то, что один лазер со многими модуляторами можно сделать гораздо более надёжным, чем 48 лазеров.

Сегодня надёжность VCSEL повысилась настолько, что трансиверы, работающие по этой технологии, можно использовать в решениях для небольших расстояний в дата-центрах. Оптические жилы можно заменить многожильной оптикой, переносящей столько же данных, перенаправляя их в разные нитки, находящиеся внутри основного волокна. Также недавно появилась возможность реализации более сложных стандартов передачи цифровых данных – например, PAM4, увеличивающий скорость передачи данных, используя не две, а четыре величины мощности света. Ведутся исследования по направлению увеличения плотности полосы пропускания в системах передачи данных из оптики к процессору – например программа Shine от MIT позволяет достигать в 17 раз большей плотности, чем было доступно нам 15 лет назад.

Всё это довольно существенные прорывы, но и взятых вместе, их будет недостаточно для того, чтобы позволить фотонике совершить следующий шаг по направлению к процессору. Однако, я всё же считаю, что такой шаг возможен – поскольку сейчас как раз набирает силу движение по изменению системной архитектуры дата-центров.

Сегодня процессоры, память и система хранения собираются в т.н. блейд-серверах, особые корпуса которых располагаются в стойках. Но это делать необязательно. Вместо того, чтобы располагать память на чипах в сервере, её можно разместить отдельно – на этой же, или даже на другой стойке. Считается, что такая архитектура масштаба стоек (rack-scale architecture, RSA) может более эффективно использовать вычислительные ресурсы, особенно для соцсетей вроде Facebook, где количество вычислений и памяти, необходимой для решения задач, растёт со временем. Также это упрощает задачу обслуживания и замены оборудования.

Почему же такая конфигурация поможет фотонике проникнуть глубже? Потому что именно такая простота смены конфигурации и динамическое размещение ресурсов можно позволить себе благодаря новому поколению эффективных, недорогих оптических свитчей, передающих по нескольку терабит в секунду.


Технология подключения оптики напрямую к процессору существует уже более 10 лет

Главным препятствием этому изменению дата-центров служит стоимость компонентов и их производства. У кремниевой фотоники уже есть одно преимущество в стоимости – она может воспользоваться существующими производственными мощностями, огромной инфраструктурой производства чипов и её надёжностью. Тем не менее, кремний и свет сочетаются неидеально: кроме мешающей делу неэффективности в излучении света, кремниевые компоненты страдают от больших световых потерь. Типичный кремниевый оптический трансивер показывает оптические потери в 10 дб (90%). Такая неэффективность не имеет значения для коротких соединений между свитчами TOR, поскольку пока что потенциальное преимущество кремния в стоимости перевешивает его недостатки.

Важной частью стоимости кремниевого оптического модуля является такая скромная, но критически важная деталь, как оптическое соединение. Это и физическое соединение оптического волокна и приёмника или передатчика, и связь между волокнами. Каждый год приходится изготавливать сотни миллионов коннекторов оптика-оптика с высочайшей точностью. Чтобы представить себе эту точность, отметьте, что диаметр человеческого волоса обычно лишь немного меньше диаметра одной нитки волокна кварцевого стекла в 125 мкм, используемого для соединения оптических кабелей. Точность, с которой необходимо выравнивать волокно в коннекторе составляет порядка 100 нм – тысячная доля толщины человеческого волоса – или сигнал будет слишком сильно затухать. Необходимо разработать инновационные методы производства коннекторов для двух кабелей и для соединения кабеля с трансивером, чтобы соответствовать растущим клиентским запросам к высокой точности и низкой стоимости. Однако существует очень мало производственных технологий, делающих производство достаточно недорогим.

Один из способов уменьшить стоимость – удешевить чипы оптического модуля. Тут может помочь технология реализации систем на уровне целой подложки (wafer-scale integration, WSI). По этой технологии фотонику располагают на одной кремниевой подложке, электронику – на другой, а потом подложки соединяют (лазер, изготавливаемый не из кремния, а из другого полупроводника, остаётся отдельным). Такой подход даёт экономию на стоимости производства, поскольку позволяет проводить параллельное производство и сборку.

Ещё один фактор уменьшения стоимости – это, естественно, объём производства. Предположим, что весь рынок оптического гигабитного Ethernet составляет 50 млн трансиверов в год, а каждый чип оптического трансивера занимает 25 мм кв. Предполагая, что на фабрике для их производства используются подложки диаметром 200 мм, и что затем используется 100% произведённой продукции, для этого рынка требуется 42 000 подложек.

Это может показаться большим числом, но эта цифра на самом деле описывает всего две недели работы на типичной фабрике. В реальности любой производитель трансиверов может захватить 25% рынка за несколько дней производства. Должен быть способ увеличить объёмы, если мы хотим реально уменьшить стоимость. Единственный вариант сделать это – понять, как использовать фотонику ниже свитча TOR, вплоть до процессоров в серверах.

Если кремниевая фотоника когда-нибудь проникнет туда, где трудятся все электронные системы, для этого должны будут появиться убедительные технические и экономические причины. Компоненты должны будут решать все важные проблемы и серьёзно улучшать систему в целом. Они должны быть маленькими, энергетически эффективными и чрезвычайно надёжными, а также должны крайне быстро передавать данные.

Сегодня решения, удовлетворяющего всем этим требованиям, не существует, поэтому электроника будет развиваться и дальше без интеграции с оптикой. Без серьёзных прорывов толстые фотоны и дальше не попадут в те места системы, где доминируют тощие электроны. Однако, если оптические компоненты можно будет надёжно производить в очень больших объёмах по очень низкой цене, мечта возрастом в несколько десятилетий о подключении оптики к процессору и связанным с ним архитектурам может стать реальностью.

За последние 15 лет мы достигли серьёзного прогресса. Мы лучше разбираемся в оптических технологиях и в том, где их можно и где нельзя применять в дата-центрах. Выработан устойчивый многомиллиардный коммерческий рынок для оптических компонентов. Оптические коннекторы стали критически важной частью глобальной информационной структуры. Однако интеграция большого количества оптических компонентов в самое сердце электронных систем остаётся непрактичным. Но будет ли оно оставаться таким и дальше? Думаю, нет.