В 2004 году я работал в группе Xbox компании Microsoft, в то время она создавала новую консоль. Я получил подробные описания процессора Xbox 360, прочитал их полностью множество раз и внезапно узнал достаточно, чтобы стать официальным специалистом по ЦП. Поэтому я регулярно стал посещать совещания с проектировщиками оборудования, совместно с IBM работавшими над ЦП, и это дало мне ещё больше знаний о процессоре. Именно благодаря этому я обнаружил ошибку проектирования в одной из его команд [перевод на Хабре] и смог помогать разработчикам игр в укрощении этого привередливого зверя.


Это было очень интересно, и моя работа ценилась, поэтому за несколько месяцев до выпуска консоли я получил подарок от руководства проекта — целую кремниевую пластину процессоров Xbox 360! Этот 30-сантиметровый диск кристаллов ЦП с тех пор постоянно висит в моём домашнем офисе. По своей максимальной площади он содержал 23 полных ЦП по горизонтали и 20 по вертикали, но из-за круглой формы пластины суммарно там было гораздо меньше, чем 460 ЦП. Из-за этого многие процессоры были частично или полностью исключены — я насчитал на пластине 356 полных ЦП.

Пластина выглядит круто, она создаёт красивые радужные дифракционные узоры, а отдельные чипы достаточно велики, чтобы можно было рассмотреть основные элементы ЦП, над которыми я работал в течение пяти лет.


Процессор Xbox 360 имел три ядра PowerPC с кэшем L2 на 1 МБ, и эти элементы чётко видны на пластине.

На показанном выше изображении кристалла (который имеет приблизительный размер 14 х 12 мм) в правом нижнем углу виден повторяющийся паттерн из небольших чёрных прямоугольников — это кэш L2. Слева от него находится одно из ядер ЦП. Выше, но перевёрнутое вертикально находится ещё одно ядро ЦП, а справа от него и перевёрнутое по горизонтали расположено третье ядро. Когда-то я помнил все видимые элементы ядер (кэши L1? файлы регистров? арифметические блоки?), но уже давно забыл их. Однако они всё равно достаточно хорошо различимы.


Кроме трёх ядер ЦП и кэша L2 тут присутствует горизонтальная полоса, идущая посередине чипа, и ещё немного пространства справа от верхнего правого ядра. Думаю, горизонтальная полоса — это шина, соединяющая ядра друг с другом и кэшем L2, а штука в правом верхнем углу — предположительно внекристалльный ввод-вывод.

Изображение с пометками выше — это фотография висящей на стене пластины, сделанная на телефон. Возможно, я предвзят (или травмирован работой с этим своевольным ЦП), но мне кажется, возможность увидеть все элементы чипа совершенно чудесна.

Всё это конечно очень здорово, и вы наверняка хотели бы повесить себе на стену что-нибудь подобное, но история на этом ещё не закончилась. В те времена я писал много бенчмарков, чтобы найти места, в которых производительность ЦП не соответствует ожидаемой нами. Как-то я создал бенчмарк для нашей специализированной процедуры memcpy и обнаружил, что команды выборки с упреждением, отсутствующие в TLB (Translation Lookaside Buffer, также известном как кэш таблицы страниц), отклонялись. Так как обычно мы заранее выполняли выборку с упреждением примерно 1 КиБ (восемь строк кэша по 128 байт), это означало, что при копировании больших объёмов памяти (когда каждая страница на 4 КиБ даёт один промах TLB) приблизительно 25% выборок с упреждением будет отклонено. Эти считывания строк кэша затем обрабатывались последовательно, вместо того, чтобы все восемь обрабатывались параллельно, из-за чего копирование большого объёма памяти занимало почти в три раза больше времени. Эти отклонённые выборки с упреждением были особенно плохи потому, что ЦП Xbox 360 был процессором с исполнением по порядку, поэтому во время ожидания считываний без упреждающей выборки он не мог выполнять никакой другой работы. Это заставило меня переписать кучу, чтобы она использовала страницы на 64 КиБ, что позволяло избежать большинства промахов TLB и восстановить ожидаемую производительность.


Автопортрет, сделанный в отражении пластины

Итак, я писал множество бенчмарков.

Один написанный мной бенчмарк измерял задержку кэша L2. Это выполнялось следующим образом: создавался список указателей, код проходил по указателям и смотрел, сколько тактов нужно для обхода длинного списка. Имея неизменное оборудование, легко можно создать список указателей, который будет находиться в L1, или всегда будет требовать захода в L2, или всегда требовать захода в основную память. Стандартная система.

Не помню, какой была задержка кэша L2, но помню, что она менялась в зависимости от ядра ЦП, на которой я её тестировал. Задержка L2 из ядра ЦП 0 была с достаточно высокой точностью на четыре такта меньше, чем задержка L2 из ядра ЦП 1 или 2. Любопытно.

CPU die with L2-cache to core arrows shown

Кристалл ЦП со стрелками от кэша L2 к ядрам

Как говорилось выше, вся связь между ядрами ЦП и кэшем L2 выполнялась через эту горизонтальную полосу посередине чипа. Это означает, что весь трафик L2 исходил из верхней части кэша L2, а затем добирался до трёх разных ЦП. Я увеличил предыдущую фотографию кристалла и добавил стрелки, показывающие поток информации от кэша L2 к трём ядрам ЦП. Критично здесь то, что путь к правому верхнему ЦП довольно короткий, а путь к двум ЦП слева заметно длиннее — сигналы должны переместиться по горизонтали через полосу.

Горизонтальные чёрные линии с левого края — это миллиметровые риски на линейке, которую я приложил к пластине, делая фотографию. Я повернул это фото линейки и использовал его для измерения длины горизонтальной красной линии, выяснив, что она составляет 5,5 мм. Так как ЦП Xbox 360 работает с частотой 3,2 ГГц, а ядра ЦП 1 и 2 имеют лишние четыре такта задержки L2, можно подсчитать, что для распространения сигналов на это расстояние в 5,5 мм требуется 1,25 наносекунды!

Свет может перемещаться за одну наносекунду приблизительно на 30 см, поэтому можно задаться вопросом. почему этот сигнал движется так медленно. Я могу попытаться ответить на этот вопрос, но должен предупредить вас, что я разработчик ПО, не имеющий формального образования по разработке оборудования, поэтому могу ошибаться.

Одна из причин попросту заключается в том, что электрические сигналы в проводах, особенно в очень тонких проводах, не движутся со скоростью света. Ещё одна причина заключается в том, что сигнал не движется непрерывно. Сигнал перемещается на короткое расстояние, а затем запирается какими-нибудь вентилем, а в следующем такте перемещается чуть дальше, поэтому бедный сигнал никогда не получает шанса разогнаться до полной скорости. В-третьих, Xbox 360 проектировался для работы с более высокой тактовой скоростью, но был выпущен с частотой 3,2 ГГц, потому что иначе мог расплавиться. Ситуация с 5,5 мм за четыре такта, вероятно, стало артефактом тех времён, когда такты проектировались гораздо более короткими.

Тем не менее, 5,5 мм за 1,25 наносекунды — это всё равно около 4400 километров в секунду, то есть не особо медленно. Но больше всего мне просто сильно нравится гиковское ощущение радости от того, что я могу собственными глазами видеть эту задержку в 1,25 наносекунды, висящую на моей стене. Спасибо руководству команды Xbox!

Отступление


Изложенная выше история о том, как я стал специалистом по ЦП Xbox 360, достаточно точна. Мне никогда не поручали стать специалистом по ЦП, просто дали доступ к материалам и я изучал их с достаточно фанатичным упорством. Помню, как лежал на полу своей гостиной, когда из-за снегопада отключили электричество, и читал при свете фонаря, пока не разобрался со всеми хитростями конвейера. Тот же шаблон обучения повторялся с любой областью знаний, которой я занимался: анализ сбоев, числа с плавающей запятой, баги компиляторов, баги ЦП. Для меня он работает.

Комментарии (10)


  1. jakushev
    14.01.2022 14:14
    +3

    Интересно, а как в 2004 году было с симуляцией? Точную причину задержки проще понять на симуляторе, чем программными тестами. Вот только могу предположить, что TOP-Level симуляция в те годы, если и была возможна, но занимала невероятно много времени…


  1. tzlom
    14.01.2022 16:41

    Как то я сомневаюсь что такая большая задержка вызвана скоростью распространения сигнала.


    1. jakushev
      14.01.2022 18:20

      Ещё одна причина заключается в том, что сигнал не движется непрерывно. Сигнал перемещается на короткое расстояние, а затем запирается какими-нибудь вентилем, а в следующем такте перемещается чуть дальше, поэтому бедный сигнал никогда не получает шанса разогнаться до полной скорости.

      Это или трудности перевода или автор некорректно выразил мысль. Скорее всего речь идет про конвейеризацию или согласование частотных доменов. В RTL только по верхам шарю, поправьте если не так.


    1. mpa4b
      14.01.2022 19:04
      +5

      На самом деле такие тонкие провода, какие получаются в микросхемах -- уже не являются длинными линиями (которые можно представлять себе, как распределённые по длине провода индуктивности и емкости -- LC-цепочки), а являются уже скорее распределёнными емкостями и большими сопротивлениями (RC-цепочки). За счёт этого по мере передачи фронта по такому проводу этот фронт сильно сглаживается и время передачи примерно квадратично начинает зависеть от расстояния (ну и конечно же оно на многие порядки меньше скорости света, в отличие от ситуации с настоящими длинными линиями). Ситуация в какой-то степени напоминает одномерную передачу тепла. Кроме того, на заданном расстоянии получить максимальную скорость передачи сигнала можно, разбив такой провод инверторами. Слишком много инверторов -- будет суммироваться задержка на каждом, слишком мало -- у проводов между ними начнёт вылезать квадратичная зависимость, откуда ясно существование оптимума их количества. Ну и да, в современных микросхемах львиную долю задержек могут составлять задержки в таких вот проводах.


  1. lunacyrcus
    15.01.2022 00:04
    +1

    Вот статья чуть ли не больше всего о хвастовстве этой пластиной) То с одного ракурса, то какие-то детали, то вообще отражение-"автопортрет".

    Ну да кстати, реально очень крутая штука себе дома держать.


    1. akirsanov
      15.01.2022 07:01

      это очень крутой артефакт


    1. nixtonixto
      15.01.2022 07:59

      На Али такие продаются по цене от 15 долл, кейворд Silicon Wafer. Но там чипы по-проще — типа логики и операционников, хотя, тоже красиво.


      1. dfgwer
        15.01.2022 08:44

        Сразу захотелось взять, но потом появилась мысля.
        Насколько они опасны в плане вредных химикатов? Что будет если (утрированно) лизнуть такое.


        1. nixtonixto
          15.01.2022 08:51
          +1

          Безопасны, они же отмыты… Надо будет сразу покрыть лаком, поскольку быстро окисляются. И лучше закрыть стеклом, потому что пластина очень хрупкая.


  1. gchebanov
    15.01.2022 05:11

    задержка скорее всего на арбитре возникаетможет и в правду цепочку триггеров вставили.