Что такое Закон Мура
В 1965 году одним из основателей компании Intel, Гордоном Муром была отмечена эмпирическая закономерность, согласно которой число транзисторов на кристалле чипа удваивается каждые 12 месяцев. В 1975 году Гордон Мур внес коррективы в данное правило, обозначив, что число транзисторов на кристалле удваивается каждые 24 месяца. С тех пор данная закономерность именуется законом Мура.
Важно понимать, следование данному закону обеспечивает экспоненциальный рост числа транзисторов на кристалле чипа.
Закон Мура продолжал действовать на протяжении 50 лет, но в последнии годы многие стали считать, что данный закон больше не исполняется и темпы роста числа транзисторов на чипах, а как следствие и темпы роста производительности заметно снижаются.
Почему Nvidia?
Что - бы подтвердить и опровергнуть данное наблюдение мною было проведено исследование всех флагманских видеочипов Nvidia, выпускавшихся с 1998 по 2022 годы. Видеокарты Nvidia были выбраны для анализ по нескольким причинам: 1) Большая важность GPU для индустрии ИИ и машинного обучения. 2) Большая доступность данных о них, по сравнению с центральными процессорами. 3) Личный интерес к этому классу устройств.
Изучаем видеокарты
Были получены данные о следующих характеристиках видеокарт: Количество транзисторов на чипе, количество транзисторов на квадратный миллиметр чипа, pixelRate, textureRate, производительность во Flops с одинарной точностью, и число Flops на 1 ватт TDP. На основе полученной информации были построены графики, которые демонстрируют экспоненциальный рост всех указанных показателей на данном временном отрезке.
Графики. Графики. Графики
Как видно, почти все значения ложатся на экспоненту, особенно заметен резкий скачок при переходе на архитектуру AdaLovelace, при котором число транзисторов на кристалле GPU увеличилось в 2,7 раза за 1 поколение (1 год).
По графику плотности размещения транзисторов можно понять, что резкий скачек плотности размещения транзисторов и возвращение к экспоненциальному росту после некоторой стагнации произошло с выходом архитектуры Ampere (3090Ti). А переход к архитектуре Ada Lovelace вовсе позволил обогнать ожидаемый экспоненциальный рост. Этот факт иллюстрирует так называемый "закон Хуанга", согласно которому рост производительности GPU, происходит быстрее роста производительности CPU (которое ожидаемо экспоненциально или даже слегка отстает от экспоненты).
Значения Pixelrate и Texturate также демонстрируют экспоненциальный рост, хотя для современных видеокарт они не являются важными показателями производительности.
На мой взгляд самым интересным показателем является производительность во Flops. Так как, это выражение чистой математической производительности. И именно она важна для решения задач напрямую не связанных с графикой. А как мы можем видеть она тоже подчиняется правилу экспоненциального роста. Отмечу, что на данном графике находятся только видеокарты, начиная с 8800Ultra, так как для более старых моделей данные об этом показателе недоступны.
Другим важным показателем является производительность на Ватт. И зачастую именно он вызывает наибольшее беспокойство, так как в современных видеокартах значения энергопотребления и тепловыделения значительно выросли по сравнению с предыдущими поколениями. Но не смотря на это производительно на Ватт также экспоненциально растет. Поэтому беспокойство по этому поводу мне видится не совсем обоснованным.
Вывод
Подводя итог, отмечу, что беспокойство по поводу снижения скорости роста производительности чипов является необоснованным. Ведь темпы роста производительности и числа транзисторов на кристалле не только подчиняются экспоненциальному росту, но и обгоняют его. Поэтому можно сказать, что закон Мура мертв, а закон Хуанга пришел ему на смену. По крайней мере в области GPU.
Комментарии (43)
vassiliivanov
00.00.0000 00:00+23На графиках по оси Y надо было рисовать логарифмическую шкалу, чтобы экспонента была прямой.
PuerteMuerte
00.00.0000 00:00+9Ведь темпы роста производительности и числа транзисторов на кристалле не только подчиняются экспоненциальному росту, но и обгоняют его.
Сильно сомневаюсь, что это в таком же темпе будет продолжаться больше двух-трёх следующих поколений видеокарт
YuriParfenov Автор
00.00.0000 00:00+4Я слышу такие разговоры последние лет 5. Да и всегда можно перейти на чиплетную структуру. Это хоть и не совсем честно с точки зрения закона Мура, но позволит сохранить экспоненциальный рост. Ещё стоит помнить, что застой был несколько лет назад, а сейчас новый виток развития в который никто не верил.
Vitalley
00.00.0000 00:00Стоимость видеокарт уже давно стала пробивать психологический барьер и у пользователей стали доминировать игровые приставки. Последние годы спрос майнеров подстегнул производителей к росту производительности видеокарт не смотря на себестоимость. Вывод: видеокарты стали не оправданно дорогими, игровая индустрия начала скукоживаться. По 10000$ за видеокарту вряд ли кто даст (это на будущее при экспоненциальном росте).
Areso
00.00.0000 00:00Игровая индустрия цветёт тысячей цветов.
А вот отдельные студии и издатели стали скукоживаться, потому что скурвились. Делать глючное, забагованное нечто и продавать за $/€80 - спасибо, оставьте себе.
Alexey2005
00.00.0000 00:00Просто покупать карточки будут не частники, а корпорации для последующей сдачи в аренду.
Собственно, пробные шары типа Стадии уже выкатывали, равно как и "облачные" фермы (рендер, облачный майнинг, тренировка и развёртывание нейронок в облаке). По мере роста цен на карточки именно такая модель станет основной.
Ну, а корпорации смогут и сотни тысяч долларов за карточку выкладывать.
Paul_Arakelyan
00.00.0000 00:00+1Вопрос не в абсолютных ценах, а в окупаемости. Майнинг пока "всё". В итоге, с таким ростом, нужно за 2 года отбиться, чтоб купить новое железо, иначе расходы конкурента с новым железом будут меньше твоих. И может встать вопрос продажи этого железа на вторичке - как сейчас Xeon v2/v3/v4 - за "недорого" купить крыло самолёта может каждый, это разница в разы/порядки и в абсолютной величине "порядка 10-100 баксов". Покупать же за тысячи $ товар без гарантии - рискнут очень немногие, поэтому "100К за мегавидяху" - не вариант в принципе.
Altaev
00.00.0000 00:00+9Статья интересная! Но вычитывайте, пожалуйста, перед публикацией - много ошибок разного рода.
xkb45bkc4
00.00.0000 00:00+2Прочитав название статьи — я думал что будет график отношения цены к производительности. Ведь Хуанг уже заявил, что цена будет формироваться от производительности.
The_Judge
00.00.0000 00:00+29В графиках есть одна принципиальная ошибка, на мой взгляд. По оси Х отложены поколения видеокарт, а не время. Если положить всё это на время, то можно выяснить, что никакой экспоненты нет, а рост уже замедляется. До GeForceFX (2003), число транзисторов удваивалось примерно каждый год. С FX до Kepler (2012) удваивалось примерно каждые два года. А с Kepler до текущих Ada оно удваивается уже примерно за три года.
Цифры такие. GK110 (2012 год) - 7 миллиардов транзисторов. AD102 (2022 год) - 76 миллиардов транзисторов. Т.е. в 11 раз за 10 лет. До этого, в 11 раз рост занял всего 6 лет, от 681 млн транзисторов в G80 (2006 год) до упомянутого GK110 с 7 млрд в 2012. Те же 11 раз имеем между GF4Ti (63 млн) из 2002 и G80 из 2006 за 4 года.
ksbes
00.00.0000 00:00+2Причём если рассматривать не просто «колчество внутри копуса микросхемы», а количество транзисторов на кристалле (т.е. одной ячейке на пластине) — то там будет ещё печальнее.
Текущий рост уже большей частью перешёл из интенсивной (за счёт роста плотности транзисторов) в экстенсивную (за счёт увеличения площади и «напаивания» кристаллов друг на друга) стадию.
Хотя интесивное развитее ещё не исчерпало себя — но уже на грани. Ждём вычислители на новых физических принципах (ну там оптика, или ещё какое колдунство) — без этого нового винтка интенсивного развития нам не видать.YuriParfenov Автор
00.00.0000 00:00Так ведь все видеокарты Nvidia имеют однокристальный чипы. И в статье переведен график числа транзисторов на мм^2 площади чипа. Там аналогичный рост. А вообще я думаю, что будущее за чиплетами и чипами из германия.
Kiridan
00.00.0000 00:00Но надолго ли этого германия хватит? Да и будет ли там сильно ощутимое различие? Не стоит забывать и о цене. Если сегодня отполировать камушек стоит немалых денег, то уже сам германий стоит немало.
YuriParfenov Автор
00.00.0000 00:00-2И время и поколение. Так как каждая видеокарта привязана к году. Внизу есть ссылка на таблицу. И ещё стоит отметить, что для 2013 - 2014 годов указан один чип, с одинаковым числом транзисторов. Ибо были перерывы. Да и на графике видно, что между 480 и Titan X нет экспоненциального роста. Зато после происходит резкий скачок. Поэтому указанное вами является лишь локальным отклонением, не меняющим общего тренда. И если посчитать сколько должно быть транзисторов на чипе в 2022 исходя только из закона Мура, начиная с 1998 года и 7*10^6 транзисторов на кристалле, то должно получиться 28,67 * 10^9, а никак не имеющиеся 76,3 * 10^9.Поэтому мы здесь видим даже обгон закона Мура. И даже если не брать рекордные значения AdaLovelace, то можно заметить, что в Ampere уже было 28 млрд транзисторов.
The_Judge
00.00.0000 00:00+2Время и поколение не связаны. В первые годы NVIDIA строгала новые линейки каждые полгода. И за то время по оси Х на вашем графике, что прошли между Ampere и Ada, в ранние годы успевали выпустить после TNT2, GF256, GF2 и GF3, которые на графике уже не один шаг, а три. Число транзисторов за эти два года выросло вчетверо, к слову. Также в ваших данных для подсчёта транзисторов есть ошибки и неточности. Например, GF4Ti вышла в 2002 году, FX5950U в 2003, 6800U в 2004, потом пропущен в 2005 году G70 и 302 млн транзисторов, а GF8 вышел в 2006 году уже, на том же чипе, что 8800Ultra. G92 вышел в 2007. Т.е. выбран не год выхода кристалла, а что-то вроде года выхода последнего продукта на этом кристалле. Не совсем правильно, с моей точки зрения. Ну и ещё в конце не учтён A100 из 2020 года, с 54 млрд транзисторов. Ну и как я сказал, можно выделить три периода роста транзисторов. Начальный, с ростом в 2 раза за год, когда площади и сложность графических процессоров догоняла центральные. Потом рост в 2 раза за 2 года, когда число транзисторов наращивали вместе с площадью. Ну и когда упёрлись в площадь, получаем рост в 2 раза за 3 года. Поэтому выбор точки отчёта влияет на то, что должно получиться. Если взять 2006 год, G80 с его 681 млн транзисторов, то при удвоении каждые два года получили бы к 2020 году уже 174 миллиарда транзисторов, а не 76-80 в AD102-H100. Так что закон Мура недовыполняется в 2+ раза :) А если взять точку отсчёта GK110 из 2012 года, то имели бы 224 млрд, т.е. недовыполняется уже в 3 раза.
YuriParfenov Автор
00.00.0000 00:00Именно по этому нужно брать максимально длинный период времени. Про A100 действительно забыл. Моя ошибка. Да я брал не год выхода чипа, а самую мощную видеокарту за текущий год.
The_Judge
00.00.0000 00:00+1Длина тут поможет сгладить цифры, но не позволит увидеть сути, что время удвоения транзисторов стабильно увеличивается, даже если брать длинные сроки в десятки лет. А значит никакой экспоненты, при построении графика по годам, уже не получится. Как не получилось её на моём графике с логарифмическим масштабом числа транзисторов. Ну и для подсчёта числа транзисторов, повторюсь, корректнее брать год выхода чипа с более высоким числом транзисторов. Впрочем даты выхода самых мощных видеокарт у вас тоже немного спутаны :)
YuriParfenov Автор
00.00.0000 00:00Я понял, где у нас разночтение. Вы берете ещё Теслы. А я только топы потребительского сегмента. Тогда получается есть чипы Nvidia с 80 млрд транзисторов.
The_Judge
00.00.0000 00:00+3
YuriParfenov Автор
00.00.0000 00:00+1
Если брать логарифмический масштаб, то это будет выглядеть так. Только 4090 и 3090ti должны быть правее. Так как не учтены 2 пропущенных года. У меня все точки на графике строго привязаны к годам. Кроме последних двух.
The_Judge
00.00.0000 00:00+8Давайте ещё раз, по пунктам. 1. Закон Мура пляшет от времени, а не от поколения видеокарт. Поэтому по оси должны быть годы, а не продукты. 2. В идеале надо построить таблицу по годам и самый большой чип в этом году. 3. Ваш график вследствие нарушения п.1 искажён. Левая часть растянута, потому что чипы выходили чаще, вплоть до двух в год. Средняя часть, от GF4Ti до GTX285 смещена вправо, все чипы этих карт вышли на год раньше, чем у вас указано. Правая часть графика, сжата, потому что там 2-3 года на шаг по оси Х приходилось, а не полгода-год, как в левой части. По итогу, сова натянута на глобус. И та же 4090 опережает экспоненту только потому, что находится на графике не в том месте, где была бы, будь график построен равномерно по годам. У меня на графике по оси Х отложены годы и картина совсем другая. Замедление скорости удвоение наглядно.
adeshere
00.00.0000 00:00Спасибо за нормальный график с логарифмической осью, на котором наконец-то видны изменения тенденций! На графике в линейном масштабе эти изменения тенденций почти невозможно заместить.
Вообще, самая простая зависимость, которая только может быть - линейная. Поэтому если более сложную зависимость можно простым преобразованием координат привести к линейному виду - то надо это делать.
YuriParfenov Автор
00.00.0000 00:00И важно заметить, что в 2019 и 2020 года вообще не выходили новы архитектуры. Ф
softi
00.00.0000 00:00+3Можно рисовать хоть миллион графиков, но от этого предел плотности не увеличится. После 3нм дальше продвижения не будет. Т.к. мельче только атомы... Поэтому никакой экспоненты уже не будет. Скорее какая-то логарифмическая...
YuriParfenov Автор
00.00.0000 00:00+1Помнится в 2015 году на одном из форумов я видел доказательства того, что производительность больше, чем у 4х Titan X недостижима.
doomguy49
00.00.0000 00:00Дальше будет 2нм, 1нм, но даже к 3нм корпорация еще не подошла, потому что нужно инвестировать в исследования и производство, а зачем, если можно сказать что закон Мура все и продавать видеокарту размером с автомобиль?
Сейчас он живее всех живых, а Хуанг – маркетолог, воющий со здравым смыслом. И я даже не уверен, что закон умрет при достижении размеров атомов. Произойдет фазовый переход к принципиально новой технологии, и рост производительности продолжиться, вероятно, спустя какое-то время на исследования
SilverHorse
00.00.0000 00:00+12Дальше будет 2нм, 1нм
Дальше не будет ничего, ибо физика - бессердечная сволочь, и уже сейчас, на характерных размерах элемента порядка 10-20нм мы уже почти упираемся в физические пределы, накладываемые свойствами кристаллической решетки. Не сделать элемент тоньше. Вообще. Уже сейчас приходится извращаться с размещением элементов транзистора в трех измерениях, размещением самих транзисторов в куче слоев внутри кристалла, понижением напряжения, чтобы электроны не пробивали слои решетки навылет, и так далее. Пока что мы выигрываем в гонке за плотность структуры. Пока что.
И да, как всегда, напоминание - не путайте маркетинговые нанометры с реальными, они перестали соответствовать друг другу еще ...цать поколений назад.
vadimr
00.00.0000 00:00+3Закон Мура относится к микросхемам (и вычислительным системам) вообще, а ваш график производительности GPU – только к векторно-конвейерным вычислениям. Их утилизировать в практически востребованную работу не так-то просто, разве что майнить биткойны, которые именно для такой утилизации и придуманы. Народу-то в основном нужны мипсы с иопсами, а не конвейерные флопсы.
iingvaar
00.00.0000 00:00+7Очень вольное обращение со словами. Гордон Мур жив, рекомендую изменить заголовок.
web3_Venture
00.00.0000 00:00Ждем когда подойдет момент где будут уже атомы перемешиваться или расположены настольно близко что будут на друг друга оказывать влияние
bbs12
00.00.0000 00:00Когда будет достигнут предел качества, нужно будет брать количеством - вон Юпитер летает, он большой, там много кремния. С помощью термоядерной энергии и автоматических машин он будет полностью переработан в чипы и топливо для реакторов.
Alexey2005
00.00.0000 00:00+2Мечта геймера - видеокарта размером с Юпитер, которая запитывается напрямую от сферы Дайсона. Такая карточка сможет выдавать картинку с разрешением не менее A пикселей по горизонтали, где A - число Авогадро.
А планета Земля будет использоваться в качестве термопрокладки для одного из чипов памяти этой супер-карточки.
grokinn
00.00.0000 00:00+1Закон Мура был не столько эмпирическим наблюдением, сколько планом, который а) был технически достижим, б) имел наилучший баланс прибыли и расходов на R&D на конкурентном рынке. Как мы видим из графиков NVidia не придерживается долгосрочного плана, она то ускоряется то замедляется, действуя по ситуации. Поэтому говорить о законе Хуанга пока рановато.
zanzack
00.00.0000 00:00+1https://habr.com/ru/post/511802/
Забавно, что в книге 1978 года утверждается, что у масштабирования есть фундаментальное ограничение в четверть микрона (250 нм) для длины канала из-за физических свойств материи. Это ограничение оказалось неимоверно ошибочным – сейчас транзисторы переходят на характерный размер 5 нм, благодаря таким технологиям, как FinFET.
http://ai.eecs.umich.edu/people/conway/VLSI/VLSIText/PP-V2/V2.pdf
PuerteMuerte
00.00.0000 00:00Это ограничение оказалось неимоверно ошибочным – сейчас транзисторы переходят на характерный размер 5 нм, благодаря таким технологиям, как FinFET.
И да, и нет. Для длины канала фундаментальное ограничение лежит где-то в районе 20 нм, и мы это не преодолели. Но зато мы научились переворачивать транзисторы вертикально :)
hiperriper
00.00.0000 00:00Производительность 4090 чисто маркетинговая, ибо Хуангу нужно было доказать потребителю, что 40хх серия из магазина лучше чем 20-30хх серии из авито. Если бы не было майнинг бума и карточки были бы равномерно распредели по шарику, текущую производительность 4090 мы бы увидели, только через пару поколений. Теперь зеленым будет еще сложнее работать над 50хх поколением. Рискну предположить, что оно будет проходным. Там будут докручить дллс 4 и еще больше лучей
YuriParfenov Автор
Добавил в таблицу графики на логарифмической шкале.