Технологические вызовы важнее политических, утверждает Шайлеш Читнис.
Дисклеймер 1: это вольный перевод колонки Шайлеша Читнис, которую он написал для журнала The Economist. Перевод подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Обсудить пилот или задать вопрос об LLM можно здесь.
Дисклеймер 2: в тексте упоминается компания Meta, которая признана на территории РФ экстремисткой организацией
Сто лет назад на Сан-Антонио Роуд, 391, в Маунтин-Вью, Калифорния, располагался склад для упаковки абрикосов. Сегодня это лишь одно из множества малоэтажных офисных зданий на оживлённых улицах, где разместились стартапы Кремниевой долины и будущие миллиардеры. Однако перед зданием стоят три больших и странных скульптуры — двухногие и трёхногие формы, напоминающие водонапорные башни. Это гигантские версии диодов и транзистора, компонентов электронной схемы. В 1956 году на этом месте открылся Shockley Semiconductor Laboratory — стартап, посвящённый идее создания подобных компонентов полностью из кремния. Так началась история Кремниевой долины.
Компания, основанная Уильямом Шокли, одним из изобретателей транзистора, не смогла добиться коммерческого успеха. А вот кремниевые разработки - нет. В 1957 году восемь сотрудников Шокли, которых он прозвал «предателями», ушли и основали Fairchild Semiconductor менее чем в двух километрах от лаборатории. Среди них были Гордон Мур и Роберт Нойс, будущие сооснователи гиганта по производству микрочипов Intel, и Юджин Кляйнер, сооснователь Kleiner Perkins — новаторской венчурной компании. Большинство известных технологических компаний Кремниевой долины могут проследить свои корни, напрямую или косвенно, к этим первым сотрудникам Fairchild.
До появления полупроводниковых компонентов компьютеры были машинами размером с комнату, которые использовали хрупкие и нестабильные лампы. Полупроводники, твёрдые материалы, в которых можно управлять потоком электрического тока, предлагали компоненты, которые были более надёжными, универсальными и компактными. Когда такие компоненты стали изготавливать преимущественно из кремния, появилась возможность разместить множество их на одном кусочке этого материала. Миниатюрные транзисторы, диоды и другие элементы на кремниевых «чипах» можно было объединять в «интегральные схемы», предназначенные для хранения или обработки данных.
В 1965 году Мур, ещё работая в Fairchild, заметил, что количество транзисторов, которые можно разместить в интегральной схеме при определённой стоимости, удваивается каждый год (позже он скорректировал этот срок до двух лет). Его наблюдение, известное как «закон Мура», оказалось крайне значимым. Чипы, произведённые в 1971 году, имели 200 транзисторов на квадратный миллиметр. В 2023 году процессор MI300, созданный американской компанией AMD, содержал 150 миллионов транзисторов на той же площади. Чем меньше становились транзисторы, тем быстрее они могли включаться и выключаться. Компоненты MI300 в тысячи раз быстрее своих предшественников 50-летней давности.
Все значительные прорывы в вычислительной технике — от персональных компьютеров и интернета до смартфонов и искусственного интеллекта (ИИ) — можно связать с уменьшением размеров транзисторов, их ускорением и удешевлением. Развитие технологии транзисторов стало двигателем технологического прогресса.
Некоторое время технологическое значение кремниевых чипов отражалось в важности компаний, которые их производили. В 1970-х годах IBM, производившая как чипы, так и компьютеры и программное обеспечение для них, была непревзойдённым гигантом. В 1980-х Microsoft доказала, что компания, продающая только программное обеспечение, может быть ещё более успешной. Но Intel, производившая чипы, на которых работало программное обеспечение Microsoft, была также огромной силой. До кризиса доткомов в 2000 году Intel занимала шестое место в мире по рыночной капитализации.
После кризиса на первый план вышли услуги «Веб 2.0», которые предлагали такие компании, как Google и Meta, а полупроводники, на которых строились их платформы, стали восприниматься как товары. Для объяснения этой динамики роста крупного IT-сектора венчурный капиталист Марк Андрессен в 2011 году заявил, что «мир захватило программное обеспечение, а не кремний».
Но бум ИИ изменил положение дел. Развитие ИИ требует колоссальной вычислительной мощности. До 2010 года объём вычислений, необходимый для обучения ведущих ИИ-систем, увеличивался по закону Мура, удваиваясь каждые 20 месяцев. Но сейчас этот показатель удваивается каждые шесть месяцев. Это означает, что спрос на более мощные чипы постоянно растёт. Nvidia, американская компания, специализирующаяся на чипах, идеально подходящих для работы с крупными языковыми моделями (LLM), которые доминируют в ИИ, сейчас занимает третье место среди самых дорогих компаний мира.
Поскольку ИИ вновь сделал производство чипов трендом, компании, стремящиеся к успеху в этой области, начинают разрабатывать свои собственные микросхемы. Причина не только в обучении моделей, но и в их последующем использовании (так называемая «инференция»). Использование LLM требует значительных вычислительных ресурсов, и этот процесс нужно выполнять миллиарды раз в день. Поскольку специализированные схемы могут выполнять такие задачи более эффективно, чем универсальные чипы, некоторые компании, работающие с LLM, предпочитают проектировать свои собственные микросхемы. Apple, Amazon, Microsoft и Meta уже инвестировали в создание своих чипов для ИИ. Процессоров, разработанных Google и используемых в центрах обработки данных, больше, чем у любой другой компании, кроме Nvidia и Intel. Семь из десяти самых дорогих компаний мира теперь занимаются производством микросхем.
Технологическая сложность чипа зависит в основном от размера его элементов; сейчас передовая технология измеряется параметрами менее 7 нм. Именно на этом уровне происходят ключевые процессы для ИИ. Однако более 90% производственных мощностей полупроводниковой промышленности работают с элементами размером 7нм и больше. Эти чипы менее технологически сложны, но более распространены — их используют в телевизорах, холодильниках, автомобилях и станках.
В 2021 году, на пике пандемии COVID-19, острый дефицит таких чипов привёл к сбоям в производстве в различных отраслях, включая производство электроники и автомобили. Индустрия, стремясь к эффективности, глобализировалась: проектирование чипов в Америке; оборудование для их производства — в Европе и Японии; заводы, на которых это оборудование используется, — в Тайване и Южной Корее; упаковка чипов и их сборка в устройства — в Китае и Малайзии. Когда пандемия нарушила эти цепочки поставок, правительства стран обратили на это внимание.
В августе 2022 года правительство США предложило пакет субсидий и налоговых льгот на сумму 50 миллиардов долларов, чтобы вернуть производство микросхем на территорию Штатов. Другие регионы последовали этому примеру: Евросоюз, Япония и Южная Корея обещают почти 94 миллиарда долларов в виде субсидий. Ситуация осложнилась из-за попыток США ограничить доступ Китая к передовым чипам и технологиям, с помощью которых они создаются, посредством экспортных запретов. Китай ответил на эти запреты, ограничив экспорт двух материалов, жизненно важных для производства микросхем.
Но главные проблемы производителей чипов кроются не в промышленной политике или национальных соперничествах, а в технологиях. На протяжении пяти десятилетий уменьшение размеров транзисторов улучшало производительность чипов без увеличения энергопотребления. Сейчас, когда число транзисторов на единицу площади увеличивается, а модели ИИ становятся более объёмными — энергопотребление стремительно растёт. Чтобы поддерживать экспоненциальный рост производительности, нужны новые идеи. Некоторые из них: например, более тесная интеграция аппаратного и программного обеспечения, носят постепенный характер. Другие более радикальны: пересмотр использования кремния или отказ от цифровой обработки данных в пользу других методов. В следующих публикациях мы расскажем о том, как такие достижения могут поддерживать работу экспоненциального двигателя.