Программист из Google Клиф Янг объясняет, как взрывное развитие алгоритмов глубинного обучения совпадает с отказом закона Мура, десятилетиями работавшего эмпирического правила прогресса компьютерных чипов, и заставляет разрабатывать принципиально новые вычислительные схемы

Взрывное развитие ИИ и алгоритмов машинного обучения изменяет саму природу вычислений – так говорят в одной из самых крупных компаний, практикующих ИИ – в Google. Программист из Google Клиф Янг выступил на открытии осенней конференции по микропроцессорам, организованной компанией Linley Group – популярном симпозиуме по теме компьютерных чипов, проводимом почтенной компанией, занимающейся полупроводниковым анализом.

Янг сказал, что использование ИИ перешло в «экспоненциальную фазу» в тот самый момент, когда закон Мура, десятилетиями работавшее эмпирическое правило прогресса компьютерных чипов, полностью затормозилось.

«Времена достаточно нервные, — задумчиво сказал он. – Цифровые КМОП замедляются, мы видим проблемы с 10 нм процессом у Intel, мы видим их у 7 нм процеса от GlobalFoundries, и одновременно с развитием глубинного обучения появляется и экономический запрос». КМОП, комплементарная структура металл-оксид-полупроводник, представляет собой наиболее распространённый материал, используемый для изготовлении компьютерных чипов.

В то время, как классические чипы с трудом увеличивают эффективность и производительность, запросы от исследователей ИИ растут, отметил Янг. Он выдал немного статистики: количество научных работ по поводу машинного обучения, хранящихся на сайте препринтов arXiv, поддерживаемом Корнелловским университетом, удваивается каждые 18 месяцев. А количество внутренних проектов, концентрирующихся на ИИ в Google, сказал он, также удваивается каждые 18 месяцев. Ещё быстрее растёт необходимость в количестве операций с плавающей точкой, нужных для обработки нейросетей, использующихся в машинном обучении – оно удваивается каждые три с половиной месяца.

Весь этот рост вычислительных запросов объединяется в «суперзакон Мура», сказал Янг, и он назвал это явление «немного пугающим» и «немного опасным», и «тем, на счёт чего стоит беспокоиться».

«Откуда весь этот экспоненциальный рост» в области ИИ, спросил он. «В частности, всё дело в том, что глубинное обучение просто работает. В моей карьере я долго игнорировал машинное обучение, — сказал он. – Не было очевидно, что эти штуки смогут взлететь».

Но затем быстро начали появляться такие прорывы, как, например, распознавание образов, и стало ясно, что глубинное обучение «невероятно эффективно, — сказал он. – Большую часть пяти последних лет мы были компанией, ставящей ИИ на первое место, и мы переделали большую часть бизнесов на основе ИИ», от поиска до рекламы и многого другого.



Команде проекта Google Brain, ведущего проекта по исследованию ИИ, требуются «гигантские машины», сказал Янг. К примеру, нейросети иногда измеряются количеством «весов», в них использующихся, то есть, переменных, применяемых к нейросети, и влияющих на то, как она обрабатывает данные.

И если обыкновенные нейросети могут содержать сотни тысяч или даже миллионы весов, которые необходимо рассчитать, исследователи из Google требуют себе «тера-весовые машины», то есть компьютеры, способные рассчитывать триллионы весов. Поскольку «каждый раз при удвоении размера нейросети мы улучшаем её точность». Правило развития ИИ – становиться всё больше и больше.

В ответ на запросы в Google разрабатывают собственную линейку чипов для МО, Tensor Processing Unit. TPU и ему подобные нужны, поскольку традиционные CPU и графические чипы GPU не справляются с нагрузками.

«Мы очень долго сдерживали себя и говорили, что у Intel и Nvidia отлично получается создавать высокопроизводительные системы, — сказал Янг. – Но мы перешли этот рубеж пять лет назад».

TPU после первого появления на публике в 2017 году вызвал шумиху заявлениями о том, что по быстродействию он превосходит обычные чипы. Google уже работает над третьим поколением TPU, используя его в своих проектах и предлагая компьютерные мощности по запросу посредством сервиса Google Cloud.

Компания продолжает изготавливать TPU всё больших и больших размеров. В её «стручковой» конфигурации 1024 TPU совместно связаны в суперкомпьютер нового типа, и Google планирует продолжать расширять эту систему, по словам Янга.

«Мы создаём гигантские мультикомпьютеры мощностью в десятки петабайт», сказал он. «Мы без устали двигаем прогресс по нескольким направлениям одновременно, и операции терабайтных масштабов продолжают расти». Подобные проекты поднимают все проблемы, связанные с разработкой суперкомпьютеров.

К примеру, инженеры Google взяли на вооружение трюки, использовавшиеся в легендарном суперкомпьютере Cray. Они скомбинировали гигантский «модуль матричного перемножения», часть чипа, несущую основное бремя вычислений для нейросетей, с «векторным модулем общего назначения» и «скалярным модулем общего назначения», как это было сделано в Cray. «Комбинация скалярного и векторного модулей позволяла Cray обгонять всех по производительности», — сказал он.

В Google разработали собственные инновационные арифметические конструкции для программирования чипов. Некий способ представления вещественных чисел под названием bfloat16 обеспечивает повышение эффективности при обработке чисел в нейросетях. В разговорной речи его называют «мозговым числом с плавающей запятой» [brain float].

TPU пользуется самыми быстрыми чипами памяти, памятью с высокой пропускной способностью, или HBM [high-bandwidth memory]. Он сказал, что спрос на большие объёмы памяти в деле тренировки нейросетей быстро растёт.

«Память при тренировке используется более интенсивно. Люди говорят о сотнях миллионов весов, но есть свои проблемы и при обработке активации» переменных нейросети.

В Google также подстраивают способ программирования нейросетей, помогающий выжать максимум из железа. «Мы работаем над данными и параллелизмом модели» в таких проектах, как «Mesh TensorFlow» – адаптации программной платформы TensorFlow, «комбинирующей данные и параллелизм на масштабах стручка».

Некоторые технические подробности Янг раскрывать не стал. Он отметил, что компания не рассказывала о внутренних связях, о том, как данные перемещаются по чипу – просто отметил, что «наши коннекторы гигантские». Он отказался распространяться на эту тему, что вызвало смех в аудитории.

Янг указал на ещё более интересные области вычислений, которые могут вскоре открыться нам. К примеру, он предположил, что важную роль смогут играть расчёты при помощи аналоговых чипов, схем, обрабатывающих входные данные в виде непрерывных значений вместо ноликов и единичек. «Возможно, мы обратимся в аналоговую область, в физике есть очень много всего интересного, связанного с аналоговыми компьютерами и с NVM-памятью».

Он также выразил надежду на успех стартапов, связанных с чипами, представленных на конференции: «Здесь встречаются очень крутые стартапы, и нам нужно, чтобы они заработали, потому что возможности цифровых КМОП не безграничны; я хочу, чтобы все эти вложения выстрелили».