Суперкомпьютер Summit, разработанный компанией IBM для Окриджской Национальной лаборатории, в 2018-м стал самым мощным в мире, забрав этот титул у китайцев впервые за пять лет
На западном побережье США самые ценные компании в мире соревнуются в попытках сделать ИИ умнее. Google и Facebook хвастались экспериментами, использующими миллиарды фотографий и тысячи мощных процессоров. Однако после этого в прошлом году проект из восточного Теннеси по-тихому превзошёл масштабы любого корпоративного ИИ. И шёл он под руководством правительства США.
В рекордном проекте участвовал самый мощный суперкомпьютер в мире, Summit, из Окриджской Национальной лаборатории. Этот титул компьютер смог захватить в июне прошлого года, забрав его обратно в США после пяти лет превосходства китайцев. В рамках проекта изучения климата гигантский компьютер загрузил эксперимент по машинному обучению, работающий быстрее всего, что было ранее.
Summit, занимающий территорию, по площади равную двум теннисным кортам, использовал в этом проекте более 27 000 мощных графических процессоров. Они направили свои возможности на работу алгоритмов глубинного обучения, технологии, ведущей за собой передние рубежи ИИ, способной перемалывать информацию со скоростью миллиард миллиардов операций в секунду – эта скорость в суперкомпьютерных кругах известна, как экзаоп [тут у автора были экзафлопсы — он перепутал флопсы, операции с плавающей точкой, с опами, операциями вообще. Вычислительная мощность Summit составляет 122 петафлопс, потенциально максимальная – 200 петафлопс. При этом он стал первым компьютером, достигшим показателя в экзаоп, или 1018 операций в секунду. Во время анализа генетической информации была достигнута скорость в 1,88 экзаоп, и ожидается, что во время смешанных вычислений будет достигнуто 3,3 экзаоп / прим. перев.].
«До сих пор глубинное обучение не расширялось до таких масштабов», — говорит Прабхат, ведущий исследовательскую группу в Национальном научном вычислительном центре энергетических исследований в Национальной лаборатории Лоуренса Беркли. (Да, у него одно имя). Его группа сотрудничала с исследователями с домашней базы Summit, Окриджской национальной лаборатории.
Подходящим образом ИИ на мощнейшем компьютере сконцентрировался на одной из крупнейших проблем мира: изменении климата. Технокомпании тренируют алгоритмы на распознавание лиц или дорожных знаков; государственные учёные тренируют их на распознавание погодных закономерностей, к примеру, циклонов, в обильных наборах данных, полученных в климатических симуляциях, трёхчасовых прогнозах состояния атмосферы Земли, простирающихся на целый век. (Неизвестно, сколько энергии потратил этот проект или к выделению какого количества углерода в атмосферу это привело).
Стойки с оборудованием Summit соединяют 300 км оптоволоконного кабеля, а 15 000 литров воды циркулируют каждую минуту рядом с 37 000 процессорами, охлаждая их.
Последствия эксперимента Summit отразятся на будущем как ИИ, так и климатологии. Проект демонстрирует научный потенциал возможностей применения ГО к суперкомпьютерам, которые традиционно занимались симуляцией физических и химических процессов, таких, как ядерные взрывы, чёрные дыры или новые материалы. Он также демонстрирует, что увеличение вычислительной мощности – если его получить – даёт преимущества для МО – и это служит хорошим предзнаменованием для будущих прорывов.
«Пока мы не сделали этот проект, мы не знали, что его можно так сильно масштабировать», — говорит Раджат Монга, инженерный директор в Google. Он и другие гугловцы помогали проекту, адаптировав TensorFlow, ПО для МО, к огромным масштабам Summit.
Большая часть работы по масштабированию ГО проходила в дата-центрах интернет-компаний, где сервера совместно работают над задачами, разбивая их на части, благодаря тому, что они объединены относительно свободно, и не связаны в один гигантский компьютер. У суперкомпьютеров типа Summit архитектура выглядит по-другому, у них особенные высокоскоростные соединения объединяют тысячи процессоров в единую систему, способную работать как одно целое. До недавнего времени мало кто пытался адаптировать МО для работы на подобном железе.
Монга говорит, что работа над адаптацией TensorFlow к масштабам Summit оживит попытки Google расширить собственные ИИ-системы. Инженеры из Nvidia также помогали в этом проекте, обеспечивая беспроблемную совместную работу десятков тысяч графических процессоров Nvidia.
То, что для обеспечения ГО-алгоритмов всё большей вычислительной мощностью находятся способы, сыграло свою роль в активном развитии технологии, идущем в последнее время. Технология, которую использует Siri для распознавания вашего голоса, а робомобили Waymo для распознавания дорожных знаков, стала полезной в 2012 году, после того, как исследователи адаптировали её для работы на графических процессорах Nvidia.
В аналитической статье, опубликованной в прошлом мае, исследователи из OpenAI, исследовательского института из Сан-Франциско, одним из инвесторов которого был Илон Маск, подсчитали, что количество вычислительных ресурсов в крупнейших проектах, связанных с МО, о которых известно обществу, с 2012 года удваивается примерно каждые 3,43 месяца – или растёт в 11 раз ежегодно. Такой прогресс помог ботам из Alphabet, родительской компании Google, победить чемпионов сложных настольных игр и видеоигр, и помог сделать большой рывок в точности переводов сервиса Google.
Теперь Google и другие компании создают новые виды чипов, приспособленных специально для ИИ, чтобы продолжить эту тенденцию. В Google говорят, что их «стручки», плотно интегрирующие по 1000 их чипов для ИИ – они называют их тензорными процессорами, или TPU – могут выдавать 100 петафлопс вычислительной мощности, что в 10 раз [видимо, реально в два раза / прим. перев.] меньше, чем Summit достиг в своём эксперименте с ИИ.
Вклад проекта Summit в климатологию состоит в демонстрации того, как ИИ огромных масштабов могут улучшить наше понимание будущих погодных закономерностей. Когда исследователи выдают предсказания климата на сто лет вперёд, то прочесть его становится довольно сложно. «Представьте себе, что у вас есть ролик на YouTube, длящийся 100 лет. Вручную вы никак не сможете найти там всех кошек и собак», — говорит Прабхат. ПО, которое обычно используется для автоматизации процессов, по его словам, несовершенно. Результаты Summit показали, что МО может справиться с этим лучше, и это должно помочь предсказывать такие последствия штормов, как наводнения и разрушения. Результаты Summit принесли исследователям из Окриджа и Nvidia премию Гордона Белла за передовую работу в области суперкомпьютеров.
Запуск ГО на суперкомпьютерах – это новая идея, пришедшая как раз в нужный момент для климатологов, говорит Майкл Причард, профессор из калифорнийского университета в Ирвине. Замедляющаяся скорость улучшений обычных процессоров заставила инженеров перейти к наполнению суперкомпьютеров всё большим количеством графических чипов, где быстродействие растёт надёжнее. «Пришло время, когда уже нельзя было наращивать вычислительную мощность обычным способом», — говорит Причард.
Эти изменения представляют собой препятствия на пути обычных симуляций, которые приходится адаптировать. Также они дают возможность обратиться ко всей мощи ГО, которая естественным образом подходит к графическим чипам. Это может дать нам более ясное представление о будущем нашего климата. Группа Причарда в прошлом году продемонстрировала, что ГО может выдавать более реалистичные симуляции облаков в прогнозах климата, что может улучшить прогнозы изменения в закономерностях выпадения осадков.
Комментарии (20)
GiperBober
19.02.2019 10:24+1" И создали люди очередной суперкомпьютер. Размеры его превышали размеры целого города. И задали ему задачу "- О мудрейший! Скажи нам, от чего наступает глобальное потепление?" Великий Думатель думал три года и выдал неожиданный ответ " — Глобальное потепление наступает из-за суперкомпьютеров, анализирующих процессы глобального потепления""
da-nie
19.02.2019 12:51А может, всё будет не такДавным-давно, больше тысячи лет назад, мир делился на две части. В
одной правили атлантиды. Каждый человек, как в минувшие времена, так и
сейчас, вынашивает какую-нибудь мечту. Была она и у атлантидов. Их мечтой
было уничтожить другую половину мира, которая не подчинялась их власти. И
с этой целью они накапливали яды, взрывчатые и радиоактивные вещества, при
помощи которых можно было отравить воздух и воду. Но чем большие запасы
таких веществ они делали, тем больший страх охватывал их. Они покупали за
золото ученых, чтобы те создавали самые совершенные машины для убийства.
Однажды им стало известно, что на далеком острове за океаном живет ученый,
по имени Тьюринг, умеющий создавать автоматы. Тогда об автоматах знали еще
очень мало, и никто не представлял себе точно, для чего они могут
пригодиться. Тьюринг строил разнообразные автоматы: одни делали машины,
другие выпекали хлеб, третьи вычисляли и обладали способностью логически
рассуждать. Он трудился сорок лет, пока не изобрел автомат, который мог
делать все, что угодно. Этот автомат мог выплавлять металл из руды и шить
сапоги, превращать один элемент в другой и строить дома. Он мог не только
выполнять любую физическую работу, но также и думать — о чем угодно. Он
мог ответить на любой вопрос и решить любую проблему, не было дела,
которого бы он не выполнил, если ему поручили. Властители Атлантиды
послали своих агентов с заданием купить Тьюринга, но ученый не согласился
на это. Тогда они заключили его в тюрьму и похитили чертежи его
изобретений. Старший из атлантидов просмотрел эти чертежи, созвал других и
сказал: «Если у нас будет такой автомат, спросим его, как уничтожить
уродов, которые хотят навсегда устранить войны». А другой властитель,
седовласый, всеми почитаемый, добавил: «Он, кроме того, скажет нам, как
отучить наших подданных от мышления, потому что мыслящие люди неохотно
умирают во славу нашего золота». Все присутствующие зааплодировали ему и
решили: построим Большой Генеральный Автомат Тьюринга, будем всемогущими и
никто в мире не сможет противостоять нам.
Затем собрали семь тысяч счетных работников (тогда люди еще считали в
уме), чтобы те подсчитали, сколько золота понадобится на оплату
строительства. Вслед за ними собрали семь тысяч инженеров и конструкторов,
и те семь лет готовили чертежи. Еще до того, как проект был закончен,
первые бригады рабочих отправились готовить строительную площадку в
Аламогордо, посреди огромной песчаной пустыни Новой Мексики, было собрано
семь раз по семь тысяч рабочих. Они жили в бараках из жести, по ночам
страдали от холода, а днем изнывали от страшной жары. Соленый песок выедал
им глаза и легкие, болезни истребляли их, но на смену умершим сгоняли все
новых рабочих, которые копали огромные котлованы под фундаменты, пробивали
шахты и галереи в скалах, а над ними возвышались длинношеие землеройные
машины, похожие на гадов, живших сто семьдесят миллионов лет назад. Эта
стройка длилась семь лет и еще семь лет, и через четырнадцать лет сто
тысяч акров земли были покрыты металлическими башнями и домами и
отгорожены от остального мира высокими стенами. Наступил день, когда ушли
последние из тех, кто выполнил эту гигантскую работу, и ворота закрылись.
Строительные площадки опустели, кругом воцарилась тишина; только ветер
свистел высоко в натянутых проводах, да по гравийным дорожкам шагали
охранники с собаками. Так продолжалось семь дней, пока однажды темной,
безлунной ночью у восточной стены не остановился экипаж, называемый
бронированным автомобилем. Из него вышли семь человек, управляющих
Атлантидой. Первый был хозяином ее железа, второй — угля, третий — нефти,
четвертый — дорог, пятый — хлеба и мяса, шестой — электричества, а седьмой
— армии. С ними приехал восьмой — бледный юноша, сын одного из
властителей.
Навстречу им поднялся из-под земли главный инженер стройки и низко
поклонился прибывшим. Властители вышли из автомобиля и увидели
раскачивающиеся высоко за стенами лампы, подвешенные на проволочных
канатах, а в их неспокойном свете — черные блоки и башни, стоящие рядом,
как шеренги солдат; это была лишь видимая, размещенная на поверхности
земли, небольшая часть Генерального Автомата Тьюринга, который уходил
глубоко под землю, в галереи и залы, вырубленные в скалах пустыни. К
черным дверям в стене с обеих сторон приблизились охранники, двери
открылись, и посетители вошли внутрь; там их ждала застекленная вагонетка,
которая сейчас же двинулась в путь.
Они ехали по залам, залитым холодным синим светом, по зданиям, как бы
перевернутым вверх ногами и вдавленным в скалу, а над их головами темнели
несчетные лианы проводов, висевших на огромных грибообразных изоляторах.
Они проезжали мимо вмонтированных в стены триггерных ячеек; миновали
шахты, у которых стояли на страже бронированные автоматы; вагонетка
уходила все дальше в глубину, а инженер объяснял им все и говорил, что в
подземельях одних лишь главных приборов больше, чем секунд в жизни
человека. Они ехали дальше, спускаясь с одного этажа на другой; за стеклом
извивались коридоры, взгляд терялся в лесу проводов. Вагонетка скользила
под толстыми медными трубами. Иногда где-то в глубине сверкал рубиновый
фонарик, мрак густел, а вагонетка с ритмическим стуком опускалась все ниже
и ниже. И весь этот необъятный и неизмеримый лабиринт был мертв: ни один
импульс тока еще не прошел через миллиарды километров проводов, оплетавших
медный мозг машины. Властители ехали долго, пока за стеклами не засверкали
лампы, осветившие влажные стены туннеля. Вагонетка затормозила и
остановилась. Они были у цели. На самом нижнем этаже этой гигантской
постройки находилась небольшая бронированная комната яйцевидной формы. Они
вошли туда. На черных стенах размещались контрольные часы — семьсот
семьдесят семь часов. Посреди комнаты было возвышение. На нем стоял черный
микрофон, а под бриллиантовым колпаком виднелась кнопка. И больше ничего.
Отсюда надо было отдавать приказы Большому Генеральному Автомату Тьюринга.
Инженер объяснил, что автомат может с равным успехом выращивать
экзотические цветы, закладывать сады и уничтожать людей. Автомат не имел
никаких предохранительных устройств, подобных тем, какие есть у
современных автоматов, и вообще совершенно не был похож на них. Это был
дикий, варварский автомат, своими размерами в миллионы раз превышавший
пирамиды.
Они встали у возвышения. Наступила тишина. Хотя под сводами пылали семь
люстр, черные стены поглощали свет. Вообще-то пуск Большого Генерального
Автомата Тьюринга должен был состояться позднее, но главный инженер,
стремясь выслужиться перед властителями, предложил испытать его теперь.
Уже несколько лет его самого мучило ожидание, и в глубине его сознания
таилась сокровенная мысль: он понимал, что тот, кто окажется у микрофона
пущенного в ход автомата, станет могущественнее ассирийских и вавилонских
магов, которым служили демоны. И когда первый властитель спросил: «А что
нужно сделать, чтобы привести автомат в действие?» — он ответил:
«Властитель, нажмите вот эту черную кнопку, она поднимет затворы в
плотинах, и воды реки Святого Хуана устремятся на лопасти семидесяти семи
турбин, возникнет ток, который насытит металлические внутренности
автомата, и в его органах забьется электрический пульс». Тогда властитель,
несколько взволнованный, потому что он любил великие и необыкновенные
дела, нажал кнопку пухлым пальцем. Стрелки на всех циферблатах качнулись,
лампы открыли свои красные глаза и взглянули на людей, а над головами
вздрогнуло и пришло в движение все пространство площадью в сто тысяч
акров.
Вращались и пыхтели машины, тысячи катодов вакуумных трубок раскалились
докрасна, реле начали включаться и выключаться, и через все катушки,
соленоиды и обмотки прошел ток. Но в черной комнате были видны лишь
неподвижные циферблаты часов, да в репродукторе слышался глухой шум:
гигант, обладавший медным мозгом, был уже оживлен, но еще спал и,
казалось, храпел.
Тогда властители поняли, что перед ними — всемогущее существо, бог,
которого они сами создали и который сделает все, что ему прикажут. Когда
они вдумались в это, то в глубине души испугались, как при взгляде в
пропасть: они не привыкли к тому, что можно быть всемогущим. Каждый
подумал, что автомат по его приказу может уничтожить сокровища шестерых
других властителей и лишить их жизни, но отгонял эту назойливую мысль во
имя интересов новой войны, которую они решили затеять.
Восьмому из них было всего восемнадцать лет, он был сыном хозяина
железа, самого богатого из всех, потому что из железа производились все
орудия истребления. Этот властитель умел как никто другой торговать
кровью, на его заводах стучали тысячи стальных молотов — для того чтобы в
далеких землях перестали биться тысячи живых сердец. А его сын был еще
мальчиком, бледным и печальным. Он познал вкус всех плодов земли, всех
ядов, возбуждающих расслабленные нервы, и все удовольствия, которые можно
получить за золото. Поэтому мир казался ему полным безграничной скуки и в
поисках еще не изведанных переживаний он охотно погружался в лабиринты
темных философских учений.
Люди стояли неподвижно, подавленные собственным ничтожеством по
сравнению с машиной, не пытались вымолвить ни слова и лишь вслушивались в
мерный гул, говоривший о том, что чуткий и покорный гигант замер в
ожидании. Но вдруг бледный юноша вышел вперед и задал вопрос:
— Зачем мы живем?
Охваченный ужасом, его отец хотел побранить юношу, но не успел открыть
рот, как автомат пришел в движение. Лампы начали мигать, свет ослабел,
темные стены, казалось, то подступали к ним, то снова отступали; из
репродуктора вырвался железный вздох, за ним другой, третий, четвертый, с
каждым разом все сильнее. Пол задрожал, с него поднялась пыль, от этих
ужасных толчков у присутствующих подкосились ноги. В грозном скрежете и
грохоте все бросились к двери, толкаясь и в панике сбивая друг друга с
ног: они поняли, что машина смеялась…
Станислав Лем. Магелланово облако.Ernest88
19.02.2019 12:54Потепление. Любая используемая человеком энергия в конечном счете трансформируется в тепло. Тут и углекислого газа не надо, все наше энергопотребление просто греет Землю.
Тепло же, мы в другой вид энергии не преобразуем. Не позволяет теория.
siryoshka
19.02.2019 10:44Чем интересно можно ограничить собственно тупое, экстенсивное наращивание мощи? Энергопотреблением, размерами помещения, или количеством обслуживающего персонала, включая 0дмина
Chupakabra303
19.02.2019 10:56После этих слов Siryoshka подкинул дров в топку своего парового мобиля и покатил с невиданной доселе скоростью прогуливающейся лошади.
Daddy_Cool
19.02.2019 11:26Наверняка можно оценить максимально возможную плотность мощности для данного материала полупроводников при которой полупроводник сохраняет способность э… полупроводить. С другой стороны — с какой максимальной скорость мы можем отводить тепло — это тоже упирается в свойства материалов.
Ну а если идти глубже — то квантовые компьютеры, фотоника, спинтроника и прочие трудности.
Fulgur
19.02.2019 11:43Во-первых, выход из строя различных элементов. Каждый суперкомпьютер состоит из множества нод и статистически, из-за их большого количества, какая-нибудь из них выйдет из строя довольно быстро. И в какой-то момент необходимость перезапуска компьютера будет возникать так часто, что целиком суперкомпьютер не получится использовать из-за постоянных выпадений нод. Во-вторых, необходимость достаточно быстрого соединения между нодами, чтобы они могли эффективно обмениваться данными. Соответственно, чем больше нод используется для одной задачи, тем более качественный интерконнект должен быть. Поэтому не получится всю планету застроить одним суперкомпьютером для решения единственной задачи (кроме отопления планеты) из-за появления больших задержек на передачу данных.
SkreamingFox
20.02.2019 11:47Это смотря по какой технологии его строить. Как вариант повышения надёжности можно делать распределённые вычисления как например в программах SETI@Home и Folding@Home. Я раньше тоже в них участвовал. Сейчас говорят там достаточно большая мощность собрана. Да и не удивлюсь если на современных суперкомпьютерах есть защита от нарушения работы элементов.
Если помечтать то с кучей допусков можно например построить суперкомпьютер например на Луне работающий на солнечной энергии, геотермальной (говорят что ядро ещё не потухло у Луны) и например космическом излучении. Энергетических расходов не будет (правда транспортные будут просто дикими) и Луна всё равно безжизненна. Можно будет осуществлять облачные вычисления, продавать вычислительные мощности, проектные вычисления а Земля не будет занята таким обилием серверов и не будет проблем с производством энергии. Теоретически можно будет даже не ограничиваться поверхностью и даже вообще не использовать её кроме как для сбора энергии развернув производство прямо в недрах и постепенно расширяясь превратить Луну в огромный супер компьютер.Victor_koly
20.02.2019 12:32геотермальной (говорят что ядро ещё не потухло у Луны)
Ядро может и не потухло, но температура высокая, ИМХО, только на глубине 70% от радиуса.
В контексте Луны как тела без атмосферы интереснее такая идея. Строим под поврехностью сеть станций, которые имеют выводы типа «термопара» и могут периодически давать ток — когда пара контактов находится по разные стороны от терминатора.
Только вот пинг 1200-1350 мс меня смущает. Так что это будет механизм вроде «раз в сутки Земля дает задачу и раз в сутки настраивает антенны на прием результатов».Fulgur
21.02.2019 10:08А почему пинг смущает? На суперкомпьютер задачу поставил в очередь и сиди жди, пока запустится… Недельку покрутится и смотрим, что посчиталось. Есть вопросы со скоростью доставки информации туда и обратно, но, думаю, это не самая большая проблема)
Valsha
19.02.2019 11:43+2Фредерик Браун
Двар Эв торжественно запаял золотом последний контакт. Двенадцать телевизионных камер неотрывно следили за каждым его движением; передача шла на всю Вселенную.
Он выпрямился и кивнул Двар Рейну, затем отошел к переключателю, который скоро замкнет цепь. К переключателю, соединяющему одновременно все вычислительные машины всех обитаемых планет — девяносто шесть миллионов миров — в сверхсеть, которая объединит их в суперкомпьютер, единую кибернетическую машину, собравшую мудрость, всех галактик.
Двар Рейн заговорил, обращаясь к слушающим и смотрящим триллионам обитателей. Затем, после короткого молчания, он произнес:
— Пора, Двар Эв!
Двар Эв нажал переключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали огни.
Двар Эв отступил и глубоко вздохнул.
— Честь задать первый вопрос принадлежит вам, Двар Рейн.
— Благодарю, — молвил Двар Рейн. — Это будет вопрос, на который не могла ответить ни одна кибернетическая машина.
Он повернулся к пульту.
— Есть ли Бог?
Могущественный голос раздался сразу, без кликанья реле.
— Да. ТЕПЕРЬ Бог есть.
Внезапный страх исказил лицо Двар Эва. Он кинулся к переключателю.
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
ni-co
19.02.2019 12:42Прочел недавно, что производительность железа для машинного обучения удваивается каждые полгода.
litum
19.02.2019 13:01Я по Первому каналу недавно смотрел новостой сюжет, что в Сколково почти закончили работу над суперкомпьютером, который только на предварительном тесте показал 1 пиздрюлион операций в секунду. Трепещите китаёзы!
Victor_koly
19.02.2019 13:49Я очень извиняюсь, но:
1. Это — город.
2. Это — создатель первого в США циклотрона.
Но можно легко перепутать:
В том же 1958 году в честь Лоуренса были названы две национальные лаборатории: Ливерморская национальная лаборатория и Национальная лаборатория им. Лоуренса в Беркли (LBNL).
Megas
20.02.2019 19:30Возможно большинству сразу стало понятно, но у меня заняло время, чтоб понять, что:
ГО — это Глубинное Обучение, а
МО — это Машинное Обучение
Обычно, прежде, чем использовать какую либо, не особо популярную, аббревиатуру — в тексте дают пример использования. Как мне кажется, в отличии более известного сокращения «ПО», ГО и МО все же нужно пояснить, прежде чем использовать.
Oliksolik
А если дать ему доступ в интернет он ещё и быстренько решит проблему с изменением климата. ;)
sinc
не-не-не, скайнет тоже так начинал. это сначала он такой добренький…
vyo
Так а том ведь и речь: люди определённо являются лидирующей причиной в изменении климата. Людей убрать, а самим быстренько перейти на термояд и солнечный панели. Ну или самоуничтожиться.