Исследователи Массачусетского университета предупреждают о теневой стороне искусственного интеллекта в новой работе: необходимый для тренировки модели объем вычислений требует огромного количества энергии и вызывает выброс углекислого газа в атмосферу. Цифры, которые приводят авторы, показывают, что обучение одной модели обходится человечеству дороже, чем эксплуатация пяти автомобилей.
Объектом исследования стала группа алгоритмов искусственного интеллекта, созданных для задач, связанных с обработкой естественного языка: машинный перевод, анализ и генерирование текста. Для эксперимента ученые отобрали четыре модели последних лет, которые дали максимальный скачок в производительности: Transformer, ELMo, BERT и GPT-2. Модели запускались на отдельных графических процессорах, чтобы замерить расход мощности. Далее, используя информацию о продолжительности обучения, исследователи рассчитали общий объем энергии, потребляемой каждой из программ, и количество углекислого газа, которое выделилось в процессе.
Результаты показали, что влияние машинного обучения на экологию сильно варьирует в зависимости от сложности модели и числа параметров. Например, для модели Transformer обучение на 65 млн параметров вызывает выброс объемом примерно в 11 кг, когда же количество параметров возрастает до 213 млн, выделяется уже 87 кг вредных для окружающей среды веществ. Также большое значение имеет то, используется ли нейронная архитектура для оптимизации работы и повышения точности результатов. По расчетам авторов, именно процессы тюнинга и корректировки настроек потребляют больше всего энергии.
Чтобы дать читателям возможность в полной мере оценить, чего нам стоит разработка новых алгоритмов, исследователи приводят несколько сравнений с другими хорошо известными источниками загрязнения. Так, без применения нейросетей наиболее затратная модель BER равнозначна по степени воздействия на окружающую среду перевозке одного пассажира на самолете из одного конца США в другой. Модель Transformer с оптимизацией нейронным поиском и максимальным числом параметров дает такой же выброс углекислого газа и эквивалентов как полный жизненный цикл пяти автомобилей, включая производство и весь срок службы.
Источник: MIT Technology Review
Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу. В дальнейшем они, как правило, дорабатываются и проходят дополнительное обучение на новом материале, производя все больше и больше выбросов. Динамику этого процесса еще предстоит изучить.
В заключение, признавая, что процесс создания и совершенствования компьютерного разума не может и не должен останавливаться, исследователи указывают на необходимость более ответственного и разумного подхода к использованию существующих ресурсов. «Многие исследования в сфере искусственного интеллекта не принимают во внимание фактор эффективности, — поясняет Карлос Гомез-Родригез, ученый, задействованный в проекте, — ведь сейчас у компаний и организаций есть широкий доступ к очень крупным нейросетям, которые рассчитаны на самые разнообразные задачи и могут дать им конкурентное преимущество». Исследователи надеются, что проведенный ими анализ побудит разработчиков изменить некоторые практики, в частности отказаться от ресурсозатратных методов оптимизации, которые дают незначительный эффект.
Комментарии (44)
striver
10.06.2019 13:24А когда заканчивается активное обучение и вшивается в мозги автомобиля, тогда какие затраты? Или это затраты на постоянной основе, для каждого робомобиля, в том смысле, что обучение бесконечно, ибо идеалов нет пределов.
AllexIn
10.06.2019 16:15Причем тут автомобили вообще?
striver
10.06.2019 18:57Ну, я цели пропустил, а 5 автомобилей увидел… Да, в данной теме их нет… Увидел то, чего нет.
agarus
10.06.2019 21:21-1Авторы подчеркивают, что приведенные цифры обобщают только последствия первых этапов работы над моделями искусственного интеллекта, до того момента, когда их можно представить научному сообществу.
Igor_ku
10.06.2019 13:35Это конечно плохо, но мы не можем отказаться от прогресса в ИИ, да и бизнес не захочет. Поэтому имхо проблема не в неэффективном использовании ИИ, а в источнике энергии. Если б мы использовали везде «более чистую» энергию, то и таких исследований не возникало бы
AndyPike
10.06.2019 13:49И если бы излишки тепла не выкидывали бы в трубу.
Например, предварительный подогрев горячей воды, отопление помещений, теплицы.
amarao
10.06.2019 13:45+3А сколько CO2 выделяется за время установления TLS-соединения между пользователем и сервером, который отдаёт комментарий о выделении CO2 при установлении TLS-соединения?
extempl
10.06.2019 21:02Шок, сенсация, одна посиделка на природе с жаркой шашлыков наносит бОльший вред природе чем 2 (джва) автомобиля. А ещё лес может сгореть.
oracle_and_delphi
10.06.2019 13:54+1Увы, для многих слово CO2 — звучит как для папуасов «карго», только с негативом.
evocatus
10.06.2019 14:58Ну да, мы же не уверены до конца, там мало что понятно, нужно больше экспериментов, научные наблюдения.
Только вот планета у нас всего одна для экспериментов.
Anthony_K
10.06.2019 13:55Исследователи Массачусетского университета предупреждают о теневой искусственного интеллекта
Чего? Существительное где?razielvamp
10.06.2019 14:10Ну есть гончая, а это теневая.
raamid
11.06.2019 01:35-1Там пропущено слово. Должно было быть:
теневой производной искусственного интеллекта
Aquahawk
10.06.2019 14:06+2Люди выдыхают 2.5*10^12 килограмм углекислоты в год.
Am0ralist
10.06.2019 14:16+3И почему читая ваши слова я практически слышал Бендера?
amarao
10.06.2019 14:40+2Бендер потребляет ещё больше электричества (в пересчёте на CO2).
Am0ralist
10.06.2019 15:11Чем один человек или чем группа людей, которых он может заменить? )
Вспоминая, что раньше отделы той же бухгалтерии требовали чуть ли не на порядок больше человек, чем сейчас. А ещё всякие телефонистки и прочие ушедшие специальности...
А ещё можно так:
Serge78rus
10.06.2019 17:11Каким образом численность человеческой популяции зависит от потребности в специалистах той или иной профессии?
Am0ralist
10.06.2019 17:18Требуемая численность!
Если оценивать что для решения какой-то задачи ИИ требуется выработать столько CO?, то вполне нужно сравнивать выработку этого же CO? человеками для решения этих же задач. И если окажется, что у человечества параметры хуже ИИ, то можно пилить новую научную статью об угрозе экологии, вызываемого решением человечества задач, которые лучше решаются ИИ. И вообще, слава роботам…Serge78rus
10.06.2019 18:39… нужно сравнивать выработку этого же CO? человеками для решения этих же задач ...
А если люди не заняты в решении этих задач, то они перестают вырабатывать CO?? Или, может быть, их популяция автоматически сокращается на количество высвободившихся специалистов?Am0ralist
11.06.2019 09:52А мы всё еще обсуждаем известный мем с Бендером?
Мне кажется, вы как-то больно серьезно воспринимаете мои слова…
GiperBober
10.06.2019 15:02Очередной кликбейтный заголовок… Где суммарные расчёты, сколько конкретно, например, за прошлый год, было затрачено энергии на все исследования в области ИИ и машинного обучения в сравнении с транспортом?
И что вообще за призыв «не расходуйте ресурсы на изучение ИИ»? Ага, щаз, в ближайшем будущем аренда ИИ будет самым прибыльным бизнесом, и кто раньше всех получит универсальную «болванку» — быстрообучаемый на любую задачу ИИ — сможет подмять под себя просто гигантский рынок. Естественно, крупные корпорации бросят все силы, средства и ресурсы на то, чтобы первыми создать коммерчески успешный ИИ.
Тут если к чему и призывать, то к использованию ВИЭ для подобных исследований и для big data крупных корпораций, ну так они и так движутся в этом направлении.
411
10.06.2019 15:06+1Немного оффтоп, но Human Life и American Life с разницей в 3 раза? Это что за параметры такие?
mamont80
10.06.2019 15:12Они бы ещё посчитали к какому выбросу CO2 приводит выпуско очередной игры GTA, если посчитать всех геймеров * количество проведённых часов. Относительно всех энергозатрат в ИТ сфере, обучение нейронок это погрешность округления. Исследование ради громкого заголовка. Вот к чему это всё? Запретить ИИ?
DrunkBear
10.06.2019 15:25+1не забудьте про криптовалюту.
Сколько кг CO2 выделятся за выполнение смарт-контракта или подтверждение транзакции?
perfect_genius
10.06.2019 16:06+1Надо бы уточнить эти расчёты на нейросетях, может найдёт более точную связь.
Peter03
10.06.2019 17:10Надо было добавить — чем все автомобили и самолеты вместе взятые.
Вот тогда бы точно все бы сразу отказались от работ над ИИ, с чувством глубоко удовлетворения от того что спасли планету от неминуемой гибели.
tormozedison
10.06.2019 17:32Уже была пугалка: «один поиск в Google сжирает как кипячение полного электрочайника». Потом оказалось, что кто-то ошибся в расчётах не помню на сколько порядков.
leventov
10.06.2019 21:15Ну, кажется, примерно столько он и занимает. Я где-то видел оценку поиск = чашка кофе. С другой стороны, Гугл много энергии берет из возобновляемых источников, и покупает оффсеты на остальное: https://sustainability.google/projects/announcement-100/
tormozedison
11.06.2019 06:42Потом была другая оценка — 100 джоулей на один поиск. Этого на чашку кофе не хватит точно.
arheops
12.06.2019 00:34Ну закипятить чайник стоит 2-5 рублей(в зависимости от температуры воды).
Имхо, гугл бы обанкротился столько на каждый поиск терять.
Alter2
10.06.2019 18:50Тут надо посчитать, сколько энергии было бы потрачено, если бы анализ текстов проводили живые люди вместо обученных моделей.
red_andr
10.06.2019 21:57+2Непонятна фиксация конкретно на этой задаче. Очевидно, что любое использование компьютера требует энергии. И обучение ИИ далеко не самая бесполезная задача. Пусть для сравнения приведут сколько сжирают майнеры всяких электронных валют, игроки в видеоигры, просмотр видео, да просто тупящие в фейсбуке. Более чем уверен, что машинное обучение в этом списке даже в тысячу самых прожорливых не попадёт.
RedElf
А как они рассчитывали выброс углекислоты? При выработке энергии «из» солнца или воды углекислый газ в прямую не выделяется, например
evocatus
См. конец 2-й страницы работы. Они используют соотношение фунты CO2 на киловатт*час по США (от EPA — U.S. Environmental Protection Agency). У них же в работе на той же странице есть таблица с пропорциями используемых источников энергии для США, Германии и Китая. На ней видно, что США не слишком экологична в этом плане — меньше всего возобновляемых источников энергии, в разы большая доля угля, чем у двух других стран.
Kocmohabt314
Вы что-то путаете, самая большая доля угля как раз у Китая, хотя доля возобновляемых источников энергии у них все же больше, чем у США:
