В идее распределенных вычислительных систем нет ничего нового. Идея реализована уже давно, плюс примеров таких реализаций множество, включая SETI, Folding@Home и другие. Идея в том, что специальное программное обеспечение использует незадействованные ресурсы локальных систем — например, ноутбуков и ПК, направляя их на выполнение полезных задач. Ну да, это может быть поиск сигналов внеземного происхождения или разных форм белка.
Но обычно такие системы и составляются из ноутбуков или десктопных ПК. А что, если задействовать ресурсы смартфонов или планшетов? Эта идея тоже не новая, но сейчас ее реализацией занялись российские ученые — специалисты из МИСиС.
Что за идея?
Команда сотрудников института разработала прототип сети, которая дает возможность объединять в единую систему тысячи или даже миллионы мобильных устройств. Система без проблем масштабируется и дает возможность направлять вычислительные ресурсы таких девайсов на полезные нужды. Объединенная система в итоге не уступает по производительности суперкомпьютерам, а возможно, многие из них и превосходит.
Работа ученых со всеми подробностями опубликована в журнале Communications in Computer and Information Science. В целом, суть идеи все та же — задействование неиспользуемых ресурсов разных устройств. Согласно прогнозам экспертов, вскоре количество используемых смартфонов во всем мире превысит цифру в 7 млрд. Это огромное количество хотя и маломощных, но все же вычислительны систем.
Если хотя бы часть ресурсов определенного количества этих смартфонов задействовать для решения полезных задач, для которых необходимы вычислительные мощности, человечество бы получило крайне мощный инструмент для решения многих своих проблем. И если раньше такая идея всерьез не рассматривалась, то сейчас — да, поскольку смартфоны становятся все более мощными.
Вполне может быть, что в скором будущем суперкомпьютеры будут не только локальными, но и распределенными. А их составными частями станут наши с вами смартфоны.
«Наша работа посвящена использованию мобильных устройств в качестве поставщиков вычислительных ресурсов. Основная идея проекта заключается в использовании простаивающих вычислительных ресурсов мобильных устройств для различных расчетов, без ущерба для их прямого назначения. Для этого необходима серия различных вычислительных экспериментов для изучения поведения грид-системы, состоящей из разнородных устройств с разной процессорной архитектурой и разными операционными системами, с последующей настройкой различных параметров проекта», — рассказал соавтор работы, доцент кафедры инженерной кибернетики НИТУ «МИСиС» Илья Курочкин.
Больше подробностей
Для удобства пользователей система не будет работать со всеми подключенными смартфонами в режиме 24/7. Вместо этого предполагается использование гаджетов в фоновом режиме, когда они стоят на зарядке или же заряжены почти полностью, будучи при этом подключенными по Wi-Fi. По мнению участников проекта, если все правильно сделать, то параметры такой распределенной системы не будут слишком активно влиять на уровень заряда батарей подключенных устройств.
Что касается прототипа, то он был развернут на платформе BOINC. В целом, ничего не мешает использовать кроме смартфонов — планшеты, ноутбуки и десктопные ПК. Но все же всерьез за смартфоны пока брались немногие компании. Что касается операционных систем, то платформа совместима со всеми распространенными ОС как для мобильных устройств, так и для ноутбуков с десктопами. Сейчас относительно производительные чипы встроены во многие бытовые системы, включая, например, умные телевизоры. Так что их вычислительные ресурсы тоже можно использовать в подобной сети.
Разработчики, по их словам, провели ряд вычислительных экспериментов на тестовой мобильной распределенной системы. Найденная конфигурация дала возможность сократить время проведения вычислительных экспериментов, а также увеличить процент загрузки устройств и снизить процент просроченных задач.
Использоваться подобный проект может для разных задач, где требуется большое количество ресурсов. Это могут быть моделирование свойств материалов, изучение свойств белков, глубокое обучение нейросетей и много чего еще.
Распределенные вычисления — весьма интересная тема, но у нас есть и другие статьи, оцените — мы рассказываем о:
→ Маленьких «малинках» в крупном дата-центре
→ новых SoC от Apple — M1 Pro и M1 Max
→ Создании собственного корпуса для сервера
Ничто не ново под Луною
Да, как и говорилось выше, причем не один, а пару раз, идея создания единой платформы для объединения вычислительных ресурсов смартфонов не новая. В больших масштабах ее пыталась внедрить компания НТС, которая загрузила в каталог приложений программу для Android-смартфонов, предназначенную для объединения тысяч или даже миллионов устройств.
Назывался этот проект Power to Give. На американской версии сайта HTC до сих пор доступна страница проекта, так вполне возможно, что он существует и как-то работает до сих пор. Во всяком случае, в Google Play приложение до сих пор есть, а количество его скачиваний превысило 1 млн. Неплохо.
Вот видео, где подробно рассказывается о преимуществах платформы.
Все, что нужно было сделать для подключения — загрузить приложение, подключиться к Wi-Fi сети или мобильной сети передачи данных и начать заряжать телефон. Приложение оценивало условия, и если они были оптимальными, начиналась работа — телефон становился частью распределенной сети. Вот характеристики устройств, которые могли участвовать в работе платформы:
• Android 4.4 KitKat или выше.
• Процессор 1.5 GHz dual-core, 1 GHz quad-core
• 1 ГБ ОЗУ или выше.
В целом, для 2014 года достаточно средние требования. К сожалению, отечественный проект пока не подошел к стадии непосредственной реализации, так что критерии подключения к сети, разработанной институтом, неизвестны.
Хотелось бы надеяться, что отечественный проект получит какое-то продолжение, а не ляжет под сукно. И тогда многие миллионы владельцев смартфонов получат возможность помочь научным или медицинским проектам.
Комментарии (50)
Rutel_Nsk
09.02.2022 05:22Угу, примерно тоже самое, что и суперкомпьютер из подключенной к сети бытовой техники (суперкомпьютер из холодильников). Болеет народ ))).
Кто нибудь расскажите мне, зачем в телефоне нужен мощный процессор, вполне достаточно реализовать программу «удаленного рабочего стола». Возможно пару тройку программ для оффлайна. Все остальное исполнять на мощных стационарных системах, высвободившийся ресурс использовать для повышения времени автономной работы в пределах 2-4 недель.
PS По поводу понтов я все понимаю.
ZekaVasch
09.02.2022 05:40+17Программисты умеющие писать маленькие и быстрые приложения вымерли. Клиент для icq на яве на теефоне сименс jimm весил меньше 100 кб. В 2005г
Глянул сейчас приложение аськи весит 100 мб и не работает )))
Вопросы зачем мне аська в 2022 году , ну они без ответов. Я просто вмпомнил что это приложеие у меня тогда уже было
Schicout
09.02.2022 19:22+2Два или три дня назад читал здесь статью, в комментариях к которой участники дискуссии рассуждали на тему "Мы все живем в эпоху MVP". Пришла идея, накидал прототип, подключил десяток фреймворков, сотню зависимостей, сделал MVP, выкатил в прод. Если ты первый - ты д'Артаньян, если второй - сами знаете кто. Повезло - продал стартап, не повезло - придумал следущую идею, а на эту забил, ибо если не забьешь, то ты уже не успеешь быть первым. Мы сами себя вогнали в эту ситуацию. Я уже подзабыл детали, но несколько лет назад кто-то из владельцев популярного репозитория отозвал (удалил, не помню, не бейте) его, а в нем была маленькая функция на которую ссылалось огромнейшее количество проектов и все встало колом. Фунция была меньше 10 строк, делала тривиальную операцию со строками, чего бы просто не вписать ее в свой код?.. Но нет, ингода даже не просматривают зависимости для подключаемой библиотеки - работает же.. Вот и имеем калькулятор под Win10, жрущий 50-80 мегов оперативы, хотя старый жрал всего 6, а функционал - не изменился. Бабло победило.
drWhy
10.02.2022 10:49«Клиент для icq на яве на теефоне сименс jimm весил меньше 100 кб. В 2005г»
Клиент icq на ассемблере весил 2,5 кБ и в 2015 г. ещё принимал сообщения, отправлять правда уже не мог из-за устаревшего протокола.
«Программисты умеющие писать маленькие и быстрые приложения вымерли.»
Фабрис Беллар в 2019 г. опубликовал экспериментальный упаковщик без потерь NNCP
на основе нейросетей размером 526 кБ.
vikarti
09.02.2022 07:34Такая реализация автоматически означает трату ресурсов сервера при работе (а значит платную подписку).
Не везде есть нормальное покрытие даже в пределах городов.
Иметь возможность в любой момент гнать FullHD видео(а то и повыше) это не всегда возможно и из-за покрытие и из-за трафика.
Еще и низкую задержку иметь (притом что вебсайту несколько сот мс это плохо но терпимо, и можно что-то по частям, в приложении — можно оптимизировать загрузку и хоть скролл локально делать а не)
Интеграция с железом телефона (придется прокидывать все датчики).При этом насчет цен на удаленный стриминг — за ориентир наверно можно loudplay взять (та же почти услуга — только тот облачный стриминг игр). на https://www.loudplay.ru/ — 40-49 рублей в час, на https://habr.com/ru/company/wd/blog/517892/ — 65 рублей в час. Мне вот кажется что дорого для (хотя бы) 16 часов в день.
И, да, задачу — "СЕЙЧАС нам не нужен мощный процессор а нужно поработать подольше" — давно учитывают. Зря чтоли 2 (иногда и 3) кластера ядер в смартфоны (а последнее время — не только) ставят?
fougasse
09.02.2022 09:18Latency и покрытие высокоростным интернетом. Разбивают вашу идею.
Rutel_Nsk
09.02.2022 11:46Сотовые телефоны никогда не станут основй суперкомпьютера именно из-за очень большой и не устранимой Latency (особенность работы радиоинтнрфейса).
Число параллельных потоков на которые можно разбить исходную задачу зависит от времени затрачиваемом на коммуникации.
Получается, что есть много мелких задач (большие телефон не потянет) соединеннных дорогим, относительно медленнным какналом с большой задержкой. КПД такой системы будет крайне низкой.fougasse
09.02.2022 17:37При чём тут суперкомпьютер, я отвечаю на
расскажите мне, зачем в телефоне нужен мощный процессор, вполне достаточно реализовать программу «удаленного рабочего стола». Возможно пару тройку программ для оффлайна. Все остальное исполнять на мощных стационарных системах, высвободившийся ресурс использовать для повышения времени автономной работы в пределах 2-4 недель.
Это не будет работать в принципе, даже без "суперкомпьютерных" задач.
LynXzp
10.02.2022 15:09Есть множество задач где latency в несколько дней не помеха и считать долго можно на любой мощности устройств. BOINC на этом построен.
Например брутфорс sha-512 (не очень продуктивный пример, но понятный). Можно разделить на невероятное количество потоков, и данных особо много передавать не нужно, считать можно с любой скоростью.
drWhy
10.02.2022 10:55Мозг работает ЕМНИП на килогерцовых частотах. Электрохимическая передача данных не обеспечивает высокой скорости или низкой латентности. Но за счёт высокой связности как-то справляется с задачами.
bbs12
09.02.2022 19:51+1зачем в телефоне нужен мощный процессор
Мощный, но слегка устаревший не топовый процессор стоит пару баксов.
drWhy
10.02.2022 11:11Вчера сравнил процессоры двух бюджетных ноутбуков, выпущенных с разрывом в десятилетие — Intel Core i5-2410M и Pentium Gold 7505. Более тонкий техпроцесс позволил снизить TDP вдвое и поднять максимальную частоту на 20%. Незначительно подросли кеши L1, L3 и от щедрот душевных аж в пять раз увеличился кеш L2 — нужно же чем-то заполнить уменьшившийся кристалл. Добавился AVX 2. Всё. Налетай, подешевело на 40%. 10 лет, Карл!
Не всё то Gold, что блестит…
По сравнению с этим процессоры, используемые в телефонах и прочих малинках развиваются просто взрывными темпами.LynXzp
10.02.2022 14:56+2Не только частотой и кешем. Не учитываете много архитектурных улучшений. Сравните в попугаях. От 50 до 200% рост.
PassMarkВ среднем в 2 раза быстрее.Intel Pentium Gold 7505
2,371
5,504
Intel Core i5-2410M
1,212
1,915
OptimumOption
09.02.2022 08:27+1У Самсунга был аналогичный проект, призванный "подарить вторую жизнь устаревшим гаджетам". Тоже канул в небытие... Ну и как всегда, список совместимых устройств - ограничен.
agat000
09.02.2022 08:28Большая часть телефонов - это устаревшие кирпичи возрастом больше двух лет, с тормозами тянущие свои собственные Андроиды, перегруженные кучей фоновых приложений и с забиитой памятью. "Свободная мощность" явно переоценена.
drWhy
10.02.2022 11:16Существуют ботнеты на ip-камерах видеонаблюдения, там со свободной мощностью напряги, но открываются новые неожиданные возможности.
agat000
11.02.2022 05:57+1Ботнету не всегда нужна мощность. ИП-камеры идеальны для DDOS-атаки, например. Халявные миллионы девайсов, способных тупо спамить запросы. Под дефолтным l/p admin/admin
drWhy
11.02.2022 11:06И не только. Могут, например, подмигнуть кому надо светодиодом или в нужный момент нечаянно пропустить пару кадров.
NeoCode
09.02.2022 08:33+1Да, но зачем? Даже чтобы человеку подключиться к гипотетической децентрализованной соцсети на смартфонах (а эта идея напрашивается ввиду огромного распространения смартфонов), нужна какая-то супер мотивация, которой на горизонте не видно: большинству это просто не нужно - хранить на смартфоне какие-то общие данные, передавать и принимать общие сетевые пакеты... Хотя децентрализованная сеть дала бы людям свободный доступ к любой информации (как торренты, только гораздо удобнее). А в этом проекте что за мотивация?
choodo
09.02.2022 08:51+2Если хотя бы часть ресурсов определенного количества этих смартфонов задействовать для решения полезных задач, для которых необходимы вычислительные мощности
GeorgKDeft
09.02.2022 10:46Тоже подумал что им надо искать для этой темы неприличного инвестора... приличные денег могут не дать.
WondeRu
09.02.2022 14:50Именно про этот момент и вспомнил. Вторичность - вот наша проблема.
wormball
10.02.2022 15:40+1Это не проблема, это основа нашего существования. Вы имеете возможность писать на хабре только потому, что кто-то вам передал затасканные гены, некоторым из которых миллиарды лет, а затем научил совершенно скучным вещам, которые до вас уже умели миллиарды людей, а потом вы откуда-то достали компьютер, который опять же пренебрежимо мало отличается от миллиардов других компьютеров, а программы и вовсе абсолютно такие же. А то, что иногда нечто новое оказывается лучше, нежели старое — это по сути своей чудо, а вовсе не обычное положение вещей, которое специально нарушается какими-то злодеями.
eurol
09.02.2022 09:30+1Уверен, любой пользователь будет счастлив, когда его установленный на зарядку телефон будет заряжаться в несколько раз дольше или вообще разряжаться просто потому, что кто-то хочет пользоваться его мощностями. :)
YMA
09.02.2022 10:14+1И не только вопрос зарядки. Большая часть современных телефонов не рассчитана на длительную работу при 100% загрузке процессора, они будут излишне греться, что сократит срок службы батареи, экрана, да и всего аппарата в целом.
klounader
11.02.2022 04:56+1Я выпилил гуглосервисы, забанил всю рекламу, допаял чипов памяти, заменил батарейку на свежую, чтобы не чувствовать себя ущербным, чтобы пропускная способность сети оставалась высокой, чтобы батарейка жила долго и счастливо, чтобы процессорное время не тратилось на майнинг системных логов, чтобы флешка не насиловалась поиском цп среди фоток моих детей и продажных песенок, чтобы антивирусы не устраивали аттракционы мнимой безопасности, для полного счастья осталось нагрузить свой личный телефон вот этим проектом. Это просто блестящая идея!
drWhy
11.02.2022 11:12«майнинг системных логов»
Это пять. Свежая трактовка.
У меня сайт падал исправно раз в месяц, потому что лог-файл выедал лимит дискового пространства хостинга в 5 ГБ. Разработчики раза с третьего тоже обратили внимание.
stalinets
09.02.2022 10:19Можно, но я хочу гибких настроек, чтобы, скажем, разрешить считать не более чем в 1-2 потока, и не приведи рандом эта настройка из-за криворуких кодеров сбросится и телефон перегреется, вздувшись аккумулятором.
Приложение должно быть лёгким и маленьким, при этом подробно отчитываться и визуализировать, что когда и зачем считается.
Короче, это должен быть тот же boinc, но с более дружелюбным интерфейсом.
gapel
09.02.2022 10:29+1простите, а как насчет https://neocortix.com/cloud
Ребята начали в 2013 году, с 2017 года работают. Только с той разницей, что они еще и деньги платят за использование вашего телефона.
Другой вопрос (и она же проблема) найти клиентов на эти ресурсы. То есть нахаляву отдавать ресурсы своего телефона непонятно зачем. А чтобы отдавать ресурсы за деньги, то надо нахожить клиентов под эти ресурсы и это уже задача, которая нормально не решена.
Переизобретение велосипеда это весело, но на статью и открытие не тянет.
P.S. Если кто пытался поставить приложение на телефон и не получилось - количество мест в данный момент ограничено именно по причине того, что "ресурсы надо продавать"
OptimumOption
09.02.2022 11:23-1лохотрон для наивных хомячков
gapel
09.02.2022 13:12какие-то аргументы? факты?
OptimumOption
11.02.2022 09:45-1На 4 свежих железяках с достаточным объемом ОЗУ (4-6гиг) и вполне себе шустрымы процессорами ругается на "ваше устройство не отвечает минимальным требованиям". Или приложение запускать надо исключительно на каком нить ROG-смарте с 12 гигами оперативы? Так вы тогда и напишите перечень совместимых устройств!
и ваш PS к чему? с каких пор успешность установки приложения из маркета и его запуск зависит от "ресурсы надо продавать"?! или сами это выражение придумали?
serafims
09.02.2022 10:54Вброшу экологического холивара - не уверен, что мобильные системы выгоднее стационарных в пересчете вычислительной способности на Ватт*час потребленной энергии. Плюс износ потребительских устройств будет быстрее.
alex_dow
09.02.2022 20:16Тут видимо предполагается ваше добровольное согласие бесплатно, так что любая вычислительная мощность - за ваш счет. Да и что мешает гуглу делать это прямо сейчас? да и эпплу тоже, 5% ресурса никто не заметит. Так что вариант один - прозводите смартфоны и встраивайте туда это все, и просить никого не придется. Родилась жуткая мысль - налог на вычислительную мощность - гос-во просто обязует производителей оборудования выделять часть вычислительной мощности в его пользу... ого хоть садись и книгу пиши на эту тему
lipik
09.02.2022 10:57-3Больше похоже на то, что в случае введения очередных санкций "суперкомпрьютеры" будут делать из того, что осталось на руках у обычных граждан. Не от хорошей жизни это всё.
SerPav
09.02.2022 11:59+2Кажется, что учёные из НИТУ «МИСиС» посмотрели сериал Силиконовая долина и делают «Пегий Дудочник».
alex_dow
09.02.2022 20:14Я согласен, пусть только оплачивают хотя бы 500р в месяц, или по трафику, я ж не знаю, может они майнить будут
MaryRabinovich
09.02.2022 22:18Я правильно поняла, да? Государственный вуз беспокоится о наличии у широких масс некоей неиспользуемой энергии?
drWhy
10.02.2022 11:24«Генезис — это Скайнет» же! Там глобальную операционную систему запускали на планшетах, а она оказалась Скайнетом.
«Что нам нужно? Машина времени!.. Когда она нам нужна? Не важно!»
ciubotaru
— Можно, — говорил он, — это всегда можно, дуся. С нашим удовольствием, дуся. © Ильф И. А., Петров Е. П. "Двенадцать стульев"
Навскидку: BOINC давно есть в App Store и Google Play Store, он прекрасно работает на планшетах и смартфонах, с его помощью можно считать для SETI, Folding@Home и пр.
LynXzp
Тоже пришел возмутится что они BOINC переизобретают или кремниевой долины насмотрелись. Но BOINC на телефонах так себе. Включать можно только на зарядке, и в это время он ощутимо греется. Давно не пробовал, но на старых телефонах это убийство аккумуляторов.