О распределенных вычислениях
Для меня было странным обнаружить, что на Гиктаймс и Хабре почти не пишут о такой IT-сфере, как распределенные научные вычисления (Volunteer computing, разновидность HTC — High-throughput computing). Казалось бы, «идеальное» хобби для IT-гика (сочетающее в себе реальную пользу, интересное занятие и благотворительность одновременно). Например, я лично ими плотно увлекаюсь последние 5 лет (а впервые поучаствовал около 12 лет назад). Но даже хаба соответствующего не нашел (может плохо искал?).
Я попытаюсь закрыть этот пробел. Начну с перевода одной из статей, в которой описывается, на мой взгляд, одно из самых серьезных/значимых достижений практического (а не чисто теоретически фундаментального) плана от медицинских РВ проектов. На отсутствие которых многие жалуются и теряют интерес к РВ в целом. Вероятно, это одна из основных причин малой популярности РВ на «Гиктаймс» (возможно, многие в свое время поискав «зеленых человечков» в SETI@Home разочаровались в идее в целом как не несущей какой либо пользы?).
Итак, конкретно порадовал проект Help Fight Childhood Cancer (дословно: помогите в борьбе с детским раком), входящий в РВ инициативу IBM World Community Grid: благодаря собранным «с миру по нитке» (CrowdComputing?) вычислительным мощностям, сделан научный прорыв в лечении рака (конкретно одной из его разновидностей, распространенной у детей — нейробластомы). Далее передаю слово доктору Акира Накагавара (доктор медицинских наук, президент Онкологического Центра г. Чиба). В скобках (прим:) — примечания переводчика, т.е. мои.
Новая надежда в борьбе против детского рака
В настоящее время благодаря успехам современной медицины порядка 80% детей с диагнозом «рак» успешно излечиваются. Но прогноз далеко не столь хорош, когда речь заходит о нейробластоме — наиболее часто встречающемся виде рака в младенческом возрасте.
Нейробластома — это опухоль периферической нервной ткани, которая часто начинает развиваться в надпочечных железах и симпатической нервной системе шеи, груди или живота. Данное заболевание весьма распространено. По данным наблюдений, в США и Японии 1 случай на 8000 детей.
Более половины выявляемых случаев этого заболевания относятся к высоко рисковой группе, в которой добиться выздоровления удается только для 30% детей. И эти показатели практически не улучшались за последние 20 лет. Так что срочно требуется разработка новых лекарств/методов лечения для этого опасного заболевания.
Наша научная команда в Онкологическом Центре г. Чиба (Япония) работала над разработкой новых лекарств для лечения нейробластомы. С помощью волонтеров, участвующих в проекте распределенных вычислений World Community Grid, мы открыли 7 перспективных кандидатов на применение в качестве новых лекарственных средств, которые потенциально можно использовать в новых методах лечения детского рака — нейробластомы. Эти лекарства-кандидаты работают по принципу выборочной активации природного механизма «самоуничтожения» только в раковых клетках нейробластомы, убивая их не затрагивая при этом обычные здоровые клетки.
Клетки нейробластомы имеют на своей поверхности рецептор, обозначаемый TrkB. Когда молекула (прим: только правильной 3d-конфигурации) присоединяется к этому рецептору и этим блокирует его работу, естественный ген, подавляющий рост опухолей p53, активизируется внутри клетки, вызывая саморазрушение клеток нейробластомы изнутри в процессе, называющимся «апоптозом». Апоптоз — это один из естественных процессов, протекающих в организме, одна из основных целей которого как раз состоит в уничтожении (саморазрушении) поврежденных или мутировавших клеток, прежде чем они сформируют опухоль. Однако работа рецептора TrkB в клетках нейробластомы подавляет (блокирует) эту естественную защитную функцию организма. Аналогичные процессы с участием TrkB происходят во многих «взрослых» видах рака, включая рак груди, легких, поджелудочной железы, простаты и кишечника, когда они переходят на стадию метастазирования (т.е. начинают распространяться по организму за пределы изначального места образования опухоли). Это означает, что эти последние открытия, вероятно, пригодятся так же и в лечении «взрослых» видов рака для борьбы с метастазами.
Наша стратегия состояла в поиске малых молекул (прим: так обычно называют относительно простые химические соединения, чтобы отличать их от наиболее сложных биологических молекул, таких как ферменты, пептидные гормоны и другие белки), которые связывались и подавляли функционирование TrkB рецепторов на раковых клетках. Счет известным химическим соединениям, которые потенциально можно использовать в медицине, сейчас идет на миллионы, поэтому синтезировать их все подряд и проверять на практике в лаборатории невозможно. Вместо этого в партнерстве с World Community Grid мы запустили проект под названием Help Fight Childhood Cancer, в котором для проведения такого поиска использовалось широкомасштабное компьютерное моделирование. В общей сложности в работе проекта приняло участие более 200 000 человек, безвозмездно предоставлявших вычислительные мощности своих компьютеров для проведения необходимых расчетов. С помощью этой огромной вычислительной мощности мы провели скрининг 3 миллионов химических соединений всего за 2 года — что на одиночном компьютере заняло бы порядка 55 000 лет непрерывной работы (прим: речь идет о суммарном чистом процессорном времени моделирования), и позволило выявить 7 веществ-кандидатов в лекарства для более подробного изучения.
После дополнительного лабораторного тестирования мы обнаружили (прим: результат уже подтвердили на практических экспериментах!), что эти 7 кандидатов очень эффективны в уничтожении опухолей нейробластомы на подопытных мышах — даже в очень малых дозировках и без серьезных побочных эффектов. Данные результаты были опубликованы в рецензируемом научном журнале «Cancer Medicine» в январе 2014 г.
На основании этих очень обнадеживающих исследований в данный момент мы ищем партнера среди фармацевтических компаний для дальнейшей совместной работы по тестированию и сертификации в качестве лекарственного средства.
Этот прорыв в исследованиях стал возможен благодаря поддержки тысяч волонтеров со всех уголков мира, предоставлявших вычислительные мощности через проект распределенных вычислений World Community Grid. От лица нашей исследовательской команды я хотел бы поблагодарить от самого сердца всех волонтеров World Community Grid принимавших участие.
Акира Накагавара (доктор медицинских наук, президент Онкологического Центра г. Чиба, Япония)
Конец перевода.
Оригинал пресс-релиза, с которого делался перевод, доступен по ссылке: New hope in the fight against childhood cancer
Желающие более детально ознакомиться с исследованием могут воспользоваться ссылкой на полную научную статью опубликованную в журнале Cancer Medicine: Identification of novel candidate compounds targeting TrkB to induce apoptosis in neuroblastoma
Ссылки по теме
ru.wikipedia.org/wiki/Нейробластома (подробнее в англ en.wikipedia.org/wiki/Neuroblastoma)
ru.wikipedia.org/wiki/P53
ru.wikipedia.org/wiki/Апоптоз
en.wikipedia.org/wiki/Tropomyosin_receptor_kinase_B (целевой рецептор — в статье TrkB)
World Community Grid — для желающих быстрее присоединится и поучаствовать лично (конкретно этот описанные проект по поиску лекарств от нейбробластомы уже завершен, но есть другие активные проекты)
Заключение
Несмотря на то, что описанные результаты были получены около года назад, до готового лекарства в продаже еще далеко. На Западе путь от научного результата, подтверждающего эффект, до лекарства в свободной продаже, занимает от 2-3 лет в лучшем случае, и до 5-7 лет в сложных. А в случае с результатами открытых РВ вычислений — это дополнительно осложняется слабым интересом/мотивировкой фармацевтических компаний. Из-за того что исследование было некоммерческое (лаборатория работает на правительственный гранты, РВ сеть — добровольные пожертвования волонтеров), такое лекарство нельзя запатентовать и «снять сливки». Точнее лекарство (бренд) запатентовать можно, но вот основное действующее вещество и схему его применения — нет. Так что любая другая компания сможет выпускать дешевые аналоги (под своими названиями и брендами), не неся при этом больших первоначальных затрат на выведении нового лекарства на рынок как первая.
В конце публикации хотелось бы устроить опрос. Во-первых, уровень интереса к тематики в целом (кому не интересно, но все-таки дочитал до конца – выбирайте последний вариант). Если даже такие результаты не вызывают интереса, то станет ясно, что писать далее на эту тематику не имеет смысла. А если интерес сообщества будет, то постепенно напишу небольшой цикл статей и переводов о РВ. Для тех, кого заинтересовала тематика, соответственно, вопрос о чем в первую очередь стоит написать в следующий раз?
— Подробнее об этом конкретном исследовании? (Могу сделать краткие «выжимки» из научной стать с доп. подробностями и рассказывать, что нового за прошедший год.)
— Еще о примерах конкретных успехов из других РВ проектов?
— Как начать лично в одном из таких участвовать и включиться в «гонку»?
— Общий обзор наиболее интересных из текущих РВ проектов?
— Обзор «спортивной» составляющей РВ (мерения
— Не стоит об этом писать (мне не интересно).
jonywtf
Надеюсь bitcoin не сильно потеснил Volunteer computing. Да и теперь не уверен я что на моих мощностях не будут майнить валюту вместо проведения общественно полезных научных вычислений.
Mad__Max Автор
Конкретно Bitcoin — нет. Т.к. в те времена когда его добыча шла на CPU и GPU, он особой популярностью еще не пользовался и стоил дешево.
А когда начался его взлет (в начале 2013 года) — произошел переход на специализированные устройства на ASIC чипах, которые непригодны для научных вычислений — они на аппаратном уровне ограничены выполнением только одной функции. Так что прямой конкуренции за вычислительные мощности не происходило
Но если в целом криптовалюты рассматривать во всем их многообразии — то да, довольно значимое количество перешло туда — на альтернативные валюты, с нестандартными алгоритмами хэширования под которые не существует специализированных ASIC-чипов.
Сейчас правда наблюдается обратный процесс перетока обратно в РВ в связи со спадом криптовалютного ажиотажа и соответствующем падением доходности этого занятия.
Что до скрытого майнинга под видом РВ — это практически исключено в любых более-менее серьезных проектах, т.к.:
1. Чаще всего используется OpenSource софт — так что при наличии знаний и желания можно покопаться внутри и лично посмотреть что именно считается.
2. За каждым серьезным РВ проектом стоит группа из нескольких ученых, которые вряд ли станут рисковать своей репутацией и карьерой ради такого заработка путем обмана. Полученные результаты публикуются и проверяются другими учеными из той же области + комитетами которые выдают гранты на исследования и в случае если мощности уйдут в майнинг, то и научных результатов не будет, которые надо предъявить.
3. В случае таких инициатив как World Community Grid, есть дополнительный внешний фильтр (в данном случае из привлекаемых IBM ученых и экспертов), которое проводят экспертизу проекта перед запуском (действительно ли поставленная задача имеет научных смысл? можно ли ее решить предлагаемыми методами? соответствует ли предложенное ПО этим методам? и т.д.) и осуществляют своего рода аудит в процессе.
Хотя пересечения с криптовалютами все-таки есть:
1. Есть пара проектов где майнинг используется как FundRising для соответствующего научного проекта — но этого никто не скрывает.
2. Наоборот есть несколько необычных криптовалют, «майнинг» которых происходит путем выполнения полезных научных вычислений — вновь создаваемые монеты распределяются пропорционально количеству очков (объему вычислений) в одном из научных РВ проектов вместо примитивного перебора миллиардов криптографических хэшей.
pehat
Пока не было биткоина, платформы для volunteer computing обвиняли в попытках взлома RSA брутфорсом под благовидным предлогом. Всегда найдутся задачи, для которых нужен брутфорс и из которых можно извлечь личную (коммерческую) выгоду. Я когда-то даже участвовал в SETI@Home, но потом просто стало жалко греть свой бедный ноут.
Глядя на изрядную долю проектов, у меня возникает несколько вопросов:
1)Зачем это нужно лично мне? Если честно, меня не воодушевит, например, опровержение гипотезы Коллатца, найденное на моем компьютере. Задачи по математике, астрономии, физике в большинстве своем выглядят либо попыткой решить задачку, не задействуя головы, либо рендер-фермой для любителей гиперреалистичных картинок, либо попыткой угадать настолько маловероятное событие, что будь работающих компьютеров на три порядка больше, среднее (ожидаемое) время результата все равно составило бы несколько веков. Куча задач выглядит
Mad__Max Автор
А чего обвинять-то если это на самом деле было и тоже не скрывалось? Такой проект по взлому шифра был, да и сейчас его аналоги существуют. Например Moo! Wrapper (взлом шифров в рамках «RC5-72 challenge») или DistrRTgen (генерация «радужных таблиц» для взломов шифров). Или близких к ним по смыслу, например Enigma@Home — расшифровка перехваченных сообщений времен 2й мировой войны зашифрованных знаменитой немецкой Энигмой
И находится немало людей добровольно в этом участвующих. Как говорится на вкус и цвет — все фломастеры разные. И каждый сходит с ума по своему.
Конкретно я впрочем разделяю ваш подход и ни в каких подобных проектах не участвовал и не участвую. Более того, я состою в одной из российских команд РВ вычислений основное отличие которой от подобных как раз аналогичный подход к выбору проектов среди ее участников. Но при этом есть и специализирующиеся например на астрономии или математике или универсальные, занимающиеся всем сразу.
Впрочем по текущим актуальным проектам нужно отдельную статью писать, жаль не получилось вставить опрос в эту статью(когда статья была в песочнице — почему-то нельзя было опрос добавлять и сейчас при редактировании это тоже недоступно), но судя по комментариям как раз к этому основной интерес, ну и к тому как подключится.
А насчет остального. Как писал в другом комментарии практически все современные РВ проекты это задачи класса HTC=High-throughput computing которые весьма существенно отличаются от класса задач HPC=High-performance computing для решения которых и создаются суперкомпьютеры. В частности:
— масштабирование этих задач при увеличении количества вычислительных ядер в N раз практически 100% линейное
— задержки и пропускная способность сети значения практически не имеют
Есть всего несколько РВ проектов исключений, которые пытаются решать задачи близкие по своей сути к HPC не совсем подходящим способом. И я знаю только один крупный/известный из таких (Folding@Home).
А так для всех остальных РВ сеть оказывается намного ЭФФЕКТИВНЕЕ чем супер компьютер. Непосредственно для научной группы она вообще эффективнее на порядки, т.к. они содержат (и оплачивают) только работу нескольких серверов занимающихся координацией, распределением, сбором, учетом и контролем заданий в распределенной сети, а вся наиболее тяжелая вычислительная часть вынесена так сказать на оутсорс и оплачивается и обслуживается добровольцами-волонтерами. Так что это можно рассматривать как своего рода Краудфандинг интересующего научного исследования — т.к. участвующий несет доп. расходы (как минимум на доп. оплату электроэнергии) и этим косвенно финансирует выбранный проект, который иначе невозможно было бы осуществить (т.к. выделенных денег просто не хватит на постройку собственного мощного суперкомпьютера или длительную аренду существующего)
Но даже в глобальном масштабе (планеты/цивилизации) это оказывается эффективнее использования суперкомпьютеров — т.к. обычно используется железо «бытового» класса, которое в несколько раз дешевле серверного и в большинстве случаев используется то, которое и так уже куплено(и оплачено) в любом случае для других целей + значительная экономия на: помещениях, охлаждении, обслуживании.
P.S.
Причем речь идет именно о сравнении с самыми мощными суперкомпьютерами — наиболее популярные РВ проекты в HTC задачах аналогичны суперкомпьютерам из мирового ТОП-500, стоящих сумасшедших денег. Никаким небольшим выч. кластером из нескольких многопроцессорных серверов приличную РВ сеть просто нереально заменить. Например описанная в статье сетка (причем далеко не самая мощная, скорее крепкий середнячок) проделала работу эквивалентную 2 годам круглосуточной работы ~20 000 ядерного суперкомпьютера, который мог бы претендовать на место в ТОП-100 самых мощных машин Земли того времени (когда основная часть расчетов была выполнена, т.е. в 2011-2012 годах) и доступных в основном военным и крупнейшим гос. научным центрам (да и то врядли кто-то отдал такую машину на целых 2 года под одну единственную задачу)
ivanych
В ссылках не хватает ссылки на саму программу для вычислений. Где скачать? Хочу причаститься.
spc
www.worldcommunitygrid.org
ivanych
Я догадался туда сходить, но понять там ничего не смог.
reji
ru.wikipedia.org/wiki/BOINC — там есть список некоторых проектов.
yyqwerty
Для присоединения к программе на указанном сайте необходимо:
1) Щелкнуть на кнопу коричневую кнопку Join Now в правом верхнем углу;
2) В появившихся полях последовательно указать: имя учетной записи, пароль для учетной записи, подтверждение пароля, почтовый адрес, подтверждение почтового адреса. Далее щелкнуть на Software License Agreement и ознакомиться с лицензионным соглашением. Если вы с ним согласны, то поставить галочку напротив этого пункта. Нажать на Continue
3) На появившейся странице следует указать проекты, которым вы хотели бы отдать свои вычислительные мощности. После окончательного выбора нажать на Continue.
4) На появившейся странице необходимо указать операционную систему, под которой работает ваше устройство. Отметить его галочкой и щелкнуть кнопку Download. После этого должна начать загрузка приложения. При желании нажать на кнопку Continue и ознакомиться со вспомогательной информацией;
5) После того как программа скачалась, если у вас Windows, необходимо запустить скачанный файл. Процесс установки стандартный для Windows-программ.
6) После окончания установки программа либо запуститься сама, либо её будет необходимо запустить из установленной папки. После запуска, программа какое-то время будет соединяться, видимо, с сервером после чего появится окно, в котором необходимо указать учетную запись и пароль, созданные ранее.
7) В окне программы щелкнуть кнопку «Добавить проект» и выбрать интересующий вас проект и щелкнуть кнопку далее.
8) При первом добавлении проекта необходимо в появившемся окне щелкнуть «Новый участник» и указать почту и пароль.
Дальше программа, как я понял, сама будет управлять мощностями под проекты.
ivanych
О, спасибо!
Mad__Max Автор
Поправка к 8му пункту — в конкретном случае там надо указать наоборот «существующий участник» (т.к. регистрация происходит через сайт на 2м пункте).
А вот для большинства других BOINC проектов (не из состава World Community Grid), действительно можно указывать «Новый участник» и регистрироваться прямо из программы.
Mad__Max Автор
Конкретно по этому описанному в статье проекту (поиск потенциальных лекарств для детского рака) расчетная стадия моделирования уже полностью завершена (успешно). Сейчас он уже перешел на стадию практической реализации, которой должны заниматься фармацевтические компании, врачи и лаборанты (тестирование на других видах животных помимо мышей, потом тестирование на людях-добровольцах, что в случае с детьми имеет доп. сложности, выявление наиболее эффективной схемы применения, согласование с регулирующими органами, сертификация, налаживание массового производства и другие)
Поэтому рядовому IT-шнику присоединиться к нему нельзя, соответственно нет и ссылки.
В одной из следующих статей планирую сделать небольшой обзор других интересных и актуальных РВ проектов действующих сейчас, которым нужны выч. мощности и имеет смысл поддержать выбрав наиболее подходящий.
buratino
а нет ли опенсорсного ээээ… шаблона для распределённых вычислений?
Mad__Max Автор
Что понимать под «шаблоном»? Есть целая готовая OpenSource платформа для организации собственных РВ-проектов: ru.wikipedia.org/wiki/BOINC
Она включает в себя как клиентскую часть, так и серверную. И за последние годы стала настолько популярной, что фактически стала стандартом.
Но расчетную часть, выполняющую непосредственно полезные расчеты нужно естественно писать самостоятельно и интегрировать в нее.
buratino
Да, я как раз об этом хотел спросить, а с момента задания вопроса успел найти, где лежат исходники (а это как-то не очевидно) и ничего в них сразу не понять (что естественно для буратины).
Mad__Max Автор
Ну в этом плане, ничем помочь не могу.
Сам я ни в одной РВ разработке не участвовал и использую только клиентскую часть этого ПО как обычный (пусть и очень продвинутый) конечный пользователь + периодически читаю и пишу о научной части проектов, которая меня собственно интересует даже больше чем IT-техническая или «спортивная»
kAIST
Ну так самое дорогостоящее, по мнению фармацевтических компаний — разработка, уже сделано. В чем проблема выпустить на рынок? Гомеопатические препараты с околонулевой стоимостью разработка все аптеки завалены.
Mad__Max Автор
Фармацевтические компании под «разработкой» обычно понимают вообще все расходы не связанные непосредственно с производством и продажами уже запущенного в оборот лекарства. И кроме редких сложных случаев эти расходы действительно намного (в разы или даже на порядок) выше чем собственно производство.
Не знаю как у нас, а в случае Западной медицины этапы между научным открытием (выделением какого-то нового эффективного действующего вещества — о чем была статья) и запуском в серийное производство обходятся обычно даже дороже чем собственно научно-исследовательская часть. В нее входит:
— тестирование на других разных видах животных помимо стандартных для научной части мышей — в первую очередь для оценки безопасности и возможности перехода к следующей стадии
— потом тестирование на людях-добровольцах, что в конкретном случае с детьми имеет дополнительные сложности (и участникам обычно за это платят)
— на основании собранных результатов проводится доказательство безопасности для людей (и тут возможен провал — если на людях вдруг выявятся тяжелые побочные эффекты, которые не наблюдались на животных — лекарство не допустят к применению и все расходы можно списывать в чистый убыток)
— выявление наиболее эффективной схемы применения (как вводить — перорально/внутримышечно/внутривенно, в каких дозах, в какой периодичностью и продолжительности курса и т.д.)
— доказательства эффективности, обычно через двойное слепое тестирование — нужно подтвердить что лекарство действительно лечит заявленную болезнь, причем эффект сильнее чем плацебо и как минимум не хуже чем уже существующие и допущенные к применению аналоги (тут тоже возможен провал — то что было эффективно на животных, может оказаться не столь эффективным на людях)
— согласование с регулирующими гос. органами, сертификация, регистрация в разных медицинских реестрах
— разработка метода синтеза пригодного для массового производства (для лаборатории сейчас можно практически что угодно синтезировать, а вот над методикой синтеза пригодной для массового производства чаще всего приходится отдельно поработать)
И только потом можно начинать производство, продажи и получать какую-то отдачу со всего этого. При этом любые другие компании не занимавшиеся всем перечисленным(кроме может быть последнего пункта — он может быть непубличным и защищен как «ноу-хау») могут просто дождаться окончания этого процесса и после этого выпустить свои аналог на базе этого действующего вещества такой же эффективности только существенно дешевле — благо у них расходы меньше: только на производство и рекламу. Компания №1 запретить этого другим не может — препарат не патентуемый.
Начинается конкуренция по цене, что быстро приводит к падению цен к уровню себестоимость серийного производства + небольшая маржа. Всем компаниям это неплохо — прибыль небольшая но есть, доп. объемы пр-ва, реализации. Пациентам тоже хорошо — получили новый более эффективный препарат по минимально возможным ценам.
В общем хорошо всем — кроме собственно компании №1 которая и вывела новый препарат на рынок — прибыли ей досталось меньше всего, а вполне вероятно останется и в убытке. Риски неудачи на любом этапе — тоже на ней.
В общем компании и не против заняться производством — но в отличии от собственных (коммерческих и патентуемых) разработок никто не хочет становиться №1, все ждут когда кто-то другой пройдет начальные этапы за них.
Обычно это решается через долгие и нудные поиски желающих и переговоры — иногда находятся желающие рискнуть в надежде отбыть начальные затраты за счет грамотных рекламы и пиара (выставив именно себя открывателями, а всех остальных лишь копирующими). Или бывает компания пытается сначала чем-то улучшить исходное вещество (например использовав общую идею из научного исследования найти близкое вещество с другой хим. формулой которое можно запатентовать).
А если желающих так и не находится, то обычно заканчивается выделением правительственного (или из благотворительного фонда) гранта, который покрыл бы расходы на эти этапы предшествующие производству и лекарство выходит на рынок сразу как Дженерик.
kAIST
Спасибо за резвернутый ответ! А компания №2 разве не должна пройти те же самые шаги? Или «ага, вы выпускаете дженерик, поэтому не нужно вам ни тестирований, сертификаций и пр».
Mad__Max Автор
Да, после того как компания №1 пройдет все нужные этапы и внесет новое активное вещество в реестры (что нужно для официального допуска на рынок и начала продаж), все остальные запуская продажу своего аналога просто могут ссылаться на него — вещество уже известное, проверенное и допущено к применению. В общем дженерик как он есть: ru.wikipedia.org/wiki/%D0%94%D0%B6%D0%B5%D0%BD%D0%B5%D1%80%D0%B8%D0%BA
Только в обычном случае (собственной разработки силами фарм. компании) для этого приходится ждать много лет пока не закончится действие патента — за это время компания №1 державшая довольно высокие цены успевает снять сливки — не только окупить все исходные затраты на исследования и внедрение, но и получить хорошую прибыль за счет большой маржи (цена/себестоимость производства). А все остальные потом «подбирают остатки» когда патент закончится.
В таких же так сказать OpenSource разработках компания №1 наоборот оказывается в проигрышной позиции. Из плюсов относительно конкрурентов у нее разве что будет +к репутации (т.к. несмотря на отсутствие формальной юр. защиты, прорыв в лечении какой-то болячки большинство будет связывать именно с ее брендом) и отношение пациентов: это дескать оригинал, а все остальное лишь копии. И хотя разницы в эффективности с мединской точки зрения обычно нет, но на уровне психологии это играет в пользу выбора 1го препарата, за счет чего можно получить больше объем продаж и все-таки держать цены несколько выше аналогов.
Meklon
Напротив. Неэтично проводить испытания повторно, если уже существуют данные результаты. Комиссия по этике забракует. А вообще погуглите GCP — good clinical practice. В этом стандарте подробно все описано.
reji
Есть несколько серверов на атомах и, естественно, без GPU. Имеет ли смысл подключаться к программе? Не будет ли это во вред всеобщему делу? Например, выделят мне задачу обсчитать Х данных, а я их буду обсчитывать три месяца и эти результаты будут ждать. Если бы отдали на нормальный сервер, то он посчитает это за три дня и все будут рады.
Mad__Max Автор
Нет, для BOINC проектов во вред не будет. В самом худшем случае окажется бесполезнм, но если они подолгу работают, а не эпизодически включатся, то и на пользу пойдет — пропорционально мощности. Оболочка и серверная часть кода BOINC весьма гибкие чтобы подстраивать нагрузку под самые разные варианты клиентского железа. Некоторые даже на разных ARM считают (типа планшетов, СМАРТ-ТВ, или всяких малинок).
РВ это все-таки High-throughput computing (не путать с High-performance computing) — тут ставка не на скорость обработки (как у HPC — суперкопьютеров), а на неспешное переваривание гигантских объемов данных и вычислений в асинхронном массивно-параллельном режиме. Типовой проект длится от нескольких месяцев минимум до многих лет в особо долгоиграющих.
Есть встроенные механизмы защиты от ненадежных/нестабильных/зловредных узлов (обычно через избыточность).
Конкретно если в World Community Grid есть желание поучаствовать, то для атомов любой проект кроме пожалуй исследования материалов для органических солнечных батарей подойдет(там минимальные требования к железу довольно высокие). На современном x86 одиночное задание считается за время порядка 2-10 часов, так что атом за сутки-двое счета должен их осиливать. А допустимое предельное время выделенное на обработку (между скачиванием очередного задания с сервера и крайним сроком возврата результата) сейчас 7 суток, так что проблем не должно быть.
KvanTTT
Хорошие новости! Я считаю, что очень правильно использовать простаивающие компьютеры для поиска лекарств от тяжелых болезней и расчета научных задач (не математических).
Я тоже с давних времен принимаю участие в проектах WCG и rosetta@home.
Стало интересно, зашел сейчас на сайт и обнаружил, что проект по поиску лекарства от спида, запущенный аж в 2005, вот-вот закончится, в июне 2015.
Mad__Max Автор
Да, это проект долгожитель — самый длительный из поддерживаемых IBM в рамках WCG (хотя если другие рассматривать, то rosetta@home и folding@home еще большие долгожители — они по своей сути и целям фактически бесконечные несмотря на уже имеющийся значительный прогресс).
Правда его окончание не означает что лекарство уже практически найдено. Это просто одно из обязательных требований WCG — все допущенные к участию проекты должны быть конечны. Если проект слишком сильно затягивается и применяемыми методами и ПО не получается достичь заявленных целей (какими бы благами они не были), то надо сворачиваться и освобождать ресурсы волонтеров для поддержки других проектов.
Так где-то к концу лета завершится расчетная часть (в конце скорость значительно падает когда начинают «подчищать хвосты»). Потом пару месяцев уйдет на закрытую пост-обработку всех собранных данных (уже на выделенных серверах, или даже выч. кластере IBM — где будет обрабатываться наиболее ресурсоемкая часть, слишком сложная для домашние-офисных ПК), потом еще минимум несколько месяцев на лабораторно-пробирочную часть — практическое тестирование лучших найденных кандидатов.
И где-нибудь в начале 2016 года узнаем — помогли ли все эти расчеты продвинуться в лечении спида или значимых результатов (т.е. превосходящих уже существующие хоть и не особо эффективные лекарства) не будет.
Mad__Max Автор
Может кто-нибудь подскажет — возможно ли уже в опубликованную статью опрос добавить?
Вопросы в конце должны были быть в виде опроса(голосовалки), но пока статья была в «песочнице», возможности вставить форму опроса не было. И сейчас при открытии статьи на редактирование — так же нет.
А вот при открытии редактора для создания новой статьи — опрос доступен
svosin
Стоит отметить, что очень много народу пришло в WCG, когда за работу в нем давали Ripple XRP. Прибыль от такого была больше, чем от майнинга BTC, да и польза далеко не нулевая.
Mad__Max Автор
Ну еще до риплов, WCG была одной из крупнейших в мире РВ-сетей. Даже наверно крупнее чем сейчас (если не по суммарной выч. мощности оценивать — которая все-таки выросла за счет постоянного роста средней мощности железа, а по количеству активных волонтеров), потом у них был значительный спад, связанный в том числе со влетом популярности криптовалют и завершением множества интересных проектов WCG.
Риплами они частично восстановили потерянные позиции.
Кстати сейчас подобные схемы так же существуют, только уже в виде отдельных криптовалют базирующихся на РВ. Где научные вычисления используются в качестве Proof-of-Work вместо (или как дополнение) перебора криптографических хэшей. Например:
CureCoin — эмиссия монет распределяется пропорционально очкам набранным в Folding@Home
GridCoin — монеты идут за РВ вычисления на BOINC платформе
Bronx
Интересно, какая у WCG вычислительная мощность? На их странице статистики всё дано в абстрактных «пунктах».
Я с 2000-го года участвую в Folding@Home, и у них сейчас активно порядка 45000 Терафлопс. Было прикольно наблюдать, когда в один момент самый большой вклад стали оказывать… игровые консоли :)
Mad__Max Автор
Пункты WCG нужно делить на 7 для перевода в обычные «булыжники» BOINC (cobblestone), которые в свою очередь:
1 — по классическому их определению начисляются из расчета 1 полные сутки работы 1 стандартной машины условной мощностью 1 Гигафлоп (вычислений двойной точности) со 100% нагрузкой = 200 булыжников.
2 — на практике современное x86 ядро (уровня Intel iCore или AMD Phenom-2 или FX) c частотами 3.5-4 Ггц оценивается в 500-700 булыжников за сутки непрерывной работы с максимальной загрузкой т.е. порядка 3 Гигафлоп
Из чего можно сделать вывод, что текущие оценки указываемые в статистике занижены раза в 3 минимум, т.к. по Linpack (как оценивают например мощности суперкомпьютеров), каждое такое ядро имеет оценку в районе 10 Гигафлопс и более. Вероятно это происходит из-за сильного устаревшего классического бенчмарка используемого в BOINC: там какой-то древний эталон принятый десятки лет назад и который не учитывает возможности и оптимизации современных CPU типа специализированных SIMD SSEx и AVX блоков, под которые сейчас обычно и оптимизируют ПО критическое к скорости вычислений.
Так вот — на данный момент WCG выдает около 100 миллионов BOINC очков или 700 миллионов своих собственных внутренних попугаев — они историческое наследие времен, когда WCG существовал отдельно от BOINC на собственной платформе. Возможно слышали о UnitedDevice? Это был один из первых РВ проектов в мире, он позже превратился в WCG и перешел на BOINC платформу, а стандарт учета остался еще с тех времен для совместимости и сопоставимости баз данных.
Исходя из этого можно оценить вычислительную мощность WCG:
1. по классической методике принятой с момента появления BOINC = около 500 Терафлопс
2. по более реалистичной оценке — скорее порядка 1500 Терафлопс
3. так же в WCG есть второй тип учета — по использованному процессорному времени, и сейчас проект собирает около 450 лет процессорного времени в сутки, т.е. это эквивалент 160 000 процессорных ядер работающих в режиме 24х7 и только над WCG задачами.
При этом что характерно ВСЯ эта мощность обеспечена только за счет классических CPU, т.к. сейчас в WCG просто нет ни одного проекта который использовал бы вычисления на видеокартах или других специализированных чипах.
Т.е. по x86 части мощность проекта даже выше чем у мирового лидера Folding@Home (у которого 99% заявленной мощности обеспечивается за счет GPU и только около 400 Терафлопс приходится на CPU)
Аналогично можно оценить и любой проект входящий в WCG. Например описанный в моей статье Help Fight Childhood Cancer работал со среднем уровнем порядка 60 млн. WCG очков в сутки, что можно ценить как порядка 40/120 Терафлопс (так же чисто x86 CPU).
Bronx
Судя по FAQ (http://www.worldcommunitygrid.org/help/viewTopic.do?shortName=GPU), WCG может использовать GPU, просто он по-умолчанию отключен.
Mad__Max Автор
В теории — да. Но на практике сейчас среди идущих в WCG проектов нет ни одного поддерживающего GPU.
Пару таких проектов раньше было, но сейчас они уже закончены, последний из них завершен уже больше года назад.
В каждом из проектов свое ПО, свои программисты, своя группа ученых (или как минимум один + помощники) никак не связанные с другими проектами. В этом смысле от WCG ничего не зависит — они представляют оболочку, систему управления и доступ к базе волонтеров готовых помогать (запуская свой собственный проект на BOINC платформе одно из самых сложных задач не технического плана, а в том чтобы его «раскрутить» — т.е. привлечь достаточное количество волонтеров). Иногда еще безвозмездно предоставляют серверные мощности или дисковые массивы для хранения данных, если в этом есть необходимость.
А как все это будет использоваться полностью зависит от ученых и программистов конкретного проекта входящего в WCG.
Alex_Rylov
Что лично меня бы ещё интересовало из перечисленного автором:
— Подробнее об этом конкретном исследовании? (Могу сделать краткие «выжимки» из научной стать с доп. подробностями и рассказывать, что нового за прошедший год.)
— Еще о примерах конкретных успехов из других РВ проектов?
— Как начать лично в одном из таких участвовать и включиться в «гонку»?
— Общий обзор наиболее интересных из текущих РВ проектов?
kaakem
На домашнем компе под виндой сворачиваю белки в FAH, на линуксе крутится BOINC с теми же WCG, SETI@home и Einstein@home. За успехами и капающими поинтами особо не слежу, иногда только двигаю ползунки использования ресурсов. Лично меня прет от самой идеи помощи науке, так что для меня не особо важна информационная стимуляция.
Но, думаю, будет полезной серия постов с описанием разных проектов и списком их достижений (как минимум EAH, кажется, постоянно открывает новые пульсары?) Я узнал про добровольные вычисления случайно и очень удивился, почему инфы про них в рунете (да и вообще в интернете) практически нет.
ibex
Уже несколько лет участвую в World Community Grid, даже заработал парочку рубиновых медалей :)