Хочу поведать вам долгую и как я надеюсь увлекательную, а может быть и ставшую кому-то полезной историю сборки «деревенского суперкомпьютера» из платы ноды сервера Dell, GPU Nvidia Tesla K20 и того что было куплено то тут, то там по всяким интернет магазинам или в компьютерных магазинах своего города.
История началась с того, что мой друг-программист, который заодно еще и астроном — занялся изучением нейросетей. Их «штатный специалист» уволился и тему повесили на самого «близкого специалиста». Я сам не программист, всего лишь «радиомеханик по ремонту вычислительной техники(с)мой диплом», потому сборка всяких интересных компьютерных железок для меня интересное и приятное занятие. Работаю я к сожалению в другой области.
Чтобы более четко сформулировать задачу я создал тему на форуме «Железные призраки прошлого» где она достаточно долго обсуждалась. Сначала была достаточно наивная идея «собрать 4-way SLI на GTX 580 3Gb» которая постепенно трансформировалась в понимание — собирать нужно сервер! Цены на материнские платы серверов безбожно кусались, пока я не наткнулся на Youtube на интересное видео про запуск китайской серверной платы на 2-х процессорах нестандартного формата.
Вот это видео:
Особенно меня в этом видео порадовала бюджетная цена системы.
Однако консультация с более сведущими товарищами, которые имели дело с китайскими серверами убедили меня — «Китайское счастье нам не надо!» По их отзывам китайские серверы были просто чудовищно ненадежны. И я стал искать на Авито варианты с серверными платами Dell. У меня два ноутбука этой фирмы и от них только положительные впечатления. Очень надежная техника.
На Авито была найдена плата ноды сервера Dell PowerEdge C6220 в процессе общения с продавцом которой — он подсказал мне отличный сайт, где была публикация о том как один умелец запускал такую плату, вот ссылка. А там нашлась ссылка и на американский форум, где на таких платах собирали мощные рабочие станции. Эта тема вот тут.
Прочитал всю тему от начала и до конца я определился с целями, задачами и путями их достижения. Задача была сформулирована так — «Собрать двухпроцессорный сервер на плате ноды Dell PowerEdge C8220 с GPU Tesla K10 или K20». Выбор на специализированные GPU пал после обсуждения с человеком для которого система собственно и собиралась — имея «карты» могущие вести длительные вычисления с двойной точностью и контролем ошибок памяти ЕСС он мог использовать их для своей научной деятельности, а не только для обучения нейросетей. Чему он собственно сильно обрадовался.
Для обсуждения и запечатления для истории процесса сборки на форуме «Железные призраки прошлого» я создал соответствующую тему, где собственно и писал о процессе и выкладывал фотографии. Желающие могут ознакомиться.
Задача была поставлена и я занялся поиском компонентов. В то время когда все началось у меня еще не было регистрации на eBay и по началу нужные запчасти покупали мои друзья, которым я оплачивал расходы на покупку и пересылку. Позднее я и сам там зарегистрировался и стал покупать напрямую, хотя иногда приходится просить помощи тех у кого есть аккаунты на Шопотаме и подобных сервисах. Не все нужные запчасти напрямую шлют из США в Россию.
Первой с еВау была куплена материнская плата Dell PowerEdge C8220 0083N0. По документации Делл она относилась к версии плат 1.2 имея 3 слота PCI-E 16x. Два обычных около кнопки включения питания и третий на другой стороне платы нестандартный, под так называемый GPGPU-райзер который включался в так называемый Edge Slot.
Фото платы, той самой 0083N0, фото с eBay.
А это уже мое фото, к плате приложена линейка для осознания масштаба.
К тому времени ко мне приехал и райзер для GPGPU в тот самый Edge Slot.
Вот фото где он подключен на пробу на свое штатное место.
Одновременно на eBay был куплен адаптер питания, с АТХ на этот разъем питания С6100. Их на еВау продают два вида, на 12 и на 18 пин. Нам нужен последний, и еще DC-DC повышающий чтобы превратить +5VSB от АТХ БП в +12VSB сервера Dell. И конечно ответная колодка «мама» в разъем чтобы установить нужную для запуска платы перемычку и вывести с нее сигнал PS_ON. Кстати она с нестандартным шагом контактов 2.0 мм. Конечно отчаянные парни могут выткать отвертку или гвоздь прямо в разъем платы, но я предпочел сделать все культурно.
Кроме того для пробного запуска платы с Алиэкспресса были куплены самые дешевые Xeon E5-2604 V1 и с еВау — пара планок памяти DDR3 ECC REG которые продавались как совместимые с Dell PowerEdge C8220. Кулеры по первости я использовал Alpine 20 Plus C0 для LGA 2011 которые пришлось доработать — были подпилены болгаркой их края которые упирались в слоты памяти, с винтов креплений были сняты пружинные шайбы, а на резьбы навинчены по паре гаек — чтобы не вкрутить винты слишком глубоко и не проломить плату. Серверные сокеты LGA 2011 устроены несколько иначе чем обычные и у винтов радиаторов там резьба должна быть короткой. Кстати кулеры неплохо работали, несмотря на то что чисто алюминиевые.
И вот, наступил тот момент когда приехали процессоры, установку их я запечатлел на фото на память.
А вот и установлены те самые алюминиевые кулеры Alpine.
Собранная и запущенная система.
К системе был подсоединен мой старый верный блок питания Чифтек 550 Вт, USB-хаб на 4 устройства в который были включены клавиатура, мышка и флешка с Ubuntu, к разъему для USB-картридера на плате был подключен картридер в который я воткнул китайскую USB звуковую, еще подключил VGA-монитор и патчкорд к порту IPMI 100 мбит, который обозван Delicated-NIC. Рядом с ним два 10Gbe-порта которые работают по обычной витой паре «меди» и вполне поддерживают обычную 100/1000 сеть.
В таком виде система была запущена и оказалось что плата при запуске очень долго проверяет память. А в заставке BIOS она назвала себя Dell DCS 6220.
На этом первую часть своего повествования я закончу чтобы не утомлять благодарных читателей.
Ссылка на часть 2: habr.com/ru/post/454448
Комментарии (51)
MarazmDed
31.05.2019 13:37Самое интересное не указали: сколько стоит полученный сервер?
Saber-Toothed Автор
31.05.2019 15:32В окончательном варианте с парой Тесла К20Хм, процессорами E5-2650L, двумя БП, оперативной памятью 24 гига, тремя SSD и 4-мя HDD — около 70К рублей.
dndzph
01.06.2019 12:11А подскажите производительность такого решения? Можно попугаях или в сравнении с топовыми АМД/Интел.
Saber-Toothed Автор
01.06.2019 12:12Чисто по процессорам — сравнимо с топовым Рузеном 3000 как его там. Для задач использующих многопоточность по полной + Теслы — это надо уже Линпак запускать.
LeoGV
31.05.2019 14:29+3Всё круто, но что за тенденция в стиле пикабу рвать посты на несколько частей?
spesso
31.05.2019 15:36Вы уверенны что E5 16хх v2 будут работать парой?
з.ы. упс, это не ваше видео с таким утверждением.
hd_keeper
31.05.2019 16:41— И Шахразаду застигло утро, и она прекратила дозволенные речи.
Saber-Toothed Автор
31.05.2019 20:24+1Продолжение банкета будет завтра, когда я очнусь после ночной смены. С фотками и даже ссылками на мой канал на Ютубе где есть видео про этот «деревенский суперкомпьютер».
sim31r
01.06.2019 01:00И я стал искать на Авито варианты с серверными платами Dell
Они того стоят, поддержка особенно. У меня валялся старый ноутбук Dell Inspirion, примерно 2005 года или еще ранее, с Windows XP. Интересный тем что в первых сезонах «Звездные врата: Атлантида» у ученого Маккея были такие же.
Добавлял память и модуль на 512Мб заменил на 2048Мб с Алиэкспресса. Модуль не распознал BIOS, но на сайте Dell было обновление от 2013 года, скачал исполняемый файл и тот перепрошил BIOS, в итоге стало видно 1400 Мб, что меня устроило для одной простой задачи (управление лазерным гравером). Удивило что DELL занимается поддержкой устаревшего оборудования.
А вот для чуть более древнего Asus нет ничего. Раздел на сайте удален полностью, виден только в Web Archive, но там без драйверов бинарных. И жалобы на форумах, что нет драйверов для переустановки системы.
Valsha
01.06.2019 01:22+1За сколько вы брали Nvidia tesla k20? Тоже на ebay? Если не трудно, укажите сылку на продавца. Спасибо.
Saber-Toothed Автор
01.06.2019 12:09Брал за 6500, была распродажа в Англии с датацентра.
Если надо могу продать Тесла К20М 5 Гб — 8 т.р. или Тесла К20Хм — 12 т.р. обе серверные с пассивными радиаторами. Кулеры-улитки с креплениями — +4 т.р. Пересылка за счет покупателя хоть на Луну.
bzzz00
01.06.2019 08:35+1можно было взять БП от HP (common slot power supply), у которых +12V SB — компактные, тихие, разная мощность в одном форм-факторе. и доступные, недавно взял 500W в состоянии «муха пару раз присела» за 1500.
firez
01.06.2019 12:41Собрал свой «сервер» на Supermicro X9DRI-LN4F+, 2xIntel Xeon E5-2680, 96GB DDR3 ECC и RAID5 — крутятся виртуалки под всякий АСУТПшный специфический софт. В целом по производительности вполне хватает, хотя железо достаточно старое. Единственный минус — Tesla c поддержкой последнего ESXi стоят конских денег.
Матплаты от HP и Dell не стал брать по причине геморройности с документацией, софтом и подключением.Saber-Toothed Автор
01.06.2019 15:11Тесла К20 сейчас стоят относительно недорого. А если вам ваша машина приносит деньги по работе хорошие — то можно и на К40 или более мощные раскошелится. Как и на Квадро К5200 или К6000.
Loggus66
01.06.2019 20:24-1Dell IMO того не стоит. Самая хорошая вещь в серверных системах — это IPMI. У Supermicro KVM бесплатен, у HP платный, но есть keygen, а что есть у Dell с его DRAC? Что платно, что бесплатно — не зная броду, вот так заказывать МП с ebay, потому что вендор по душе — путь к переплате. Не говоря о том, что РФ традиционно тяготеет к Supermicro из-за стоимости и на Avito можно найти гораздо более интересные предложения, чем на ebay: однопроцессорные платы S1155 начинаются примерно с 5тр, двухпроцессорные с 1366 такого нестандартного форм-фактора примерно так же, вот первая попавшаяся.
Saber-Toothed Автор
01.06.2019 20:28У моей платы Dell PowerEdge С6220 II совершенно бесплатный IPMI без всяких iLo и прочей фигни. Кроме того у него прямо в Web-интерфейсе IPMI можно скачать Java-клиенты как для vKVM так и для удаленного монтирования приводов и iso-образов дисков. Единственное что они работают с сильно старой Оракловской жабой, которая у меня только в Win XP SP3 сборке и осталась. Пришлось выделять отдельный ноутбук для удаленной админки сервера. Обновлять firmware IPMI я пока не стал.
Если бы вы ВНИМАТЕЛЬНО прочитали начало статьи и она у вас задержалась в памяти — вы бы запомнили что по этим платам есть огромная тема на американском форуме, где все что нужно по их использованию — расписано. Так что — вы просто невнимательно читали.
И если вы любите Supermicro — никто вас не заставляет использовать Dell.
А я использовал то что использовал, то что устроило меня по большинству параметров. А вы свой сервер можете собрать на чем угодно.Loggus66
01.06.2019 20:44Так сколько стоила сабжевая плата? Без отсылок на «посмотреть видео» или «почитать форумы».
Saber-Toothed Автор
01.06.2019 22:4012К рублей с доставкой USPS. За эти деньги я получил плату поддерживающую 2 процессора Xeon E5-26xx V1 V2, DDR3 ECC REG, 6 SATA + RAID 0.1,5,10, 3 x PCI-E 16x + 1 PCI-E 8x нестандартный. И еще 2 шт 10GbaseT работающие по меди и на 100/1000 Мбит + 100 Мбит выделенный IPMI + VGA + COM + 2+2 USB 2.0
Много вы видели за 12К серверных плат на паре Е5-26хх с 3 PCI-E 16х а главное с хорошей «документированностью» что и как сделать чтобы их запустить?CherryPah
01.06.2019 23:47-1Много вы видели за 12К серверных плат на паре Е5-26хх с 3 PCI-E 16х а главное с хорошей «документированностью» что и как сделать чтобы их запустить?
Если мы говорим о покупке с рук на авито/ебее — то да. Каждая вторая.
Например беглое гугление дало мне ссылку на супермикровскую плату x10drt-pt которая умеет E5v3v4, DDR4 и стоит 8к. Там правда вторая пара PCI идет через проприетарный переходник, но уверен найти его тоже не очень сложно по соседству.
Серверное железо, в отличии от техники эппл, при перепродаже на вторичке очень сильно падает в цене. Связано это с тем что в цене нового железа большую часть суммы составляет не само железо, а гарантии и поддержка производителя.Saber-Toothed Автор
02.06.2019 00:42-1Я резко перехотел супермикровскую х10drt когда узнал сколько стоит DDR4 ECC REG серверная.
И аналогично процессоры Ксеон V3 V3 и прочее. Почему ее собственно так дешево и сливают.
Если вам нравится Супермикра — делайте на ней, я сделал на том что посчитал для себя лучшим… Я вам Dell не навязываю, и вы свою любимую Супермикру мне не навязывайте тоже. Ферштейн?CherryPah
02.06.2019 17:01Даже не пытался ничего навязывать. Я и сам супермикру не очень люблю, но поскольку человек подневольный, приходится работать с тем что покупают, а не с тем с чем хотелось бы.
Просто через половину ваших комментариев в этой ветке сквозит идея что вы проявив смекалку и потратив недюжие усилия собрали сервер с ипми за 12к рублей. А когда вам уже несколько человек сказало — что ну в принципе вообще-то ничего удивительного, б.ушное серверное железо так и стоит, вот примеры — вы впадаете в оголтелое минусование и обвинения всех в том что вам что-то навязывают.
Loggus66
02.06.2019 00:39Много. Только у той же Supermicro (привожу в пример то, с чем есть опыт) даже не приходилось что-то делать, чтобы их запустить: питание есть, кулер есть — погнали. HP немного капризнее, но нормально.
10Гбит/с из коробки — вот это здорово, но если есть реальная потребность в скоростях > 2Gbps, которые можно сделать bonding'ом, ведь там и свитчи нужны недешёвые.
CherryPah
v3v4 Xeonы слишком дороги даже на Ali, как и DDR4. Всё-таки для домашнего использования золотая середина находится где-то в районе ядер Sandy Bridge и Piledriver.
CherryPah
02.06.2019 00:03А что именно платного в HPшном iLo? Ну т.е я в курсе что там можно получить расширенный функционал купив лицензию, и даже натыкался на неработающую кнопку записи экрана загрузки. Но базовый функционал (посмотреть экран, логи, передернуть по питанию, залезть в биос, примаунтить образы cd, ) прекрасно работает и во фриварном режиме.
У супермикро тоже функционал квма есть бесплатный, а есть расширенный доступный после ввода ключа.
Что же по поводу DRAC. Хорошую вещь раком не назовут (с) один мой товарищ. Мой опыт тоже был достаточно плачевен — драк модуль безбожно и наглухо вис, хотя у меня было достаточно древнючее 1955 шасси. Сейчас может ситуация с новыми серверами стала получше, у того же hp ilo2 и ilo4 — небо и земля в плане юзабилити. А может мне просто попался битый модуль, да и на репрезентативность выборки не претендуюLoggus66
02.06.2019 00:20Вот у HP KVM консоль платная, без неё — 30 секунд после прохождения POST, чего едва хватает для того, чтобы посмотреть на меню GRUB, и разрыв соединения.
У супермикро тоже функционал квма есть бесплатный, а есть расширенный доступный после ввода ключа.
Консоль есть, ввод с клавиатуры есть, монтирование ISO есть в базовом режиме, потому никогда даже не думал, что у них что-то платное, кроме обновления BIOS через IPMI.CherryPah
02.06.2019 16:44Хм, впервые слышу про дисконнекты. У нас видимо какие-то разные HP.
У меня штук 30 G6-G8 и на всех я прекрасно могу в бесплатном ило сидеть хоть круглые сутки, а не только до груба
Loggus66
02.06.2019 17:15
Вот так вот мне G8 писали, с которыми работать приходилось. Не все, правда, в сторонних организациях, даже нищих, это как-то обходили, МБ теми же палёными ключами.
McKinseyBA
02.06.2019 10:46И я стал искать на Авито варианты с серверными платами Dell. У меня два ноутбука этой фирмы и от них только положительные впечатления. Очень надежная техника
Разворачиваем 2 неодинаковых кластера Hadoop + Knime сервер(win) под которые пришли 26 одинаковых серверов Dell R740. Еще до ввода в эксплуатацию на одном поменяли мамку и память, на другом HDD, на 3-й не ставилась винда, но взлетел RHEL. До этого долгое время закупали HP… Понимаю, что начинка у них с одних китайских фабрик, но полыхнуло у меня от Вашей фразы адски. Сейчас отпустило :-) Удачи с Вашим проектом!
crustal
02.06.2019 16:16Заявлен в названии статьи «суперкомпьютер», а собираете «сервер». Непонятно, может под вашу задачу за те же деньги проще купить в том же Китае пару десятков материнских плат, памяти и процессоров предпоследней (для экономии) линии и обойтись вообще без видеокарт, плюс дешевые корпуса с PSU. И никакой горячей замены и прочей серверной атрибутики, — накрылся системный блок — отсоединил его, отремонтировал, включил обратно. Делать глюковину ради самого процесса изготовления, — это сугубо на любителя.
Saber-Toothed Автор
02.06.2019 16:50Производительность Xeon E5-2650 v1 — 256 Гигафлопс
Производительность Тесла К20Х — 3,95 терафлопс.
Одна тесла К20Х потребляет 235 Вт.
Вы все поняли? У кого выше потребление? У кого ниже производительность? Кого затрахают постоянно сыплющиеся китайские мамки?
Я понимаю что вам могут нравится «теплые ламповые кластеры с классической MPI», но они были актуальны в начале 2000х. Сейчас — только решения на основе GPGPU.crustal
02.06.2019 18:16Прикольно читать размышления о надежности большой системы того, кто покупает для этой системы б/у хлам на блошином рынке. Для того, чтобы иметь моральное право использовать слово надежность, нужно брать железо у официального дилера со всеми гарантиями, IMHO. Упомянутые мною платы китайского производства, если взяты официально у дилера нормального брэнда, если грамотно установлены и грамотно эксплуатируются в режимах далеких от предельных, если программная архитектура отказоустойчивая, то в чем проблема? Можете приоткрыть завесу, вам на деревне для чего нужны терафлопсы «деревенского суперкомпьютера», считать яйценоскость крупного рогатого скота?
:-)rPman
02.06.2019 19:27Какая нахрен надежность когда речь о числодробилках? все упирается в стоимость оборудования и энергозатраты.
Все равно все считают на GPU, а там даже не на железном уровне а на уровне софта принимают возможность ошибок и погрешность, только чтобы получить 3-5 кратное увеличение скорости (float вместо double например, или чтобы по объему памяти под локальные переменные в кеш попасть, там вообще на порядок производительность можно поднять).
А частоту выхода из строя железа вас заинтересует, если ваш кластер будет насчитывать сотню или даже тысячу железок… в остальных случаях это не проблема.
Просто хорошо рассуждать про брендовое сверхдорогое железо, если не ты за него платишь, а когда выбор между десктопным и серверным меняет ценник на порядок, умноженный на количество единиц в кластере, кошелек начинает плакать даже у богатых компаний.Saber-Toothed Автор
02.06.2019 21:44Тесла К10/К20 тем и хороши что там во первых память работает с ЕСС, а во вторых там Kepler с «правильными» SMX-блоками, которые умеют не только float но и double в соотношении 3 к 1.
Это у игровых GTX вечная проблема с выпадающими битами памяти и «только float» из-за чего при прогоне расчета повтором может быть расхождение до 20 % в результате.
Я ведь не зря удавил жабу и брал Тесла К20 вместо GTX 780 Ti когда понял что к чему. Хотя пара водоблоков EKWB на 780-е до сих пор лежит мертвым грузом, как и пара водоблоков на 580-е.rPman
03.06.2019 10:51Такое ощущение что вы меня тролите, вы заплатили порядка 200т.р. за одну видеокарту (вместо 15-20), только для того чтобы в софте не заморачиваться double -> float, купите десять десктопных видеокарт и отслеживайте ошибки софтварно, получив бонусом 5-10-кратный бонус в скорости.
Дорогие теслы не для числодробилок.
QuakeMan
02.06.2019 17:35Непонятно зачем это все нужно было городить когда например можно было взять в сборе что то вроде Fujitsu S7 RX300.
Saber-Toothed Автор
02.06.2019 17:45Ценник бы огласили и характеристики.
Городил я то что надо мне и для мои целей и не жалею о том.
И кроме того вы не заметили что я живу вообще-то в деревне, а в городишке который райцент серверов б/у как-то совсем не продают. Нету их так.
Если бы я жил в Нерезиновой или там Питере — то к моим услугам было бы 100500 контор торгующих б/у железом, в т.ч. серверным, да мне бы в почтовый ящик буклетмки совали с предложением всяких б/у HP DL360 и прочих. Но я живу в деревне и в моей истории описано как, что и почему.QuakeMan
02.06.2019 20:30На авито есть такое железо сейчас. На ebay тоже.
Я вообще не с России, с областного города, но бывало так что и у продавцов с деревни покупки делал — отправляли.
В целом статьи ценности не имеют — первые три части, купили железо, собирали и колхозили корпус.
Подобным под бум майнинга занималось куча людей и хорошо что на хабре об этом статей нет.Saber-Toothed Автор
02.06.2019 21:49Эта статья имеет ценность для тех, кому не доступны готовые сервера по дешевой цене и нет денег платить «сотни золота» за доставку откуда-то еще, а делать расчеты на которых обычный РС захлебнется — нужно для работы либо учебы.
Вы сами признались что не из России и что у вас другие условия, так что не судите по себе то что происходит в другой стране и какие условия и потребности у ее жителей.
SAS35
03.06.2019 17:22Лично мне кажется, что можно было бы сделать намного проще: взять с Китая двухсокетную новую мать (сразу говорю, матери с Китая на 2011 довольно хорошие, компонентная база качественная, нормальная поддержка nvme и т.п). Плюсы данного подхода: не нужно колхозить ничего, вставил в eatx корпус и радуешься, без пропиетарных переходников и всего такого. Стоят с али или тао 10-12т.р. Возможно, есть какие-либо преимущества именно у серверных плат, которые стоят этого гемора, тогда хотелось бы их услышать.
С tesla тоже непонятно. Почему бы не взять rx470 в 2 раза дешевле (3к примерно) с того же Китая? У нее производительность 4.9tflops. Ну или если нужна cuda вместо opencl, то лично я бы взял gtx 1060, они куда более холодные, чем старые tesla.
А с Вашим подходом тут прямо одно превозмогание бессмысленное получается, когда тут можно за эти же деньги собрать plug-n-play систему без гемора.
Ну и конечно же это не суперкомпьютер, это бич-пк. Как вы отписались, с топовым Райзеном, даже близко по производительности стоять не будет, у него в синбенче 4.3к, если правильно помню, а с двумя 2650L вы даже 2к не выжмете. А про производительность на ядро вообще молчу. И при всем этом сборка на райзене выйдет может тысяч на 10 дороже, чем вышло у Вас.Saber-Toothed Автор
03.06.2019 17:43Вы сами можете взять с Китая что хотите, но в области железа которое должно работать по 300+ часов счета задачи без сбоя — я китайцам не доверяю.
По этой же самой причине — я больше доверяю серверным Xeon работающим с DDR3 ECC-памятью, чем десктопным Ryzen работающему с обычной DDR4.
RX 470 для меня имеет место только в трех местах а) в компьютере игрока в игрушки б) в майнинговом риге в) если китайская — в мусорном ведре. В моем сервере для deep learning и double ей нет места по одной и самой важной причине — она не поддерживает технологию CUDA и контроль ошибок памяти ЕСС, а значит для длительных расчетов и запуска большинства фреймворков нейросетей которые опять таки оптимизированы именно под Nvidia CUDA — совершенно не пригодна.
И такие системы реально мощные собрать методом «воткнул и работает» можно только если у вас пара миллионов долларов на кармане и вам прямо в дистрибьюторе крупного бренда соберут сервер с GPGPU под ваши задачи. В иных случаях — именно вот так, долго и мучительно.
Рассуждения про «бич-ПК» — это вообще смешно. Вы не понимаете даже того, что сейчас все серьезные вычисления делаются на GPGPU, а не на процессорах.
В общем из ваших рассуждений ясно понятно одно — вы никогда ничего долго и серьезно не считали, не знаете как и на каком железе это делается и почему, и в самый ответственный момент BSOD не ловили, просто из-за того что десктопное железо ваше не предназначено работать 24/7/365. Иначе бы вопросов таких не задавали и заявлений таких не высказывали.SAS35
03.06.2019 18:00Большинство Ваших предположений рушится о то, что у меня уже больше года работает сборка на китайской матери + xeon e5 2670 24/7 и то, что я сам занимаюсь deep learning'ом и прекрасно понимаю, что процессор является важной частью всей системы. Или вы аугментации на gpu делаете?)). Ребята в индустрии под эти задачи берут топовые threadripper'ы, чтобы у них обработку данных под 4-8 gpu проц тащил, а Вы говорите, что проц неважен. С одной видеокартой из 12-13 года, вполне возможно, что и неважно. Что про cuda для DL, похоже, что вы не слышали про такую штуку как rocm, позволяет юзать все топовые фреймворки на Amd видеокартах без потерь производительности. И это не колхоз, а все официально и нативно поддерживается почти что везде. Лично мне конечно сложно представить какой-либо DL на 3 терафлопсах, можно, наверное, умереть, пока обучаешь что-либо, да и 5гб памяти однозначно маловато, сам примерно год назад перешел с 1066, там упиралось все в память легко. Сейчас вот сижу с двумя 1080. Про double-precision, тут я крайне заинтересован, в каких же задачах вам оно надо? Ведь для DL даже float32 избыточен. Кроме предположения, что вы инженер в NASA, у меня ничего нет)
Saber-Toothed Автор
03.06.2019 18:07Если у вас есть куча денег и вы можете себе позволить топовые карты и железо — ваше счастье. А мне приходится «лепить из того что доступно». Я не в Нерезиновой живу, и работаю вообще не в IT-индустрии, а в деревне в глубине депрессивного региона.
Хотя конечно вы всегда можете мне прислать 10.000 баксов и я соберу вполне себе новый сервер для deep learning хоть с RTX 2080 ti. В прочем вы и 100 баксов пожертвовать на мои проекты не пожелаете, я знаю. А вот постебаться «над нищей деревенщиной» — это вы со смаком всегда готовы.crustal
04.06.2019 07:57+1Я не в Нерезиновой живу
постебаться «над нищей деревенщиной» — это вы со смаком всегда готовы.
Строго по Беклемишеву, у него книга была по ведению дискуссий в таком ключе :-)
olegshutov
Два года назад я на ebay купил 4 процессорный poweredge 815 на 48 ядер и 200 гигов оперативки. за 700 баксов!