Читающие наш блог не первый месяц знают, что год назад мы выпустили специальную версию ПО Nutanix, Nutanix Community Edition, который, в отличие от наших «взрослых» систем, продающихся вместе с аппаратной платформой, и стоящих довольно увесистых денег, можно скачать бесплатно, установить на свое железо подходящей конфигурации, и пользоваться. Да, на получившееся нет нашей классной (и даже русскоязычной!) поддержки (только наш англоязычный community-форум, впрочем, довольно активный и помогабельный), зато бесплатно, Карл! И хотя изначально мы планировали, что CE будет применяться в качестве учебной лабы, для экспериментов, знакомства с продуктом, и тому подобного, не секрет, что есть немало пользователей, которые решили взять CE и применить его в продакшне. Что-ж, это возможно, мы понимаем, времена для IT бюджетов в стране тяжелые, глупо было бы отказываться от такой возможности.
Но остается вопрос: как и из чего построить «идеальную платформу» под Nutanix CE, да так, чтобы и денег зря не потратить, и получить на выходе то, на что будет не страшно поставить продакшновые задачи. Поэтому в этой статье я попробую спроектировать такую dream-платформу под Nutanix CE с прикидкой на использование ее не в домашней лабе (о таком варианте я уже недавно писал в своем блоге), а для более или менее «боевых» задач.
Что-ж, начнем. Строить нашу «боевую» платформу под Nutanix CE мы будем вокруг материнской платы хорошо известной «в узких кругах» серверных сборщиков компании SuperMicro, наверное, самого именитого и популярного из вендоров Tier-2 разработчика серверных платформ.
Мы, в Nutanix, сами выбрали SuperMicro в качестве поставщика платформ (не секрет, что готовые бандлы Nutanix NX это платформы Supermicro определенной нами конфигурации, с нашим софтом на них), и опыт работы с SM у нас вполне положительный. Итак, берем Supermicro, тем более, что в огромном арсенале производимого SuperMicro серверного хабара нашлась идеально подходящая для Nutanix CE система, вот она:
Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
Это материнская плата формата Mini-ITX (что уже необычно для серверного решения), на базе интересного CPU, выпущенного Intel в прошлом году: Intel Xeon D-1541.
Это низкопотребляющий (всего 45W) серверный процессор семейства Xeon, нацеленный на SoC (System-on-Chip) платформы. По производительности он примерно соответствует, например, E5-2620v4, то есть вполне ничего себе серверный Xeon начального уровня для однопроцессорных систем.
Он также включает в себя два интерфейса 10G, которые есть и на нашей материнке. Процессор имеет 8 физических ядер (16 c HT), 2,1GHz частоты, 12MB кэша и поддерживает до 128GB ECC RAM.
Из стоимости материнки, примерно 600$ (581$ recommended price Intel), в результате, составляет как раз он.
Также под эту mini-ITX материнку SuperMicro выпускает симпатичный корпус, напоминающий форматом хорошо и справедливо любимый многими HP MicroServer, называется он: Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply.
Давайте рассчитаем, во что обойдется нам платформа для Nutanix CE, если мы решили на базе этого бесплатного решения построить платформу для серьезных «боевых» сервисов в компанию.
Я буду брать цены Amazon.com, валидные на момент написания текста. Хитрые технологии продвижения товара на Amazon используют тот факт, что товар поднимается в выдаче после того, как цена на него понижается продавцом, что провоцирует «оптимизаторов» на постоянные «качели» с понижением (и повышением позиции в выдаче), потом возвратом в прежней цене повыше, и снова «скидкой», с попаданием в список «лучший выбор». Так что если вы не увидите по моей ссылке приведенной цены, то, скорее всего, это оно. Подождите несколько часов, или поищите по названию товара другое размещение (часто от того же продавца, под чуть отличающимся именем).
Итак, начнем. Берем в корзину материнскую плату X10SDV-TLN4F-O
Это дает нам материнскую плату с процессором (он распаян на материнке, так как это SoC), кулером, сетевыми портами, но без памяти и дисков.
Supermicro Mini-ITX 2133/1866/1600MHz ECC DDR4 Single socket FCBGA 1667 Motherboard (X10SDV-TLN4F-O)
$899
Источник: www.amazon.com/Supermicro-Mini-ITX-1600MHz-Motherboard-X10SDV-TLN4F-O/dp/B010W32T62
Добавляем к ней корпус CSE-721TQ-250B
Supermicro Superchassis CSE-721TQ-250B Mini-Tower with 250W Power Supply
$185.99
Источник: www.amazon.com/Supermicro-Superchassis-CSE-721TQ-250B-Mini-Tower-Supply/dp/B00REWHHNU
Добавим память. Эта материнка поддерживает до 128GB DRAM DDR4 планками вида ECC RDIMM (регистровой) и 64GB ECC UDIMM (нерегистровой). Вполне солидная емкость для Mini-ITX сервера. Помню, что в Microserver даже с бубном больше 32GB не лезло.
Поставим 64GB двумя планками по 32GB, с запасом на расширение в будущем. Вот такая память нам точно подойдет (Amazon ее даже часто предлагает бандлом с нашей материнкой):
Samsung DDR4-2133 32GB/4Gx72 ECC/REG CL15 Server Memory M393A4K40BB0-CPB
$156.98 x2
Источник: www.amazon.com/Samsung-DDR4-2133-Server-Memory-M393A4K40BB0-CPB/dp/B00X04FO9K
Теперь надо определиться с SSD и HDD.
Наша материнка имеет один слот становящегося все более популярным формата M.2, не буду останавливаться на том, почему это хороший выбор, вкратце — это, фактически, PCIe, поддерживающий NVMe. Сейчас Nutanix не поддерживает NVMe как таковой, только SSD, но мы работаем в этом направлении, следите за новостями.
Раз уж у нас есть этот интерфейс, давайте не будем жмотиться и поставим SSD именно в него.
SSD этого формата существенно дороже привычным всем SSD на интерфейсе SATA, но не просто так. Поэтому, раз уж мы собираем dream car, берем M.2 SSD, например, такой:
Samsung 950 PRO Series — 512GB PCIe NVMe — M.2 Internal SSD (MZ-V5P512BW)
$317.99
Источник: www.amazon.com/Samsung-950-PRO-Internal-MZ-V5P512BW/dp/B01639694M
Впрочем, если хочется вариант побюджетнее, то возможен и он, например, с таким SATA SSD:
SanDisk X400 SSD SATA 2.5" 7mm 512G SD8SB8U-512G-1122
$135.29
Источник: www.amazon.com/SanDisk-X400-SATA-512G-SD8SB8U-512G-1122/dp/B0196FPT1Y
UPD: Обсуждение статьи в нашей публичной группе в Telegram дало еще один вариант: SATA SSD Intel S3610 на 480GB, за практически те же деньги, что Samsung, но с, ориентировочно, более высокой устойчивостью к записям (мы его, кстати, используем в «больших» Nutanix NX)
Intel SSDSC2BX480G401 DC S3610 Series 480GB 2.5inch SATA 6Gb/s 7mm MLC SSD Bulk OEM
$337.75
Если вы ожидаете очень высокую интенсивность нагрузок на запись, то берите его.
Источник: https://www.amazon.com/Intel-External-Solid-State-SSDSC2BX480G401/dp/B00Q86RDNM
Выбор SATA SSD сейчас достаточно широк, выбирайте на свой вкус, Nutanix тут не диктует выбор модели, разве что не забывайте, что «много емкости SSD не бывает», и я рекомендую вам рассматривать емкость SSD для Nutanix по меньшей мере от 480GB (несмотря на то, что в минимальных требованиях указано 200GB, часть SSD также занимают данные самой системы Nutanix, и вашим данным останется на 200GB совсем немного).
Одного SSD, особенно такого быстрого, нам пока достаточно. Добавим к нашему серверу еще пару HDD, например, хорошо себя зарекомендовавших WD Red 2TB:
WD Red 2TB NAS Hard Disk Drive — 5400 RPM Class SATA 6 Gb/s 64MB Cache 3.5 Inch — WD20EFRX
$89.99 x2
Источник: www.amazon.com/Red-4TB-Hard-Disk-Drive/dp/B00EHBERSE
Обратите внимание, мы не берем WD Black и RE, просто потому, что от скорости HDD в нашем случае ничего не зависит. Они хранят холодные блоки, поэтому высокая производительность именно SATA HDD нам не нужна, производительность будет обеспечиваться hot tier-ом SSD, так что вваливать денег в дорогие HDD мы не будем, выигрыша вы от этого особо не получите. В остальном же выбирайте тот HDD, который вам кажется более правильным и надежным, специальных требований со стороны Nutanix тут также нет.
Почти готово. Просуммируем все, чтобы получить итоговую цену:
899 + 186 + 157*2 + 318 + 90*2 = 1897 USD
Можно сюда добавить долларов 70 на доставку каким-нибудь майлфорвардером (я пользуюсь для себя Бандеролькой, подсев на их мармеладки;D, да и их пункт выдачи у меня рядом, но выбор на рынке есть, смотрите сами что вам по душе).
Итого, за ~1900 USD (то есть, фактически, дешевле, например, 15" MacBook Pro!), вы получаете современный, качественный, компактный, с малым энергопотреблением сервер (8 физических ядер, 64GB RAM, 2x10G, SSD), на который вы можете поставить наш Nutanix CE, и развернуть в нем виртуальные машины вашей компании.
По сути мы сейчас собрали примерный эквивалент самой младшей модельки Nutanix, что-то типа NX-1065S, односокетного сервера с одним SSD и 64GB RAM на CPU типа E5-2620v4. CE будет помедленнее на дисковых операциях, это связано с тем, что мы несколько по-другому, чем в «большом Nutanix» работаем с дисковыми устройствами (это было сделано для того, чтобы увеличить число поддерживаемых CE платформ), что приводит на той же платформе к ухудшению дисковой производительности процентов на 30, наверное. Но и это очень неплохо.
Какие у нас есть дальше варианты?
Во-первых, на одном сервере у вас не будет отказоустойчивости. Для серьезной системы это неприемлемо, поэтому сразу забиваемся на кластер. Nutanix CE поддерживает варианты из одного, трех, и четырех серверов в кластере. Обратите внимание, варианта с двумя серверами нет, как нет варианта и с большим числом, чем четыре. Два не позволяет обеспечить нужную отказоустойчивость и логику работы кластера, а если вам нужно больше четырех серверов в кластере — добро пожаловать в мир «больших ребят» :), вы переросли CE.
Сервера в кластер соединяются с помощью сетевых ethernet-интерфейсов. У нас их, напомню, на нашей материнке с избытком. Пара 10G Base-T и пара гигабитных. Будем использовать 10G раз уж он у нас есть. Но куда их будем подключать?
Вот уже пару лет как на рынке присутствует интересный продукт, который развеивает миф о том, что 10G — это супер-супердорого, и вообще это для гигантских энтерпрайзов, типа Газпрома, а мы не газпром, поэтому будем колхозить LACP на гигабитках Реалтек. Долой вот это вот все! :)
Докидываем в корзину вот это:
NETGEAR ProSAFE 8-Port 10-Gigabit Ethernet Web Managed Switch (XS708E-200NES)
$749.99
Источник: www.amazon.com/NETGEAR-ProSAFE-10-Gigabit-Ethernet-XS708E-200NES/dp/B01GTWPTJY
Да, это оно, 8-портовый (а есть варианты и на больше портов: 12, 16 и более) управляемый 10G свитч.
Я не стану говорить, что это убийца Нексусов, Арист, и что это лучший в мире свитч. Нет конечно. Но он есть, он 10G, у него достаточно паспортного bandwith на свитчинге для работы портов без oversubscribing-а, и он работает. Если у вас есть деньги на что получше — берите это получше. Но на сегодня эти нетгиры — лидеры в Price/Performance. Поискав по базару можно найти и варианты немного дороже (и немного интереснее), от того же Netgear, от Dell Networks, Mellanox. Но раз уж мы мастерим «бюджетно-бюджетно», возьмем этот Netgear.
Для отказоустойчивой свитч-фабрики берем их два, в каждый из них пойдет один кабель из пары портов 10GBase-T нашего сервера, и у нас еще останутся по 4 порта на свитче для каких-то внешних серверов, например, чтобы включить кластер во внешнюю сеть компании.
Далее, мы можем добавить памяти (не забывайте, что сам Nutanix CE примерно 12GB возьмет с хоста себе под свои нужды), у нас на это остались два слота в каждом сервере, мы можем поставить еще два HDD для хранения холодных данных, либо добавить SSD, либо сделать AllFlash (обратите внимание, что AllFlash хост нельзя смешивать в одном кластере с хостами с HDD, но можно смешивать в кластере разные хосты гибридной конфигурации, например с разным числом и объемом дисков).
В итоге, за сумму менее 10K USD мы получили высокодоступный гиперконвергентный виртуальный датацентр из четырех серверных хостов виртуализации совсем неслабой конфигурации, 10G сетевым бэкбоном, с прекрасными перспективами расширения (если возникнет такая необходимость), и полностью бесплатной софтверной гипервизорной частью. И все это в объеме 19" стойки всего около 8U.
По-моему, очень впечатляющий результат.
UPD: В Nutanix CE версии 2016.06.30 теперь включены Acropolis Block Service и Docker Support, о которых мы писали в посте про версию 4.7.
Комментарии (143)
rader90
03.08.2016 18:08-1Довольно таки интересное решение. Осталось только бюджетно выбить скорость в 10ГБ/с у провайдера.
romxx
03.08.2016 18:10+1Совсем необязательно. 10G нужно внутри кластера, для работы механизма кластерной записи на дисках Nutanix, ну и для связи VM между собой. Снаружи часто вполне достаточно куда меньшего трафика. Много дисковых операций происходят внутри инфраструктуры датацентра, не выходя наружу.
KirhyStoff
03.08.2016 18:58Так без 10-ки будет работать или нет? Допустим что есть обычный свитч с гигабитными интерфейсами и по 2 апплинка на узел.
romxx
03.08.2016 19:04Будет и по гигабиту работать, но так как технология записи в кластерную файловую систему такова, что записываемый блок синхронно, для хранения избыточной копии данных, реплицируется на другие ноды кластера (если их больше одной, для одной это неприменимо, там нет ни отказоустойчивости ни репликации), то использование гигабита в качестве кластерного интерконнекта сильно снизит производительность кластера на запись и увеличит задержки (latency). На чтение это (почти) не влияет, только на записи.
Теоретически на гигабите это даже работает, у нас когда-то даже были модели NX-1020 с гигабитом (только). Но вы потеряете много потенциальной производительности дисков на этом (система сможет больше, чем вы на гигабите из нее извлечете). Так что на практике, если есть возможность использовать 10G, используйте его, не пожалеете.KirhyStoff
03.08.2016 19:11Во сколько раз? Не кривите душой.
Допустим есть не 2, а 4 апплинка. В lacp это будет 4gbs на узел, вместо требуемой 20-ки.
Требование 10 gb хоронит тему с «лабой».
С esxi и vsan я не вижу таких проблем )) (на 4 узла max)
Для SBS maybe )romxx
03.08.2016 19:18-1Зависит от объемов и характера операций записи, сложно сказать точную цифру.
> Требование 10 gb хоронит тему с «лабой».
Для лабы можно взять однонодовую конфигурацию, и обойтись без сети вообще. Для продакшна, как мне кажется, один или два свитча стоимостью менее 800$ вообще не проблема.
На дворе второе десятилетие XXI века! 10G появились уже у бытового нетгира! Сколько можно мучать лошадку гигабита? ;)
> С esxi и vsan я не вижу таких проблем
Наоборот, у VSAN это ГОРАЗДО БОЛЬШИЕ проблемы, потому что там данные не локальны и гоняются по сети как на чтение, так и на запись (у Nutanix — только запись). У VSAN гораздо выше загрузка сетевого бэкбона. Так что если на ваших задачах вы не видите проблем с производительностью на гигабите на VSAN, вы тем более не увидите их и на Nutanix.KirhyStoff
03.08.2016 19:36У большинства ENT заказчиков в России до сих пор лом серверов подключенных через гигагибитные апплинки. Про чей двор вы говорите ) Про SMB тем более можно промолчать.
romxx
03.08.2016 19:42-1Ну так сами себе злобные буратины :)
Впрочем, может они даже гигабит не загружают, так тоже бывает. Видел крупный онлайн-ритейл, у которых максимальная загрузка дисков серверов была в районе 6000 IOPS. Для Nutanix это, к слову, «семечки».
icCE
03.08.2016 19:43-1Тут 10gb исключительно как замена СХД. Вы посмотрите сколько стоит полно HP P2000 в самом минимальном варианте :)
А там еще надо FC контроллер, модули итд.
Я уже давно начал проктиковать замену таких полок, чем то другим.
gotch
03.08.2016 23:4010GBASE-T не так часто встречается, и Netgear редкий представитель этого семейства.
romxx
04.08.2016 12:02Не часто, но есть, и сейчас 10GBase-T самый недорогой вариант войти в «мир 10G», все же SFP+ это дорого, и даже twinax-кабеля — тоже (прежде всего на стороне портов свитча). А на метр, от сервера до свитча — да и пусть будет по витухе.
gotch
04.08.2016 12:52Мы в свое время расчитывали на оборудование Cisco, но ничего годного так и не нашлось. Есть определенные сомнения в надежности этих Netgear. Для Cisco сейчас появились бюджетные SFP-10G-SR-S (ниже нуля градусов не работают), но цена все равно «не очень».
romxx
04.08.2016 13:03Ну так опять «за рыбу — деньги». Есть сомнения — не берите, у тех кто взял — работает. Если у вас есть что взять лучше и хватает на это денег — берите это то, что лучше. Nutanix не диктует каких-то требований к коммутатору (кроме того, что чем он быстрее и ниже задержки — тем лучше)
shapa
04.08.2016 13:10Из неплохих и недорогих (относительно) — Mellanox SX1012 коммутаторы (которые «половинка юнита»), но конечно далеко от цены netgear ;)
navion
04.08.2016 13:51Nexus 3524X самый дешевый среди взрослых вендоров.
romxx
04.08.2016 14:01Взрослость вендоров существует обычно только в воображении пользователя.
D-Link куда «взрослее» той же Arista, но это не делает его продукцию лучше.
Короче, делая эту бесконечную пикировку обозримой: Вы можете составить ваш проект, лучше чем это отстой и плохие советы, который написан выше? Список оборудования с подтвержденными ценами. Приведите его, обсудим предметно. Пока видно только пустомольство. «Ах то плохо, ах процессор не люб! Да я бы, если бы захотел, в пять раз дешевле и в сто раз лучше бы составил!»
Пока я вижу только пустословие с вашей стороны, ни единого конкретного предложения с официальной ценой.
shapa
04.08.2016 14:05Нет, Mellanox стоит примерно так-же или дешевле (особенно при пересчете на 1 порт), при том что там 12x 40G порта которые «расшиваются» на 48 портов.
Мелланокс на один порт получается в полтора раза дешевле Nexus.
Вот первые попавшиеся (я точно брал мелланоксы дешевле 5$k)
http://www.newegg.com/Product/Product.aspx?Item=N82E16833736041
http://www.newegg.com/Product/Product.aspx?Item=N82E16833423083&cm_re=3524X-_-33-423-083-_-Product
navion
04.08.2016 13:49Под Twinax есть Dell Networking X4012 за 80 тыр, а в Base-T стрёмно вкладываться — можно влететь на замену адаптеров в серверах после покупки нормальных коммутаторов.
shapa
03.08.2016 19:40«Требование 10 gb хоронит тему с «лабой».»
зачем кривить душой? 10G коммутатор на ебеях всяких нынче предельно дешев.KirhyStoff
03.08.2016 19:45Ты сам видел, что пока пролетал только 1 БУ коммутатор за вменяемые деньги )) Я не знаю, как там у олигархов ))
icCE
03.08.2016 19:41LACP даст выигрышь, по клиентам. У клиента так и булет 1 Gb.
Это примерно будет как 120 на диск (считай как скорость PCI) для одного клиента.
10gb тут решает как не крути.
Я лично вполне могу загрузить по iscsi windows на машину и вполне комфортна с ней работать.
По Netgear, нареканий нет вообще. Я ими уже пользуюсь лет 6, L3/L2 все отлично, работает и есть не просит.
Да я тут в другой теме прикидывал аналог X10SDV-TLN4F-O, дешевле не получается :)
Правда если мы строим кластер СХД на CEPH, можно не брать как я I7, а поставить i3, хватит за глаза.
ploop
05.12.2016 09:24+2А яркость регулируется по старинке
Вон как. А яркость самого суюбпикселя разве не проще менять?shapa
03.08.2016 23:42Абсолютно верное замечание, но есть нюансы (с).
Nutanix — многопоточная архитектура, даже iSCSI мы превратили в многопоточный (у нас отдельный iSCSI поток на каждый виртуальный диск для нашего гипервизора)
Так что в общем-то от LACP некий (достаточно существенный) толк будет.
AntonVirtual
04.08.2016 14:53Кирилл, для лабы есть совершенно до фига самых простых 10G коммутаторов с малым количеством портов.
1 Gb я пробовал на VSAN, спасибо, больше не надо сказок.
KirhyStoff
03.08.2016 19:17Кстати. С lacp то вы дружите? Можно ли агрегировать, к примеру, 8 апплинков?
Все-таки очень смущает ваша фраза «Теоретически на гигабите это даже работает». Не вижу уверенности.shapa
03.08.2016 19:38Коллега из VMware, ну мы же уже обсуждали :)
Если VSAN на 1G будет просто мертвый наглухо при любых более-менее серьезных нагрузках, то Нутаникс вполне себе работает за счет локализации ввода-вывода. Например Nutanix SX младшие модели официально идут с 1G интерфейсами.
Вопрос про LACP — да, официально поддерживается и есть инструкции как включать. Само собой, никаких «enterprise plus» редакций как у VMware в данном случае не требуется.KirhyStoff
03.08.2016 19:43Коллега из Nutanix ) Я примеряюсь для своей лабы ) Аргументы твоего коллеги, что зачем мне 3 узла и что 10 гб стоит копейки мне не очень нравятся ))
romxx
03.08.2016 19:47Лабу можно и на гигабите сделать, конечно. Но потенциал системы это не раскроет, я собственно про что речь веду. На 10 вы выжмите все (почти все), на гигабите — за счет бОльших задержек на вводе-выводе всей скорости вы не получите, только и всего.
Но работать будет и так и так.KirhyStoff
03.08.2016 19:53Дорого для лабы — это факт.
romxx
03.08.2016 20:16Сетап для лабы — вот: http://blog.in-a-nutshell.ru/diy-lab-for-nutanix-ce-intel-nuc/
Ну и, конечно, никто не запрещает «колхоз». Цель поста была все же в другом.mayorovp
02.12.2016 07:04100 юнитов у каждого из 12 игроков — вот и более тысячи юнитов на карте. Не считая нейтралов. А на пользовательских картах — так вообще юнитов может быть гораздо больше.
Dota 2 на таких количествах юнитов висит, а варик продолжал работать до тез пор пока успевал отрисовывать их...
lexofein
02.12.2016 12:46Dota 2 и League of Legends эту проблему таки решили.
Наивный чукотский ребенок =)
https://www.youtube.com/watch?v=AsgHPIYXj6s
Имхо — игр без читов не бывает. Это бесконечная борьба, воспрос в не существовании читов, а в их распространености.KirhyStoff
03.08.2016 21:07В моем случа лаба обошлась в минимум в 2 раза дешевле.
А то что в Штатах/Европе и у нас, ты сам знаешь )
Если рассматривать test/dev и SBM то скорее всего никто не будет покупать это у нас (без документов для бухгалтерии, гарантии и т.д.). Да для себя можно купить. Контора такие риски не возьмет. С Амазона никто не потащит для компании. И доставка всего этого не будет стоить 30$. И вы видели цены тут в магазинах и на амазоне на одни и те же позиции?
Реалии немного другие.
Т.е. если собирать это в Штатах, то да — все похоже на правду. Там и ЗП другие у инженеров и с Амазоном дружат и т.д.romxx
03.08.2016 21:31Никогда не говори «никогда» (с) :)
Вот тут выше человек просит посмотреть как выглядит 10K $ ;)
Ситуации бывают разные. Мы, как сотрудники Nutanix, конечно же не одобряем такие сетапы, и официальная позиция компании — нет денег — иди ищи. :) Но как жители России мы понимаем, что ситуации бывают разные. Сегодня ты — IT-стартап из трех сотрудников, а завтра миллионнодолларовый бизнес. У нас тут иная ситуация чем в Америке. Надо подходить гибче.
Вот как образец такого подхода — статья. Мы не пропагандируем самосбор как основу для IT-инфраструктуры. Но если уж пришлось таким заниматься, то лучше, чтобы это была достаточно мощная и надежная платформа.
KirhyStoff
03.08.2016 20:07И еще вопрос по поводу общего оверхеда по памяти.
Сколько памяти сожрет Nutanix CE? В минимальных требованиях написано 16GB. Сколько останется мне?romxx
03.08.2016 20:14Можно дать меньше в CE, по умолчанию, если я правильно помню — 12GB. Эта величина меняется в зависимости от того, используете ли вы «тяжелые» фичи, типа дедупликации и онлайн-компрессии, которые потребляют много памяти при работе. Так что это настраиваемо.
Но для таких дохлых процессоров, скорее всего, вы не упретесь здесь в производительность движка дедупликации, например, гораздо раньше вы упретесь в возможность самого процессора. Это все важно скорее для топовых систем, с 2xE5-2680v4, например.
Так что 64GB минус 12GB для VM самого Nutanix, остальное — ваше, для ваших VM.KirhyStoff
03.08.2016 20:16Спасибо!
TimsTims
01.12.2016 00:16+1Да, но неё будет во второй части, но никаких имён не будет.
А эта лига тогда называлась Quad DotA League, от названия нашего клана Quad.
Stalker_RED
01.12.2016 13:14+1Удивлен, что не упомянут PVPGN, мне казалось что до гарены основная движуха была именно на pvpgn серверах.
gotch
03.08.2016 23:08Я вот такие расчеты произвел. Исходя из публикации, в хосте 64Gb. Из них Nutanix возьмет максимум 16. Осталось 48.
Предположим, что хост упал. Надо 48 раскидать на три оставшихся узла. То есть на каждый перенести по 16Gb RAM.
Значит на каждом узле примерно этот объем надо предварительно зарезервировать. Ошибаюсь?shapa
03.08.2016 23:11Да, примерно так.
У нас предусмотрены различные режимы резервации — можно целиком хост (как spare), или только память (best effort).
Это все автоматически работает.
Можно так-же выставить приоритеты HA для VM, так-же как для части вообще отключить HA (если они второстепенные)
Rampages
01.12.2016 11:06Battle.net был не у всех.
Мы например раньше в irc'е сидели на каналах #dota и т.п., на которых скидывали ip хоста и играли через lancraft.
Был еще W3/W3X CustomKick, который позволял смотреть ip адреса игроков хосту (если кто ливерил, потом просто какому-нибудь half-op'у на канале бросаешь скрин и айпи адрес).
Потом уже стали пытаться играть через всякие гарены, хамачи и т.п., но легче всего было играть через irc.VSOP_juDGe
01.12.2016 18:19+1Спасибо за такой ностальгический пост!
Играл и на dce, и на ihcs, и на qdl и много еще где. Веселое было время, когда нынешние именитые киберспортсмены типа Нски, Лоста или Пгг могли играть с тобой в обычном клозе. Кстати, появившийся позже iccup не ваших рук дело?)
IgeNiaI
02.12.2016 06:49Не намного меньше, чем в варкрафте и старкрафте. Особенно в варкрафте. Там вся боевка построена на маленьких армиях и на управлении чуть ли не каждым юнитом отдельно.
Другое дело Age of Empires 2 или даже Казаки, где армии вполне переваливают за тысячу.IgeNiaI
02.12.2016 17:15+1Речь была конкретно про MapHack, а таковой в этом видео все же отсутствует. Присутствует предположение где находится враг, на неких косвенных данных, но не показывание настоящего местоположения, так как оно не известно. Стоит учесть, что видео показано на ботах, а они более предсказуемы в этом плане, а против игроков такой функционал может и помешать.
Что насчет остального функционала, то там вспомогательные скрипты, основанные на известной клиенту информации. Впрочем, многие из них дают действительно серьезное преимущество и за это стоит банить.
scronheim
01.12.2016 10:56Очень интересно, с нетерпением жду следующих частей :)
xxxTy3uKxxx
01.12.2016 21:48+1Кстати, все, кто работал в Ворлд Едиторе дальше гуи интерфейса (то есть писали на JASS2, vJASS, cJASS) знали, что дота является примером популярного, но ужасно написанного продукта. Без оптимизацией, с тонной говнокода и прочих радостей. Эх, было время…
IgeNiaI
01.12.2016 23:52Первый «хак» являются врожденной болезнью протокола. А принципиально другой протокол для стратегии использовать невозможно — никакой
Dota 2 и League of Legends эту проблему таки решили. Хоть там и не стратегия, но механика видимости такая же.
Я так понимаю, они применили принцип из шутеров, когда информация о местоположении и действиях юнита посылается клиенту только когда этот юнит виден клиенту. Но здесь довольно много данных передается и интернет 2002 года (когда появился Warcraft 3) не годился.Sarg
02.12.2016 01:59Конечно интересно. Было бы интересно почитать. Я на сп3 поздно попал, играл в основном на dou :)
Кстати, а что-то про лигу dou можете написать? (dota.org.ua)
Чей там бот был?IgeNiaI
02.12.2016 08:08Там 100 еды лимит, но никак не 100 юнитов на игрока, так как в ранней игре банально нет стольких ресурсов, а в поздней покупают юнитов, отнимающих 3-5 еды. Итого редко больше 40 юнитов на игрока, что равняется 480 при 12 игроках.
Во второй доте каждые 30 секунд появляется 24 крипа на линии, плюс еще 24 через 30 секунд, когда появляется еще волна, а предыдущая еще не начала драться. Позже иногда добавляется по одному крипу к линии, но это мы пропустим. Добавим 10 героев и 2-3 крипа в лесу на 14 точках. Итого 86-100 юнитов в одновременно в самом обыкновенном матче.
Стоит учесть, что 12 игроков в варкрафте собирается крайне редко, а к середине игры остается в живых только треть (по моему опыту). Итого 160 юнитов.
100 юнитов в доте против 160 в варкрафте — не шибко большая разница. Точно не проблема для алгоритма, проверяющего виден ли юнит игроку или нет.
Для сравнения — в Age of Empires 2 каждый юнит потребляет ровно 1 единицу населения, при пределе в 200. В поздней игре у нормального игрока около 150 рабочих и непрекращающееся создание войск и отправление их в бой (такова игра, банальная атака в лоб в поздней игре эффективней хитрых тактик). При этом к поздней игре обычно жива половина игроков из 8, против трети в варкрафте. То есть те же 4 игрока, но уже 800 юнитов на карте.
В это же время в Казаках ~400 только рабочих + ~400 солдат на игрока (мало играл, но у меня выходило именно так).
Я бы добавил даже C&C Red Alert 1, где юнитов опять же больше, чем в варкрафте, а сама игра на 7 лет старше.
В варкрафте при примерно 300 юнитах на карте начинает тупить Pathfinding, что легко воспроизвести в карте «Земли Бога». При этом картинка не лагает совсем, но это вполне может быть заслугой современных компов, игра то вышла в 2002. Некорректное сравнение с дотой 2012 года выхода.
В Age of Empires 2 игра начинает тупить при примерно 600 юнитах, а в казаках я такого не замечал в битвах 1500 на 1500 (примерно) солдат.
Если сократить всё мною сказанное — в Warcraft 3 никогда не было много юнитов одновременно на карте, и Dota 2 здесь не сильно уступает, при этом не являясь стратегией. При современных мощностях и качестве интернета запросто можно сделать то, что я описал в моем первом комментарии. Starcraft 2, насколько я знаю, тоже имеет такую фишку, да и юнитов там поболее будет.romxx
03.08.2016 21:06Это гораздо проще, чем потом преодолевать сложности. Опять же, мы сейчас тут не про «домашнюю лабу», а про боевую систему. Я бы не советовал собирать боевую систему «из говна и палок», даже если это система под бесплатным CE. Домашняя лаба это одно, тут — хозяин — барин. Система крутить бизнес-задачи — совсем иное.
KirhyStoff
03.08.2016 21:15+1Вот то, что вы предлагаете для продуктива это и есть — «говно и палки». Никто в ENT это даже рядом рассматривать не будет. Не надо себя обманывать ) Вы же заказчикам в ENT и SMB совсем другие решения предлагаете и совсем за другие деньги.
Хотя, как я сказал ранее, для SMB кейс клевый на самом деле.romxx
03.08.2016 21:42Так во-первых энтерпрайз разный бывает. Вон в Америках SMB это «менее 500 сотрудников» (типа выше — уже энтерпрайз), а в России? Отсюда частое недопонимание.
Но даже если родился не в той стране это еще не повод поднимать лапки вверх и сдаваться, как мне кажется.
Во-вторых — энтерпрайзу мы «самосбор» и не предлагаем, у нас ему есть что предложить и без этого ;)
Однако в российском бизнесе именно SMB сейчас тяжелее всего.
И если уж человек выбрал использовать решение без поддержки, то было бы неплохо дать ему возможность не падать в многочисленные gotchas по дороге создания такого сетапа. Дальше он сам решит, копить денег, или пользоваться бесплатным. Наше дело — предложить варианты.
apple01
08.08.2016 21:19+1Я всю жизнь считал что SMB это где-то до 25 человек. По крайней мере MS так лицензировало (по крайней мере раньше) свои SMB продукты.
shapa
08.08.2016 21:26United States
In the United States, the Small Business Administration sets small business criteria based on industry, ownership structure, revenue and number of employees (which in some circumstances may be as high as 1500, although the cap is typically 500).
Both the US and the EU generally use the same threshold of fewer than 10 employees for small offices (SOHO)
https://en.wikipedia.org/wiki/Small_and_medium-sized_enterprises#North_Americaapple01
08.08.2016 21:36Я ж говорю ориентировался на MS (не могу представить чтобы можно было залицензировать SBS на 500+ чел):
Q What are the license access limits for Windows Small Business Server 2011 products?
A. Windows Small Business Server 2011 Essentials is designed for use with up to 25 user accounts
https://social.technet.microsoft.com/Forums/en-US/194fc056-a109-4365-97ae-6b2b3f344854/sbs-2011-running-out-of-licensed-users-what-are-my-options?forum=smallbusinessserver
KirhyStoff
03.08.2016 21:26+1В сухом остатке. Учитывая стоимость решения для SMB под TEST/DEV очень даже здорово.
Надо учитывать, что в России под ключ все будет стоить совсем других денег.
А для лабы, к сожалению, очень дорого.AntonVirtual
08.08.2016 22:16Кирилл, лаба на VSAN будет стоить ровно столько же.
Это если у тебя еще доступ будет к партнерским или другим NFR / non-production лицензиям.
navion
03.08.2016 22:32Браво, в корпоративных блогах редко встречаются сборники вредных советов.
Твины с настоящими процессорами стоят почти столько же, диски выбрали худшие из возможных, так ещё и покупать железки предлагаете без гарантии.shapa
03.08.2016 22:40+1Это что за поток сознания? :D
Диски 2TB WD далеко не худшие (по тем же данным от битблейз, которые при этом весьма субьективны ввиду того что они их эксплуатируют тоннами засовывая в один корпус), в статье прямо пишут что просто не получается закупать большие партии.
По CPU с твинами — так не стесняйтесь приводить свои варианты, посмотрим насколько «почти столько же».
А то даже (опять-же по ссылке) пишут что очень довольны теми процессорами что мы рекомендовали:
«Part of STH’s hosting cluster is actually a number of 1U Intel Xeon D-1540 servers so the Xeon D-1540 and D-1541 we are well aware of. The performance of the parts is overall excellent so long as you can handle lower single thread performance and do not need more RAM.»
Nizametdinov
05.12.2016 02:31+3Зачет.
Лет 5 краем глаза читал рекламный булшит от самунга по квантовым точкам и только с этой статьёй все встало на свои места.
И стало понятно откуда такая стоимость.
Жк подсветка как правило разбита на крупные крадраты, а в эконом тв — вообще свотовод и диоды по периметру.
А тут — ровное поле на весь задник. ДОРОХО-БОХАТО. Можно сильно дробить на участки эту подсветку и гасить ее полностью на темных сценах или димировать локально.
Но Олед боюсь победит, квантовые точки получились промежуточным звеном между олед и простым жкshapa
03.08.2016 23:451) заявление «худшие» уже невалидно
2)… не забываем добавлять «по совершенно нерепрезентативным данным одной компании, ввиду того что у них WD дисков очень мало, но они тупо экстраполировали данные»
romxx
04.08.2016 12:08Так и написано — берите те, в которые верите. У меня вот пять Red разного размера работают в домашнем NAS, самые первые вот уже третий год и меня все устраивает, упрекнуть не в чем. Я бы взял его. Не нравится Red, берите какой угодно другой. От него, по сути, не зависит ничего. Я только предостерег от соблазна накупить Raid Edition и Велоцирапторов. :)
apple01
08.08.2016 21:27>Я только предостерег от соблазна накупить Raid Edition и Велоцирапторов. :)
почему?romxx
08.08.2016 21:58Потому что от производительности HDD производительность системы зависит очень мало, все горячие данные и операции записи происходят на SSD. Вы можете потратить в три раза больше денег на более производительные HDD и получить 2% прироста, или не получить совсем. Тогда зачем тратить больше?
apple01
08.08.2016 22:02Raid Edition вроде понадежнее должны быть, это имеет значение?
romxx
09.08.2016 01:15Меня уговорили развернуть ответ :)
Диски RE отличаются от обычных несколькими вещами. Более высокой ценой, потенциально более высокой надежностью (по крайней мере так обещает вендор), а также иной обработкой ошибок чтения секторов, так называемым TLER — Time Limited Error Recovery. Дело в том, что на работу диска в составе RAID-массива накладывается ряд специфических требований. Обычный диск, когда контроллер обнаруживает плохо читающийся сектор, стремится снова и снова его прочитать, невзирая на таймауты. Однако в составе RAID это может плохо кончиться. Такой «зависший» диск контроллер может счесть вышедшим из строя и выкинуть из RAID. Поэтому в составе RAID диск, зная, что потеря информации будет восстановлена средствами отказоустойчивости RAID, быстро перестает повторные чтения, и отдает сбойный сектор «наверх», в контроллер RAID, рассчитывая, что тот там сам разберется.
В Nutanix мы не используем RAID, и не нуждаемся в этой функциональности. К тому же восстановление сбойного диска у нас происходит очень быстро, так что, по крайней мере за цену, которую требуют за RE, брать его бессмысленно. О том, что скорость системы очень мало зависит от скорости HDD, потому что все активные операции у нас остаются на SSD, я уже писал.
Отсюда вывод: в качестве HDD наиболее выгодно использовать самые простые и дешевые диски, тратить деньги на специальные, особо надежные, быстрые и с расширенной специальной функциональностью диски — экономически бессмысленно, лучше их потратить на память или SSD, там выигрыш от дополнительных трат будет куда заметнее.
navion
04.08.2016 00:32Получается дороже на полтора килобакса, но Твины мощнее с расширением до 8 CPU/16 DIMM, резервированием БП и охлаждения.
А если читать внимательно, то можно заметить что STH сравнивает 1540 с шестиядерным 2620v3 (в v4 их восемь) и у WD худший AFR.
Выбор SSD тоже странный, потребительские 850 Pro и X400 со смешной выносливостью и дорогой S3610, когда есть SM863.shapa
04.08.2016 00:35Смотрю уже менее категоричные-то утверждения пошли ;)
1500 за 3 сервера?
За эти деньги можно взять «сильно более лудшие» SSD, памяти по 128… И суммарная производительность — порвет твин на тряпки.
Ибо виртуализация крайне редко упирается в процессор нынче, но память и IOPS намного более важно.
А вот процессоры — более чем good enough. Особенно для лабы / test&dev / SMB.navion
04.08.2016 11:19Смотрю уже менее категоричные-то утверждения пошли ;)
Не вижу противоречий с первым комментарием. Вы как будто боитесь, что кто-то с деньгами соберёт аналог NX-1065/3060 под CE и продвигаете откровенный колхоз из микросерверов.
1500 за 3 сервера?
За четыре, микра не вынимает «лишние» серверы из коробки.
но память и IOPS намного более важно
Тут выигрывает Twin, где шесть дисков в шасси под SFF и по восемь DIMM у каждого ЦП.
А вот процессоры — более чем good enough.
Тяжелые серверы под Test/Dev и VDI процессоры очень любят.shapa
04.08.2016 12:14Дабы завязывать с «пальцераскидыванием» на пустом месте, просьба привести точную конфигурацию и цену на нее (со ссылками в свободной продаже).
Дальше мы уже обсудим конкретику.navion
04.08.2016 14:042028TP-HTTR/6028TP-HTTR ~ $3700
E5-2620v4 ~ $420
SM863 ~ $290
Даже конфигуратор нашел, правда они не дают поставить по одному ЦП и включают свою гарантию в цену.shapa
04.08.2016 14:13E5-2620v4 практически идентичен по производительности Intel Xeon D-1541, при этом кушает почти в два раза больше (-> греется и шумит охлаждение).
В чем «цимес»?
Цена платформы публичная что я вижу — около $4,500 (newegg, amazon и другие). Откуда 3700? На сайтах где налоги штата не учитываются? Ну так тогда и конфиг что в статье можно купить сильно дешевле.
Да, кому потребуется больше производительность и потратить тысячи на 3-4 больше долларов готовы — хороший вариант тоже, согласен. Но статья — про наиболее эффективный вариант «доллар на единицу производительности / макс. цена»
…
И кто тут вредные советы дает? :)navion
04.08.2016 14:28E5-2620v4 практически идентичен по производительности Intel Xeon D-1541
Шестиядерный E5-2620v3 быстрее D-1541, а восьмиядерный E5-2620v4 ещё на 30-40% быстрее.
Откуда 3700?
Попробуйте Google. Супермикры с Цисками не покупают на Амазоне, также как и Нутаникс.
и потратить тысячи на 3-4 больше долларов готовы
$3700 + $1680 + $1256 + $1160 + $720 = $8516 против $7588 на микросерверах.romxx
04.08.2016 14:47Отличие вашего «гугла» от Амазона в том, что если цена на Амазоне есть конечная цена, я ее плачу, и получаю товар. То «цена из гугла» таковой не является. Мне даже стыдно, право, вам рассказывать такие элементарные вещи. Даже если вы только закончили школу, что я делаю из вашего всезнающего тона, все равно должны знать такие элементарные вещи. ;)
navion
05.08.2016 13:50Прекрасно, вместо ответа по сути переходите на личности с левого аккаунта.
Кроме Амазона есть куча магазинов и с таким бюджетом есть смысл обратиться к сборщикам, чтобы получить готовое изделие с адекватной гарантией, а не груду железок с ремонтом от трёх недель.
romxx
04.08.2016 12:52Easy, boy. :)
Вбрасывать наезды — наихудший путь получать ответы на свои вопросы. Если вас интересуют ответ, а не просто продемонстрировать какой вы знающий спец, то лучше спилить мушку :)
WoWFabler
04.08.2016 11:59Подскажите, пожалуйста.
Исходим из того, что все создано по примеру. Есть 3 узла.
На каждом узле лежит по, условно 5 ВМ под VmWare. На одном из узлов лежит некий файл-сервер для всего кластера, соответственно дисковое пространство заполнено не равномерно
70% на 25% и на 25%
Если верить логике на nutanix.ru, то запуститься демон, который захочет все это сбалансировать и сделать 40% 40% 40%.
Вопрос 1: каким образом будет осуществляться регулярный доступ к данным этого файлового сервера, если данные «разъехались» и «локального» чтения/записи уже не получается.
Вопрос 2: если та или иная машинка в кластере на других узлах в определенный момент будет «хотеть много данных» с данного файл-сервера, не вызовет ли это бесконечной попытки Nutanix «перелить» файл-сервер на другой узел?
Вопрос 3: сколько дискового пространства, хотя бы примерно, съедает «избыточность» Nutanix — что-то близкое к математике RAID 5?
Вопрос 4: если лег узел и при этом лег один из дисков в оставшихся двух узлах, то? если проще — то какое условие «сваливания» NDFS по дискам/узлам. Как я понимаю, пережить потерю от 1 диска до целого узла Nutanix может. А больше?
Вопрос 5: при «выключении» одного из узлов, оставшиеся 2 переходят в условный режим RAID 1 (зеркало) или? Каким образом обеспечивается избыточность в данной ситуации? Или никак: главное что работает, как и при 3-х, но резервов по потерям уже никаких.
Заранее спасибо,
Вопросы немного дублируют друг друга, если ответ на предыдущий отвечает на последующие — не заморачивайте себя, пожалуйста.
shapa
04.08.2016 12:23Добрый день.
Все вопросы в общем-то имеют ответы в «библии Нутаникс».
1) горячие блоки данных всегда локализуются (если есть место на SSD локальных). холодные блоки данных (SATA уровень) нет смысла локализовывать — latency сети меньше чем latency SATA дисков
Для CE поддерживается RF2 (2 копии данных на кластере), одна из них собственно будет локализовываться вслед за VM (например файл сервером в вашем случае)
Если места локально не хватает — используется доступ по сети к «соседним» SSD и SATA.
2) Нутаникс не гоняет бесконечно «туда-сюда» данные, ему достаточно содавать одну реплику (горячую) локально и вторую «где-то на сетевых узлах».
3) Сложный вопрос — формально для RF2 кушается ~50% (две копии), но у нас есть встроенное сжатие и дедупликация (в CE тоже) которые обычно имеют 1.7-2.5 коээфицициент. По итогу — виртуально очень часто «не съедается ничего».
Для EC-X работает другая математика, но на 3-4 нода EC-X имеет мало смысла.
4) Кластер всегда пытается перестроиться и восстановить количество реплик. Если есть 4 узла (поддерживаемый максимум для CE) и достаточно места на дисках, то можно «потерять» один узел со всеми дисками, произойдет «ребилд» кластера, и далее еще один узел например выдержит отказ.
Взрослые версии Nutanix выдерживают множественный одновременный и неоднократный отказ оборудования без потери данных и контроля над облаком.
5) Нет, не переходят — у нас честный кластер (в основе Нутаникс используются NoSQL / BigData технологии), кластер 2 узла — это аварийная ситуация. Работать будет, но отказа еще одного узла не выдержит — это split-brain ситуация. Поэтому если нужно резервирование дополнительное — делайте кластер из 4-х узлов или покупайте коммерческий Нутаникс (который умеет RF3 — т.е. выдерживает отказ двух и более узлов одновременно)
WoWFabler
04.08.2016 13:25Спасибо за пояснения.
Небольшой нюанс: у KVM все ок с пробросом USB в машинки?
Возможно где-то есть стенд с Nutanix CE или «взрослым» Nutanix?shapa
04.08.2016 13:28Мы убрали много опасного кода из KVM, включая проброс USB, SPICE протокол от RH и прочее.
Поэтому наш AHV, хотя и базируется на KVM, но намного более безопасен и «вычищен».
Сама идея втыкать в USB порты серверов / нодов не очень архитектурно красивая.
Если требуется пробрасывать USB то намного лучше использовать что-то вроде http://www.digi.com/products/usb-and-serial-connectivity/usb-over-ip-hubs/anywhereusb
Стенды безусловно есть.WoWFabler
04.08.2016 13:36К сожалению, в реальности это приходится делать: для кучи софта до сих пор только аппаратные ключи.
Очень полезная информация.
А где можно найти стенды или информацию о них, дайте наводку, по возможности?
Спасибоshapa
04.08.2016 13:43Например есть стенды у дистрибуторов.
Точно есть лаборатория у Navica Data (контакт — Sergey Bogolyubov <s.bogolyubov@navicadata.ru> )
AntonVirtual
04.08.2016 14:59Для аппаратных ключей существует Digi AnywhereUSB и проброс в гостевую ОС по IP.
WoWFabler
04.08.2016 13:34И еще пара моментов:
Как я понял перелить машинки из Esxi в KVM не проблема, а обратный процесс, при необходимости?shapa
04.08.2016 13:42Обратно тоже просто — создается VM и подключается уже существующий диск.
AHV и ESXi используют одинаковый формат хранения данных на дисковой системе, у нас даже поддерживается автоматический DR между AHV <-> ESXi
vladm
04.08.2016 11:59+1Регулярно и с удовольствием читаю и смотрю Paul Braren aka TinkerTry потому сразу же напомнило то, что он делает.
В первую очередь вот этот guide: https://tinkertry.com/superserversnutanix
04.08.2016 12:00Да, я тут, готовя пост, просмотрел много тем с конструированием платформ под CE, и его работа как раз была одной из лучших и легла в основу этого поста.
gotch
04.08.2016 13:16Вы выбрали довольно скромное железо по надежности, без какого-то резервирования.
Могли бы вы рассказать, как происходит в Nutanix CE замена «мертвого» SSD или узла в сборе?shapa
04.08.2016 13:25Железо не требуется резервировать в пределах узла, это RAIN архитектура — домен изоляции сбоев в данном случае хост (для небольших конфигураций), а не диск.
Замена SSD легитимная и документированная процедура.gotch
04.08.2016 13:47+1Замена SSD легитимная и документированная процедура.
Вот стало любопытно, и решил немного изучить вопрос на вашем форуме
И пишут там такие слова
The SSD/HDD replacement works completely differently in CE than it does in our commercial product.
If you do not have dual SSD's, you'll always need to rebuild the CE node that fails if a SSD fails
Поэтому замена SSD в CE — не легитимная и не документированная процедура.
С вот таким продолжением
I succeeded in rebuilding and adding it back to the cluster.
But, when I want to remove the old node, with «ncli host remove-start id=XXXX» command line, I have this error message: «Cannot mark node for removal. Node 642876 is in the process of being added to the cluster.». The 642876 is the last node that I added to the cluster.
И даже добавление нового узла не помогло пользователю — призрак старого узла не удаляются.
Хорошенькие приключения для production-ready-system.shapa
04.08.2016 13:54Мне кажется вы не поняли что такое RAIN архитектура.
Да, для CE надо будет заменить SSD и сделать ребилд нода — займет минут 15. Если один SSD был. В чем проблема?
Для коммерческих версий это сделано намного быстрее быстрее и удобнее, ввиду другого принципа работы с дисками (о чем в статье пишется).
По поводу «приключений» — там надо снять задачу (это делается за 5 секунд), человека попросили выдать вывод команды ( «progress_monitor_cli -fetchall» ) но он не ответил. Есть такая фраза — ССБ («сам себе буратино»).
При этом никаких потерь данных и прочего, даже при том что человек сделал неправильные действия.
KirhyStoff
04.08.2016 15:37+4Роман.
Тут коллеги (Антон) подсказывают, что EULA разрешает крутить Nutanix CE ТОЛЬКО в лабе и для тестов! О каком продуктиве вы вещаете-то? Разъясните, пожалуйста.
Цитата «Система крутить бизнес-задачи — совсем иное». Это про что тогда?gotch
04.08.2016 15:57Я не в первый раз спрашиваю об этом уважаемых авторов, но никак никто не опубликует EULA. Придется ставить в итоге.
В прошлые разы у нас все заканчивалось в духе — «ставьте в production, shapa / nutanix / romxx разрешает, мы за вами вдвоем точно не придем». Звучит неплохо, но в юридическом смысле скользко.nutanix
04.08.2016 15:59Нет, как официальное лицо Nutanix никто не может это разрешить. Это личная ваша ответственность, как вы используете Nutanix CE.
nutanix
04.08.2016 15:57Вам решать, что и как крутить. Мы не поддерживаем, но и не можем запретить такие действия.
И раз уж человек решил использовать CE таким образом (не секрет, что очень многие это делают), то моя позиция: пусть уж он делает это на правильном и хорошем железе.gotch
04.08.2016 16:10+1Если наши действия противоречат EULA — так нельзя.
Преступление, отнесенное к ст. 146 УК РФ относится к делам публичного обвинения, а значит для возбуждения уголовного дела не требуется заявления потерпевшего.
shapa
05.08.2016 17:41Коллега, аккруатнее.
Мы в EULA прямо прописываем условия использования (внтренние бизнес-цели, не продакшен). Другой разговор что «что такое продакшен» мы никак не описываем.
License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.apple01
08.08.2016 21:04непонятна эта фраза «for internal business operations and non-production use only»
Какие могут быть «internal business operations» чтобы они при этом были «non-production use only»? Разве они по определению не «production»?romxx
08.08.2016 21:15Ну первое что приходит в голову — Test/Dev. Это internal operations, и при этом процесс test/dev не является production use, потому что под последним понимается основная деятельность компании. То есть если компания занимается продажей автомобилей, но при этом разрабатывает для внутреннего использования систему складского учета, то это будет internal operations и при этом non-production use.
shapa
08.08.2016 21:15Я не могу комментировать официально терминологию (не юрист), но мы собственно даже не даем определения production.
Вообще EULA в нормальных компаниях первую очередь делается для снятия рисков с вендора, а не «наказания неугодных».apple01
08.08.2016 21:43хорошо если так, но вы же не подпишитесь под тем что ваша компания гарантированно не придет ко мне с аудитом? :)
AntonVirtual
08.08.2016 22:20В России вендоры не ходят с аудитами от слова совсем. Ну если только по приглашению заказчика с темой аудита под легализацию.
С аудитами на легальность и дальнейшими обвинениями в прокуратуру ходят люди из более других структур.
Sot
04.08.2016 16:24Вы забыли про SATA-DOM под систему (флешки лучше не использовать).
С сетью есть ещё пара альтернативных вариантов (Dlink 1210-10TS, Zyxel XS1920-12) в той же ценой категории, вроде чуть лучше Netgear(мы взяли Dlink на нем задержки меньше).
Платформы с Xeon D в России достать почти невозможно, мы собирали на SYS-6028R-TRT(2620V3 2шт, 128GB RAM, 2 SSD Intel 3710, 6 HDD HGST) 3 хоста. Больше полу года работает, периодически между релизами отваливается что-нибудь несущественное :) Помню Rest не работал, снапшоты в веб-интерфейсе порезали, ещё какие-то мелочи были. Виртуализация админится нормально, считай немного порезаный/доработаный kvm(virsh и тп работает), это на случай когда в веб-интерфейсе чего-то нет(например добавить новый диск в CVM).nutanix
04.08.2016 16:34В материнке есть разъем под SM SATADOM (SuperDOM), желтенький и разъем для питания, позволяющий вставить обычный SATA DOM в любой из разъемов SATA, так что сделать можно без проблем.
С сетью — да, есть варианты, но вот остерегаюсь я D-Link, уж очень много с их продукцией странного случалось. Может это и предвзятость. Но в посте цель была не навязать конкретный продукт, а подтолкнуть к поиску, взяв предложенную конфигу за исходную точку пути. А так-то — конечно возможны варианты. Кто-то может без проблем докинуть еще тысяч пять, и тут сразу несколько интересных вариантов вырисовываются.
ironstealth
05.08.2016 07:29Боюсь собрать весь пятничный «позитив», но все же :)
Ребят, ну в чем отличие именно в работе/производительности ВМ на nutanix CE от ВМ на том же Proxmox? Я понимаю, что nutanix CE это «пощупать взрослую игрушку» и если понравится перейти на нее. Но даже несмотря на споры по поводу EULA, кто то уже используют CE в бою. Точно так же в небольших проектах и Proxmox крутится. Можно ли обосновано сказать, что какие то вещи у nutanix'a ce уделывают proxmox? Без холивара, пожалуйста.shapa
05.08.2016 07:42Вполне разумный вопрос
Для начала — гипервизор Nutanix AHV это лишь (очень) небольшая часть того что умеет делать Нутаникс.
В первую очередь — уникальная распределенная ФС (с сотнями «фич», включая тиринг / дедупликацию / сжатие / DR / снапшоты (консистентные в том числе), разработанная работниками из Google / Facebook / Amazon и прочих.
Которая при нормальном железе даже на CE легко выдаст сотни тысяч IOPS (на 4-х узлах например).
Так-же кластер может работать параллельно как внешняя iSCSI хранилка, так-же как встроенный scale-out file server.
Proxmox в свою очередь — просто простенькая управлялка стандартным KVM, работающая «по старинке». Собственно, это как Airbus A380 сравнивать с «кукурузником».
Nutanix AHV сертифицирован для использования почти всеми ключевыми вендорами (включая Microsoft например), proxmox и прочиее — само-собой нет.
Nutanix CE запускается под ключ максимум за полчаса, аналог скрутить из «палок и коровьих лепешек» на proxmox + ceph + прочем — сутками ковыряться, без гарантий результата и надежности работы.
При этом я Proxmox намного больше уважаю чем тот-же OpenStack например (хотя это и несколько разные вещи) — как минимум для своих задач работает вменяемо.
Суммируя — да, многим нравится возможность поставить High-End технологию вместо того чтобы иметь развлечения с «опенсорсом»ironstealth
05.08.2016 09:27Спасибо. Как раз перечитал еще раз до просветления «Nutanix Community Edition — открыто бета-тестирование», особенно комментарии :)
Теперь все стало понятнее. Пойду за паяльником и искать деньги на три ноды для лабы :)gotch
05.08.2016 10:12Потом стоит поискать 13 000 000 — 14 000 000 ($201,501) на коммерческую версию Nutanix.
romxx
05.08.2016 10:18Можем и подешевле уступить ;)
ironstealth
05.08.2016 10:21Потом стоит поискать 13 000 000 — 14 000 000 ($201,501) на коммерческую версию Nutanix.
Я пожалуй паяльник выключать не буду тогда, может еще и на маленький ДЦ денег насобираю :)
gotch
05.08.2016 10:59Может да, а может нет.
Во сколько обойдутся 4 узла:
Dual Intel Broadwell: E5-2620v4 [16 cores, 2.1 GHz]
1x SSD 960Gb
2x HDD 4 TB
128GB RAM
Dual-Port 10 GbE
shapa
06.08.2016 23:26Если коротко — vmware врет, причем нагло. Они показывают наши GPL цены (вы много знаете компаний которые покупают что-то по GPL?) и не сравнивают реальный функционал.
Считать реально — то мы в разы дешевле выходим (ибо включаем сразу DR и много других технологий, за которые VMware берет бешеные деньги).
p.s. Chuck — известный прикормленный балабол.gotch
08.08.2016 11:18Не могу судить врет VMware, или нет, но цены GPL — это факт, а других фактов мне не известно. Если бы вы утверждали — даем скидку 35% от GPL всем покупателям из России, особенно оборонному сектору и предприятиям, разрабатывающим шельф на предмет нефти и газа, то это можно было бы тоже рассматривать как факт. В отсутствии иной информации, опираемся на имеющуюся. Я попросил автора статьи чуть выше прикинуть примерную стоимость довольно скромной конфигурации, но ответа, к сожалению, нет.
Кроме того, по ссылке автор предлагает играть и по вашим правилам, с учетом скидки, которую может дать Nutanix.AntonVirtual
08.08.2016 11:34Если у вас есть реальный проект и желание купить Nutanix по правильным ценам, а не просто сравнивать GPL, то обратитесь ко мне. Продам с удовольствием и со скидкой от GPL далеко не 5%.
shapa
05.08.2016 17:55Коллеги, много вопросов по EULA (где посмотреть). Она встроена в Nutanix CE и выводится инсталлятором, но кому хочется в онлайне:
COMMUNITY EDITION END USER LICENSE AGREEMENT
IMPORTANT — READ CAREFULLY
READ THIS COMMUNITY EDITION END USER LICENSE AGREEMENT (THE «AGREEMENT») BEFORE DOWNLOADING, INSTALLING, COPYING, CONFIGURING, ACCESSING, DEPLOYING AND/OR USING THE SOFTWARE. BY DOWNLOADING, INSTALLING, COPYING, CONFIGURING, ACCESSING, DEPLOYING AND/OR OTHERWISE USING ALL OR ANY PART OF THE SOFTWARE OR BY CLICKING ON AN «ACCEPT» BUTTON, YOU AGREE TO THE TERMS AND CONDITIONS OF THIS AGREEMENT. YOU FURTHER AGREE THAT YOU ARE BOUND BY AND ARE A PARTY TO THIS AGREEMENT, AND, IF YOU ARE ACCEPTING THESE TERMS ON BEHALF OF ANOTHER PERSON OR A COMPANY OR OTHER LEGAL ENTITY, YOU REPRESENT AND WARRANT THAT YOU HAVE FULL AUTHORITY TO BIND THAT PERSON, COMPANY, OR LEGAL ENTITY TO THESE TERMS.
YOUR USE OF THE SOFTWARE IS EXPRESSLY CONDITIONED ON YOUR ACCEPTANCE OF THE TERMS AND CONDITIONS OF THIS AGREEMENT. IF YOU DO NOT AGREE TO THE TERMS AND CONDITIONS OF THIS AGREEMENT, DO NOT DOWNLOAD, INSTALL, COPY, CONFIGURE, ACCESS, DEPLOY, CLICK ON AN «ACCEPT» BUTTON AND/OR OTHERWISE USE THE SOFTWARE.
This Agreement is between You, either in your individual capacity or, if you are downloading, installing, copying, configuring, accessing, deploying and/or otherwise using the Software in your capacity as a representative of a company, partnership or business entity, on behalf of the company, partnership or business entity that You represent («You» or «Your») and Nutanix, Inc. a Delaware corporation, with offices located at 1740 Technology Drive, Suite 150, San Jose, CA 95110, USA («Nutanix»).
«Software» means any Nutanix software, library, utility, tool or other computer or program code, in object (binary) or source-code form that is provided to You and for which your acceptance of this Agreement is required, as well as to any copies (whether complete or partial) made by You or on Your behalf, including without limitation firmware. The term «Software» also includes any updates, upgrades or other new features, functionality or enhancements to the Software made available directly or indirectly to You. «Documentation» means any on-line read me, help files, or other explanatory materials related to the Software.
License Grant. The Software and Documentation are licensed, not sold, to you by Nutanix. This Agreement confers no title or ownership and is not a sale of any rights in the Software. Subject to the terms and conditions of this Agreement and the authorized scope of use of the Software, you are hereby granted a personal, limited, non-assignable, non-exclusive, non-sublicensable and non-transferable right to install and run one copy of the object code version of the Software (which Software may be activated by a valid user registration for the Software) during the term of the license for internal business operations and non-production use only, subject to any additional licensing metrics or volume or user limitations specified in the Documentation (which form an integral part of and restriction on your permitted use of the Software) (the foregoing right, «Permitted Use»). Use of the Software outside the scope of the Permitted Use is unauthorized and shall constitute a material breach of this EULA and shall give rise to an immediate termination of this Agreement. You agree to use Your best efforts to prevent and protect the contents of the Software and Documentation from unauthorized disclosure or use. Nutanix and its licensors reserve all rights, including but not limited to ownership and intellectual property rights, not expressly granted to You. Nutanix's licensors are the intended third party beneficiaries of this Agreement and have the express right to rely upon and directly enforce the terms set forth herein. There are no implied licenses granted by Nutanix under this Agreement. Except as expressly specified above, You shall have no rights to the Software.
Use.
Limitations on Use: You must not use the Software or Documentation except as permitted by this Agreement. You must not:
(a) alter, decompile, disassemble, modify, unbundle or create any derivative works of the Software, the underlying source code, or the Documentation in any way, including without limitation customization, translation or localization;
(b) port, emulate the functionality, reverse compile, reverse assemble, reverse engineer, create derivative works, or otherwise reduce to human readable form or attempt to separate any of the components of the Software or derive the source code for the Software;
© copy, redistribute, encumber, sell, rent, lease, license, sublicense, or otherwise transfer rights to the Software or Documentation, use the Software for the benefit of any third party or on a hosted basis;
(d) remove or alter any trademark, logo, copyright or other proprietary notices, legends, symbols or labels in the Software or Documentation or any product in which the Software is embedded;
(e) block, disable or otherwise affect any features that constitute an integral part of the Software, including without limitation any security features designed to enforce the terms of this Agreement;
(f) disclose the results of testing, benchmarking or other performance or evaluation information related to the Software or the product to any third party without the prior written consent of Nutanix;
(g) access or use the Software or Documentation for any competitive purposes (e.g. to gain competitive intelligence; to design or build a competitive product or service, or a product providing features, functions or graphics similar to those used or provided by Nutanix; to copy any features, functions or graphics; or to monitor availability, performance or functionality for competitive purposes);
(h) use any «locked» or key restricted feature, function or capability without first purchasing the applicable license and obtaining a valid key, even if such feature, function or capability is enabled without a key; or
(i) distribute any copy of the Software to any third party, including as may be embedded in equipment sold in the secondhand market.
You must not cause, encourage or permit any third party to do any of the foregoing.
If You believe that any of the foregoing restrictions are prohibited by local law, You agree to provide Nutanix with at least ninety (90) days advance written notice of Your belief and provide all reasonably requested information from Nutanix to evaluate Your claim. Nutanix may, in its discretion, impose reasonable conditions, including a reasonable fee, on such use of the Software, or offer to provide alternatives to ensure that Nutanix's proprietary rights in the Software are protected and to reduce any adverse impact on Nutanix's proprietary rights.
Third Party Software. You acknowledge that the Software may contain copyrighted software of third parties which are obtained under a license from such parties («Third Party Software»). All third party licensors retain all right, title and interest in and to such Third Party Software and all copies thereof, including all copyright and other intellectual property rights. Your use of any Third Party Software shall be subject to, and You shall comply with, the terms and conditions of this Agreement, and the applicable restrictions and other terms and conditions set forth in any Third Party Software documentation or printed materials, including without limitation an end user license agreement.
Open Source. The Software may use or include one or more of the open source software components listed in the Nutanix open source attribution file, which is available at www.nutanix.com/opensource. The terms of this Agreement shall not apply to any open source software accompanying the Software. Any such open source software is provided under the terms of the applicable open source license agreement or copyright notice accompanying such open source software or in the open source attribution file. Please refer to the open source attribution file for the open source license disclosures and pertinent terms.
Proprietary Rights. You acknowledge and agree that the Software belongs to Nutanix or its licensors. You agree that You neither own nor hereby acquire any claim or right of ownership to the Software and Documentation or to any related patents, copyrights, trademarks or other intellectual property, including all modifications and derivative works of any of the foregoing. Nutanix and its licensors retain all right, title and interest both tangible and intangible in and to all copies of the Documentation and the Software at all times, regardless of the form or media in or on which the original or other copies may subsequently exist. This license is not a sale of the original or any subsequent copy. The Software and Documentation are protected by copyright and other intellectual property laws and by international treaties. Any and all other copies of the Software or Documentation made by You are in violation of this license. All content accessed through the Software is the property of the applicable content owner and may be protected by applicable copyright law. This license gives You no rights to such content. All trademarks used in connection with the Software and Documentation are owned by Nutanix, its affiliates and/or its licensors and other suppliers, and no license to use any such trademarks is provided hereunder.
Feedback. The purpose of this license is the internal testing and evaluation of the Software by you. In furtherance of this purpose, you and/or the Software shall from time to time provide comments and feedback to Nutanix concerning the functionality and performance of the Software, including, without limitation, usability, bug reports, potential errors and improvements, test data, results, and analytics, and performance data and test results (collectively, «Feedback»). You hereby assign to Nutanix all of your right, title and interest in and to any Feedback, including any intellectual property rights you may have in such Feedback, and in the event that any such assignment is found to be invalid, you hereby grant to Nutanix a worldwide, non-exclusive, perpetual, irrevocable, royalty-free, fully paid-up right and license (i) to use, reproduce, copy, disclose, sublicense, modify, make, have made, distribute, sell, offer for sale, display, perform, create derivative works of, permit unmodified binary distribution and otherwise exploit such Feedback (and any derivative works thereof) with any restriction, and (ii) to sublicense to third parties the foregoing rights, including the right to sublicense to further third parties. All Feedback shall be deemed Confidential Information of Nutanix and shall be subject to the provisions of Section 12 below.
No Support Services. Nutanix is under no obligation to support the Software in any way or to provide any modifications, error corrections, bug fixes, patches or other updates to or for the Software («Updates»). In the event Nutanix, in its sole discretion, supplies any Update to you, such Update shall be deemed Software hereunder and shall be subject to the terms and conditions of this Agreement. Upon Nutanix's release of any Update, you shall upgrade your software reflect the Update and cease all use of the former version of the Software within 30 days of the release of the Update.
Roadmap. Nutanix may disclose information related to its development and plans for future products, features or enhancements («Roadmap»). Roadmap information is subject to change at any time, without notice. Nutanix provides no assurances, and assumes no responsibility, that future products, features or enhancements will be introduced. You acknowledge that: a) you are not making a decision to use the Software based upon reliance of timeframes or specifics outlined in the Roadmap, and b) such decision would not be affected if Nutanix delays or never introduces the future products, features or enhancements.
Term and Termination. This Agreement and Your right to use the Software and Documentation may be terminated by You at any time upon written notice. This Agreement automatically terminates if (a) You or any of Your employees or consultants fail to comply with its terms and conditions; or (b) You terminate or suspend Your business, become insolvent, admit in writing Your inability to pay Your debts as they mature, make an assignment for the benefit of creditors or become subject to any bankruptcy or insolvency proceeding. Upon expiration or termination of this Agreement for any reason: (a) all licenses granted by Nutanix shall immediately terminate; (b) You shall immediately discontinue use of the applicable Software and products; © You shall promptly remove Your confidential data, if any, and immediately return the products and related materials to Nutanix or the party from whom the product was obtained; (d) You shall destroy all copies of the Software and Documentation in Your possession, custody or control; and (e) if requested, You shall certify to Nutanix in writing that such return or destruction has occurred. The preamble as well as Section 2, 4, 8, 9, 10, 11, 12, 13, 15, 16, and 17 shall survive any expiration or termination of this Agreement.
NO WARRANTY. YOU AGREE THAT THE SOFTWARE AND DOCUMENTATION ARE PROVIDED TO YOU ON AN «AS IS» BASIS, AND THAT NUTANIX AND ITS LICENSORS MAKE NO OTHER WARRANTIES AS TO THE SOFTWARE OR DOCUMENTATION, INCLUDING WITHOUT LIMITATION UNINTERRUPTED USE, ACCURACY, AND DATA LOSS. NUTANIX AND ITS LICENSORS DISCLAIM ALL OTHER WARRANTIES, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE IMPLIED WARRANTIES OF MERCHANTABILITY, NON-INFRINGEMENT AND FITNESS FOR A PARTICULAR PURPOSE (EVEN IF NUTANIX KNOWS OR SHOULD HAVE KNOW OF SUCH PURPOSE), RELATED TO THE SOFTWARE OR DOCUMENTATION, ITS USE OR ANY INABILITY TO USE IT, THE RESULTS OF ITS USE AND THIS AGREEMENT, AND ANY WARRANTIES ARISING BY STATUTE OPERATION OF LAW, COURSE OF DEALING OR PERFORMANCE, OR USAGE OF TRADE, OR THAT THE SOFTWARE WILL BE COMPATIBLE OR WORK WITH ANY THIRD PARTY SOFTWARE OR HARDWARE OR ANY OTHER NUTANIX PRODUCTS. NUTANIX AND ITS LICENSORS DO NOT WARRANT THAT THE SOFTWARE OR DOCUMENTATION OR ANY RESULTS OF USE THEREOF WILL BE FREE OF DEFECTS, ERRORS OR VIRUSES, RELIABLE OR ABLE TO OPERATE ON AN UNINTERRUPTED BASIS OR IN A PARTICULAR ENVIRONMENT, OR THAT ERRORS THEREIN, IF ANY, WILL BE CORRECTED. YOU FURTHER ACKNOWLEDGE THAT THE SOFTWARE IS NOT INTENDED OR SUITABLE FOR USE IN SITUATIONS OR ENVIRONMENTS WHERE THE FAILURE OR TIME DELAYS OF, OR ERRORS OR INACCURANCIES IN THE CONTENT, DATA OR INFORMATION PROVIDED BY THE NUTANIX SOFTWARE COULD LEAD TO DEATH, PERSONAL INJURY, OR SEVERE PHYSICAL OR ENVIRONMENTAL DAMAGE.
LIMITATION OF LIABILITY. TO THE FULLEST EXTENT PERMITTED BY LAW, NUTANIX AND ITS LICENSORS SHALL NOT BE LIABLE FOR ANY DAMAGES, WHETHER IN CONTRACT OR TORT (INCLUDING NEGLIGENCE) OR ANY OTHER LEGAL OR EQUITABLE THEORY, ARISING FROM THIS AGREEMENT, INCLUDING WITHOUT LIMITATION ANY INDIRECT, CONSEQUENTIAL, SPECIAL, EXEMPLARY, INCIDENTAL DAMAGES, EVEN IF NUTANIX HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGES OR FOR ANY LOST REVENUES, GOODWILL OR PROFITS, BUSINESS INTERRUPTION, PROCUREMENT OF SUBSTITUTE HARDWARE, SOFTWARE OR SERVICES, LOST DATA, WORK STOPPAGE, RE-RUN TIME, INACCURATE OUTPUT, COMPUTER FAILURE OR MALFUNCTION. YOU AGREE THAT YOU SHALL HAVE THE SOLE RESPONSIBILITY FOR PROTECTING YOUR DATA, BY PERIODIC BACKUP OR OTHERWISE. IN ANY CASE, NUTANIX'S SOLE LIABILITY AND YOUR EXCLUSIVE REMEDY UNDER ANY PROVISION OF THIS AGREEMENT SHALL BE THE REPLACEMENT OF THE SOFTWARE FOUND TO BE DEFECTIVE, WITH THE EXCEPTION OF DEATH OR PERSONAL INJURY CAUSED BY THE NEGLIGENCE OF NUTANIX TO THE EXTENT APPLICABLE LAW PROHIBITS THE LIMITATION OF DAMAGES IN SUCH CASES. NUTANIX SHALL NOT BE LIABLE FOR ANY CLAIM BROUGHT MORE THAN ONE YEAR AFTER THE CAUSE OF ACTION FOR SUCH CLAIM FIRST AROSE. BECAUSE SOME JURISDICTIONS DO NOT ALLOW THE EXCLUSION OR LIMITATION OR LIABLITY FOR CONSEQUENTIAL OR INCIDENTAL DAMAGES, THE PRECEDING LIMITATIONS MAY NOT APPLY TO YOU IN WHICH CASE NUTANIX'S LIABILITY UNDER THIS AGREEMENT WILL NOT EXCEED $100.
Infringement. Subject to the remainder of this section, Nutanix shall defend or settle, at its own expense, any third-party action against You to the extent based upon a claim that the Software infringes any copyright or trademark or misappropriates any trade secret, and will pay such damages or costs as are finally awarded against You attributable to such claim, provided that You (i) notify Nutanix promptly in writing of any such action, (ii) give Nutanix sole control of the defense and/or settlement of such action (iii) give Nutanix all reasonable information and assistance, and (iv) are not in material breach of this Agreement. Should the Software become, or in the opinion of Nutanix be likely to become, the subject of such an infringement claim, Nutanix may replace or modify, in whole or in part, the Software to make it non-infringing. Nutanix assumes no liability hereunder for: (a) any method or process in which the Software may be used; (b) its compliance with Your specifically requested specifications; © use of software other than a current unaltered release of the Software or use of any older version of the Software when the use of a newer release of the Software made available to You would have avoided the infringement; (d) the combination, operation or use of the Software with non-Nutanix products or services; or (e) use of the Software in a manner or for a purpose for which it was not intended. You shall indemnify and hold harmless Nutanix and its officers, directors, employees, agents, successors and assigns against any damages, losses, and expenses (including reasonable attorneys' fees) arising from any third-party action to the extent based upon a claim that the Software infringes any copyright or trademark or misappropriates any trade secret due to any of the foregoing factors, and shall give Nutanix all reasonable information and assistance regarding such claim.
THIS SECTION SETS FORTH NUTANIX'S ENTIRE LIABILITY AND OBLIGATION AND YOUR SOLE REMEDY FOR ANY CLAIMS OR ACTIONS OF INFRINGEMENT OF ANY INTELLECTUAL PROPERTY RIGHTS.
Confidentiality. «Confidential Information» shall mean the Software and Documentation and all other information disclosed to You that Nutanix characterizes as confidential at the time of its disclosure either in writing or orally, except for information which You can demonstrate: (a) is previously rightfully known to You without restriction on disclosure; (b) is or becomes, from no act or failure to act on Your part, generally known in the relevant industry or public domain; © is disclosed to You by a third party as a matter of right and without restriction on disclosure; or (d) is independently developed by You without access to the Confidential Information. You shall use Your best efforts to preserve and protect the confidentiality of the Confidential Information at all times. You shall not disclose, disseminate or otherwise publish or communicate Confidential Information to any person, firm, corporation or other third party without the prior written consent of Nutanix. You shall not use any Confidential Information other than in the course of the activities permitted hereunder. You shall notify Nutanix in writing immediately upon discovery of any unauthorized use or disclosure of Confidential Information or any other breach of this Agreement, and will cooperate with Nutanix in every reasonable way to regain possession of Confidential Information and prevent any further unauthorized use. If You are legally compelled to disclose any of the Confidential Information, then, prior to such disclosure, You will (i) immediately notify Nutanix prior to such disclosure to allow Nutanix an opportunity to contest the disclosure, (ii) assert the privileged and confidential nature of the Confidential Information, and (iii) cooperate fully with Nutanix in protecting against any such disclosure and/or obtaining a protective order narrowing the scope of such disclosure and/or use of the Confidential Information. In the event such protection is not obtained, You shall disclose the Confidential Information only to the extent necessary to comply with the applicable legal requirements. The foregoing obligations shall survive any termination or expiration of this Agreement.
Injunctive Relief. You acknowledge and agree that Your breach or threatened breach of this Agreement shall cause Nutanix irreparable damage for which recovery of money damages would be inadequate and that Nutanix therefore may obtain timely injunctive relief to protect its rights under this Agreement in addition to any and all other remedies available at law or in equity.
Export Controls. Each Party shall comply with all laws applicable to the actions contemplated by this Agreement. You acknowledge that the Software is of United States origin, and is subject to the U.S. Export Administration Regulations, and may be subject to the export control laws of the applicable territory, and that diversion contrary to applicable export control laws is prohibited. You represent that (1) You are not, and are not acting on behalf of, (a) any person who is a citizen, national, or resident of, or who is controlled by the government of any country to which the United States has prohibited export transactions; or (b) any person or entity listed on the U.S. Treasury Department lists of Specially Designated Nationals, Foreign Sanctions Evaders, Sectoral Sanctions Identifications, or Palestinian Legislative Council; or the U.S. Commerce Department Denied Persons List, Entity List, or Unverified List; or the U.S. State Department Nonproliferation Sanctions, or Debarred List; and (2) You will not permit the Software, directly, or indirectly, to be used for any purposes prohibited by law, including any prohibited development, design, manufacture or production of missiles or nuclear, chemical or biological weapons. The Software and Documentation are deemed to be «commercial computer software» and «commercial computer software documentation», respectively, pursuant to DFARS Section 227.7202 and FAR Section 12.212(b), as applicable. Any use, modification, reproduction, release, performing, displaying or disclosing of Software and Documentation by or for the U.S. Government shall be governed solely by the terms and conditions of this Agreement. You agree that the Software may not be exported/re-exported to Cuba, Iran, North Korea, Sudan and Syria. Furthermore, You agree not to resell, transfer, or re-export products without prior authorization from Nutanix or the U.S. government to any military entity of: Albania, Armenia, Azerbaijan, Belarus, Cambodia, China (PRC), Georgia, Iraq, Kazakhstan, Kyrgyzstan, Laos, Macau, Moldova, Mongolian P.R., Russia, Tajikistan, Turkmenistan, Uzbekistan, Ukraine, Vietnam.
Governing Law. To the extent permitted by applicable law, this Agreement is governed by and construed in accordance with the substantive laws of the State of California, U.S.A. and You expressly and irrevocably agree and submit to the exclusive jurisdiction of the federal and state courts located in Santa Clara County, California, U.S.A. This Agreement will not be governed by the conflict of laws rules of any jurisdiction or the U.N. Convention on Contracts for the International Sale of Goods, the application of which is expressly excluded.
Miscellaneous. If any part of this Agreement is held invalid or unenforceable, that part shall be construed to reflect the parties' original intent, and the remaining portions remain in full force and effect. The controlling language of this Agreement is English. If You have received a translation into another language, it has been provided for Your convenience only. A waiver by either party of any term or condition of this Agreement or any breach thereof, in any one instance, shall not waive such term or condition or any subsequent breach thereof. You may not assign, delegate any performance, or otherwise transfer by operation of law or otherwise this Agreement or any rights or obligations herein. You agree not to copy, sell, give or assign the Software or any part thereof to a third party. Nutanix may assign this Agreement to any person or entity at its sole discretion. You represent and warrant that the performance of any activities contemplated by this Agreement do not and shall not conflict with any other agreement or obligation to which You are a party or by which You are bound. This Agreement shall be binding upon and shall inure to the benefit of the Parties, their successors and permitted assigns. This Agreement constitutes the entire and sole agreement between You and Nutanix with respect to the Software and Documentation and supersedes all prior and contemporaneous agreements relating to the Software and Documentation, whether oral or written (including any inconsistent terms contained in a purchase order). If You are found to have breached Section 2 or Section 10 of this Agreement, then Nutanix shall be awarded attorney fees, costs and expenses. This Agreement may be amended only in writing signed by authorized representatives of both Parties and specifically referring to this provision. This Agreement will be interpreted without being construed for or against either Party. The words «includes» and «including» and the abbreviation «e.g.» will be deemed to be followed by the words «without limitation».
User Outside the U.S. If You are using the Software or Documentation outside the U.S., then the following shall apply: (a) You confirm that this Agreement and all related documentation is and will be in the English language; (b) You are responsible for complying with any local laws in Your jurisdiction which might impact Your right to import, export or use the Software and Documentation, and You represent that You have complied with any regulations or registration procedures required by applicable law to make this license enforceable.
yakmax
Впечатляет, жаль мне такое ни к чему, так бы попробовал.
shweew
Да уж, круто, 10 килобаксов на пробу, мне бы их хотя бы на посмотреть...:-))
romxx
Ну, не у всех так плохо живется, что 10К ужос-ужос, не надо нагнетать. 10К на датацентр на 4 сервера и несколько активных десятков виртуалок это подъемно даже для малого бизнеса. Конечно такого, который может это загрузить задачами. А который не может загрузить, ему, конечно, и не нужно.
shapa
кому на пробу — можно менее чем в 1000$k уложиться, роман статью делал у себя в блоге.
http://blog.in-a-nutshell.ru/diy-lab-for-nutanix-ce-intel-nuc/
wanomgn
уложиться менее чем в лям баксов?? ;-)
romxx
Рука соскользнула )
shapa
Да, привыкли что-то к большим проектам ;)))
nutanix
Да без проблем. Энджой!)))