После запуска нашего Nutanix Community Edition, бесплатной, «софтовой» версии Nutanix, которое может устанавливаться на произвольное, пользовательское «железо», мне часто приходилось отвечать на вопросы: «А что делать, если у нас нет подходящего физического сервера? Можно ли поставить его как „виртуальный апплаенс“, внутри гипервизора, на виртуальную машину?»
Летом разработчики собрали версию, которая научилась работать в режиме nested virtualization, то есть виртуалка CVM, работающая в гипервизоре KVM, который, в свою очередь, работает в гипервизоре VMware ESXi, и этот последний как раз и эмулирует для нашего гипервизора нужное «железо».
Вот как это можно сделать:
Для начала, вам нужен сервер под гипервизором ESXi и достаточным количеством памяти. CVM каждой ноды займет 16GB, и еще сколько-то вам будет нужно оставить для самих ваших VM в среде Nutanix CE.
Минимальное число нод у CE — одна (при этом, конечно, не будет никакой отказоустойчивости), максимальное — четыре. Две не поддерживается, соответственно вариантов три: одна (без отказоустойчивости), три и четыре.
Вот пример сервера, на котором описанный метод тестировался:
2 x 8 core Intel Xeon E5-2680
384GB RAM
500GB SSD
1024GB HDD
VMWare ESXi 5,5 U2
Помните, однако, что, в любом случае, вам понадобятся в сервере диски SSD. Да, существует способ «обмануть», и сделать так, чтобы и ESXi и Nutanix сочли подсунутый вами HDD как SSD, но ничего хорошего из этого не выйдет, поверьте, так что — только SSD. Не обязательно это должен быть серверный Intel S3700/S3610, как используем мы, но это должен быть диск достаточного размера и с хорошим быстродействием, иначе произвдительности вы не увидите.
Подготовим boot-диск. Вы скачали с форума Nutanix CE образ диска для установки, который выглядит как-то так: ce-2015.06.08-beta.img.
Теперь переименуем его в файл, с именем: ce-flat.vmdk.
Создадим файл дискового дескриптора: ce.vmdk
Содержимое файла дискового дескриптора (для версии ce-2015.06.08-beta) можно использовать вот это:
# Disk DescriptorFile
version=4
encoding="UTF-8"
CID=a63adc2a
parentCID=ffffffff
isNativeSnapshot="no"
createType="vmfs"
# Extent description
RW 14540800 VMFS "ce-flat.vmdk"
# The Disk Data Base
#DDB
ddb.adapterType = "lsilogic"
ddb.geometry.cylinders = "905"
ddb.geometry.heads = "255"
ddb.geometry.sectors = "63"
ddb.longContentID = "2e046b033cecaa929776efb0a63adc2a"
ddb.uuid = "60 00 C2 9b 69 2f c9 76-74 c4 07 9e 10 87 3b f9"
ddb.virtualHWVersion = "10"
Теперь создадим виртуальную машину.
Создадим новую VM, в качестве типа выберем CentOS 4/5/6/7 (64bit).
Зададим количество vCPU — 12 (минимум — 4, но не рекомендуется).
Зададим объем RAM — 128GB (минимум — 16).
Установим объем HDD равным 900GB, маппинг на SCSI0:0 (минимум — 500GB)
Установим объем SSD равным 350GB, маппинг на SCSI0:1 (минимум — 200GB)
Выберем NIC типа Intel E1000.
Теперь можно зайти в датастор по SCP, и залить туда наш ce-flat.vmdk и ce.vmdk
Отредактируем настройки VM. Установите настройки VM – CPU -> Hardware virtualization -> Expose hardware assisted virtualization to the guest OS.
Добавим новый SATA-контроллер.
Смонтируем наш vmdk на этот контроллер.
Теперь можно запустить VM и инсталлировать CE.
Запускаем VM, и входим в ее BIOS, нажав при загрузке F2.
Устанавливаем как загрузочное устройство SATA-контроллер.
Загружаемся.
Как вы уже знаете, в CE используется KVM на базе CentOS в качестве гипервизора. Другие варианты на CE мы не делаем. Но, с KVM Management Tool, имеющемся в GUI, можно достаточно удобно работать в KVM.
После загрузки и до инсталляции можно сделать несколько опциональных настроек:
Отредактировать файл /home/install/phx_iso/phoenix/sysUtil.py, указав (изменив) там строки: «SSD_rdIOPS_thresh = 5000” и “SSD_wrIOPS_thresh = 5000”, это поможет, если у вас не вполне подходящий SSD.
Отредактировать размер памяти, выделяемый под нужды CVM.
Там же, в файле /home/install/phx_iso/phoenix/sysUtil.py отредактировать строку “SVM_GB_RAM = 16” (это объем памяти, который будет выделен CVM в гигабайтах).
Помните, однако, что память для CVM насущно нужна, и уменьшение ее объема может существенно снизить быстродействие.
Логин в консоль: root, пароль: nutanix/4u (10 символов, все маленькие, восьмой — слэш).
Запускаем инсталляцию, логинясь пользователем install
На коммутаторе vSwitch, к которому подключен VM с Nutanix CE, следует включить Promiscous Mode, иначе CVM не увидится.
Готово. Например с помощью такой nested install удалось поставить Nutanix CE под ESXi 5.5U2 на сервер HP ProLiant, не подходящий по оборудованию для установки CE.
Однако помните, что производительность такого решения может быть далека от того, что оно может показать „на железе“, однако чтобы „посмотреть“ или научится можно использовать и такой вариант.
navion
А когда обновят CE?
На форуме только древняя июльская бета, которая ничего не умеет и с кучей багов.
netto
Как много резких слов и гипербол. :) Прямо вот «древняя» июльская, которая прям «ничего не умеет» ;)
Потерпите, все будет. В конце концов вы за нее не платите, чтобы что-то требовать от разработчиков.
navion
Я интересуюсь.
По багам есть темы на форуме, по фичам — честно говоря сам бросил знакомство после второй беты, в которой даже ISO для установки нельзя было загрузить. А по хайпу ждал увидеть что-то вроде ESXi версии 3.5, но получил наскоро сделанный техникал превью.
Erasure Coding Tech Preview: Erasure coding increases the effective or usable capacity on a cluster.
Acropolis Image Service: Image service enables you to import the images (ISOs, disk images, or any images which are supported in ESXi or Hyper-V format) directly into Acropolis.
Acropolis High Availability (HA): When a node becomes unavailable, VMs that are running on that node are restarted on another node in the same cluster.
Acropolis Volume Management: The Acropolis volumes API exposes back-end NDFS storage to guest operating system, physical hosts, and containers through iSCSI.
Improved single-node cluster setup during the installation process — 192.168.5.x is explicitly disallowed for host & CVM, other 192.168.x.x IPs will work correctly.
Improved installation error handling.
Installation process will correctly truncate device WWNs that exceed 16 characters.
shapa
Загрузка ISO — она делается на датастор, можно например по NFS. В новой версии сделали в том числе через браузер и :2222 sftp, как более удобный вариант дополнительный.
Что означает «нельзя было загрузить» — не ясно, видимо отсутствие желания читать документацию :) Загружать можно было с самой первой версии.
Список что привели — просто небольшой список улучшений / новых фич / изменений логики, но это НЕ исправления багов.
Еще раз просьба указать «кучу багов» с которой вы столкнулись.
netto
> Я интересуюсь.
А, ну так бы сразу и сказали, что вы из «любопытствующих», а то я было подумал… ;)
> честно говоря сам бросил знакомство после второй беты
Вот-вот %) А сколько крику было…
shapa
По поводу беты — забавно.
Это полноценная 4.1 с тонной функционала, который по большей части большинство вендоров еще не смогли имплементировать и на которой до сих пор у нас 80% клиентов сидит.
Баги — о какой «куче» идет речь? Что конкретно не работает?
alexkuzko
Как это не платим? А время, вовлечённость, отзывы и популяризация в целом? Бесплатность не должна подразумевать второсортность!
nutanix
> А время, вовлечённость, отзывы и популяризация в целом?
Но-но, полегче. А то еще пару шагов, и Nutanix окажется вам должен денег за то, что вы хотя бы скачали у него бесплатный продукт ))
А никто и не говорит про «второсортность». Что же касается «ничего не умеет» и «с кучей багов» это у человека фантазия разгулялась. ) Продукт вполне рабочий и функциональный, есть примеры вполне удачного его использования в продакшне (хоть мы, официально, и не рекомендуем). Посмотрите хотя бы форум комьюнити.
alexkuzko
Уточнение: не просто скачали, а стали использовать. Т.е. инвестировали свои средства и время. Поверили, в конце концов!
Я в другом посте немного дискутировал с вами на этот счет. Повторяться не буду.
Удачи в развитии продукта! Не забывайте про тех, кто использует CE. Неудачные эксперименты с ними могут привести к негативному эффекту (не будут рекомендовать, или, хуже того, будут отговаривать от коммерческих решений Nutanix — даже если это будет не совсем справедливо).
nutanix
> Я в другом посте немного дискутировал с вами на этот счет.
Со мной? Не припомню. Вы, вероятно, меня путаете с shapa
Он — это он, я — это я, мы два разных человека.
> Не забывайте про тех, кто использует CE.
Никто про них не забывает, но и с вашей стороны становится в позу «я тут в вас инвестирую, поэтому, будьте ка добры передо мной вести себя как перед дорогим клиентом» — тоже чрезмерно высокомерно и наивно.
Хотите использовать бесплатную версию — берете и используете. Не хотите — не используете. Пойдите вон Торвальдсу расскажите, что вы «в него инвестируете», расскажете, что он вам ответит ;)
shapa
Все это очень ценится, задача компании получить «армию здоровых фанатов» :)
CE использует тот-же самый код, но всегда будет чуть отставать (месяц-два) от коммерческой ветки ввиду заведомо меньших инженерных ресурсов выделенных.
Ввиду того что CE имеет определенную специфику (не использует проброс PCI устройств, а маппинг дисков — для совместимости с разными моделями контроллеров), требуется некоторое время на выпуск.
NoOne
У вас какие-то устаревшие данные. Уже давно нет лимита по памяти в том числе и в бесплатной редакции VMware ESXi (кроме, естественно, оговоренных максимальный конфигураций, для 5.5, например, 4 ТБ)
shapa
Да, коллега ошибся — я тоже когда вчера читал обратил внимание, но с айфона статью поправить сложно оказалось.
Number of cores per physical CPU: No limit
Number of physical CPUs per host: No limit
Number of logical CPUs per host: 480
Maximum vCPUs per virtual machine: 8
nutanix
Спасибо, не слежу особенно за Free версией. С мая этого года действительно лимиты отменили.