От заказчика поставлена задача – расширить файловый сервер. Как создавался файловый сервер компании на PowerMac G5 в 2016, и какого было обслуживать созданное legacy достойно отдельной статьи. Решено было расширение совместить с модернизацией и сделать файловый сервер из имеющегося MacPro. И раз уж он на процессоре intel, то можно сделать и виртуализацию.
Задача вполне выполнимая, но пришлось столкнуться с рядом трудностей, и по крупицам собирать данные об их решении. Также, поиск решения часто затенялся результатами по обратной проблеме «установка mac os на VMware».
Для закрепления полученного опыта, сбора всех крупиц в одно место и перевода их на русский язык и создана данная статья.
Требование к читателю: быть знакомым с установкой VMware ESXi на совместимое с ним железо, например, сервера HP. Быть знакомым с техникой Applе. В частности, не привожу подробности сборки-разборки MacPro, а там ньюансов немало.
1. Аппаратная часть
MacPro 1,1, он же MA356LL/A, он же A1186 — первый компьютер от apple на процессорах intel, выпускался 2006-2008г. Несмотря на возраст более 10 лет, комп в отличном физическом состоянии. Ни один из 4 мощнейших вентиляторов не шумит. Требуется стандартная чистка и сборка-разборка.
Процессоры — 2 двухъядерных Xeon 5150. Полностью 64-битная архитектура, но EFI загрузчик 32 битный. Это очень важно, сильно отравляет жизнь!
ОЗУ – стандартно 4гб PC5300 DDR2 ECC 667MHz, можно легко расширить до 16Гб, а некоторые говорят, что и более. Память подходит серверная от старых HP gen.5-6, да и вообще комп очень напоминает данный сервер только в другом корпусе.
НЖМД — 4 корзины для 3.5” (LFF). С некоторыми физическими доработками в корзины влезает 2.5" (SFF). Подробнее об этом можно посмотреть [8] SSD в Apple Mac Pro 1.1.
Также имеется IDE DVD, до 2 шт формата 5.25". Но, предусмотрены еще разъемы SATA. На материнской плате называются ODD SATA (ODD = Optical Disk Drive). Мои эксперименты показали, что в данное место можно и нужно устанавливать жесткие диски и SSD.
Не забывать про некоторые трудности с питанием: выведено всего 2 molex, нагрузочная способность неизвестна. Блок питания не такой как на pc, все питание идет через материнку, разъемы на ней для питания нестандартные.
Разъем ODD
Стандартный 0.5м коротковат, будет внатяг и подключать его единственно удобно в последний момент перед завершением задвигания корзины в корпус.
Потребуется кабель SATA 0.8м, желательно с угловым разъемом. 1м многовато.
В качестве физического переходника 5.25-2.5 прекрасно подходит корпус ненужного CD-ROM. Если нет ненужного – таковым он точно станет после отделения начинки от корпуса.
Обзор аппаратной части и возможностей ее модернизации на этом можно завершить. Забегая вперед скажу только, что не стоит торопиться все сразу собирать и устанавливать, в процессе нам потребуется извлекать жд.
2. Выбор ESXi
Используя таблицу совместимости от VMware можно понять, что Xeon 5150 поддерживается максимум ESXi 5.5 U3. Именно эту версию и будем устанавливать.
В ESXi 6.0 выкинули поддержку всего «устаревшего». Официально его и более новые типа 6.7 сюда ставить нельзя, реально — может и получится. В интернетах встречались упоминания, что это удачно. Но, не в этот раз, мое мнение что несовместимость по процессору сильное колдунство. В продакшн так нельзя, только для опытов.
Для новых версий ESXi методы доработки напильником предполагаю те же.
3. Доработка напильником дистрибутива
Дистрибутив брал стандартный. Можно с оф сайта, можно с торрентов. ESXi 5.5 U3.
Но, помните обращал внимание на полностью 64-битная архитектуру, но EFI загрузчик 32 битный?! Вот тут-то он и встретится. При попытке загрузки установщика ничего не происходит.
Требуется заменить загрузчик установщика более старыми, 32-битным. Вроде от версии даже более ранней чем 5.0.
Подробно это описано в статье [2] Mac Pro compatibility with installing ESXi 5.0, файл BOOTIA32.EFI берем оттуда же.
Используем программу редактирования iso (например, ultraiso). Находим внутри iso папку \EFI\BOOT и заменяем файл BOOTIA32.EFI на старый, сохраняем, и вот все уже грузится!
4. Установка ESXi
Никаких подробностей, все как всегда. Установка завершилась успешно, но ничего не грузится, это нормально!
5. Доработка напильником загрузчика
Алгоритм действий указан в статье [3] Bringing an Old Mac Pro Back to Life with ESXi 6.0, там же приводится ссылка на архив 32- bit booter files.
5.1. Извлекаем жесткий диск и подключаем его к другому компу.
Я использовал аппаратную версию MacBook с переходником sata-usb, можно использовать Linux. Если нет отдельного компа, можно использовать еще один жд, воткнуть его в MacPro, установить на него MacOS, и из нее же монтировать жесткий диск с ESXi.Нельзя использовать Windows! Даже просто раз включив этот диск в систему виндовс, в него будут без спроса внесены небольшие изменения. Небольшие и никому типа не мешают, но в нашем случае загрузка ESXi закончится ошибкой «Bank6 not a vmware boot bank no hypervisor found».
Вот статья с подробностями что происходит если все-таки воткнули [4] bank6 not a VMware boot bank no hypervisor found. А вот метод решения простой и быстрый – ставим ESXi заново!
5.2 Монтируем раздел EFI
Открываем Терминал, обязательно переходим в режим суперпользователя
Sudo –sСоздаем каталог для будущего раздела
mkdir /Volumes/EFIсмотрим имеющиеся разделы
diskutil listвот что нам нужно, раздел EFI с названием ESXi
Монтируем его
mount_msdos /dev/disk2s1 /Volumes/EFIНа примонтированном диске нужно будет заменить файлы на старые версии. Старые версии можно найти в [3], архив 32- bit booter files
Файлы для замены:
/EFI/BOOT/BOOTIA32.EFI
/EFI/BOOT/BOOTx64.EFI
/EFI/VMware/mboot32.efi
/EFI/VMware/mboot64.efi
По завершении отключаем примонтированный EFI-раздел
umount -f /Volumes/EFIЗаметка об изготовлении образа
В идеале неплохо бы понять, где эти файлы лежат внутри дистрибутива. Тогда их можно будет заменить прямо там, и выпустить собственный дистрибутив «ESXi 5.5 для старого MacPro», полностью готовый к безпроблемной инсталляции.
Мне не удалось их найти. Почти все файлы с расширениями вида ".v00" в дистрибутиве ESXi это tar архивы разных видов. В них вложены архивы .vtar, в них еще архивы… Программой 7zip долго я копал эти безконечные вложенности, но ничего напоминающего раздел EFI не удалось найти. В основном там директории линукса.
Наиболее подходящим казался файл efiboot.img, но его можно легко открыть и увидеть, что там совсем не то.
5.3. Вынимаем жд и устанавливаем его в MacPro
Уже ставим навсегда, все привинчивая и собирая.
И вот у нас уже грузится ESXi!
Может показаться, что это не так. От момента включения и белого экрана до черного экрана загрузки ESXi проходит чуть больше времени, чем до привычного яблока mac os.
6. END.
На этом установка закончена, настройка ESXi как обычно для настройки ESXi.
Стоит отметить, что дальнейшая установка Mac Os на такой VMware установленный на оборудование Apple легальна.
Литература
Ссылки на статьи, большинство англоязычные.
[1] Sata Optical Drive in Mac Pro 1,1 = замена IDE сидюка на SATA, ну или на жд.
https://discussions.apple.com/thread/3872488
http://www.tech.its.iastate.edu/macosx/downloads/MacPro-SATA-INS.pdf
[2] Mac Pro compatibility with installing ESXi 5.0 = про замену загрузчика для установки
https://communities.vmware.com/thread/327538
[3] Bringing an Old Mac Pro Back to Life with ESXi 6.0 = про замену загрузчиков уже установленной ESXi.
https://neckercube.com/posts/2016-04-11-bringing-an-old-mac-pro-back-to-life-with-esxi-6-0/
[4] bank6 not a VMware boot bank no hypervisor found = что будет если подключить под виндой
https://communities.vmware.com/thread/429698
[5] ESXi 5.x host fails to reboot after installation with the error: Not a VMware boot bank. No hypervisor found (2012022) = и официальный совет как это исправлять
https://kb.vmware.com/s/article/2012022
[6] Как примонтировать EFI-раздел в Mac OS
https://kim.tools/blog/page/kak-primontirovat-efi-razdel-v-mac-os
[7] VMware Compatibility Guide
https://www.vmware.com/resources/compatibility/search.php
[8] SSD в Apple Mac Pro 1.1 = установка 2.5" в 3.5" салазки своими силами
http://www.efxi.ru/more/upgrade_ssd_mac_pro.html
[9] Предложение купить готовые адаптеры для салазок
https://everymac.com/systems/apple/mac_pro/faq/mac-pro-how-to-replace-hard-drive-install-ssd.html
[10] Спецификация использованного MacPro
https://everymac.com/systems/apple/mac_pro/specs/mac-pro-quad-2.66-specs.html
Список файлов
BOOTIA32.EFI загрузчик установки из [2]
32- bit booter files, замена загрузчика из [3]
Комментарии (41)
crazymassa
23.11.2019 00:20Ну нет, реально, зачем? Потраченное время стоит дороже чем купить надёжное железо, неужели скорость работы воооооооообще не нужна?
boroda_el Автор
23.11.2019 00:23Файловый сервер небольшой рабочей группы вполне вытянет.
Железо можно и новое купить, там конечно проще все сделать, особенно если нет желания и возможности заниматься сложной некромантией. А если есть, почему бы из старого не повыжимать еще?
vodopad
23.11.2019 11:05А зачем ставить ESXI для файлового сервера?
Retifff
23.11.2019 11:11Чтобы в будущем перенести виртуалку файлового сервера на другое железа, как вариант. Плюс только стандартные дрова для виртуалок, меньше геморроя. И т.п.
EvgeniyNuAfanasievich
23.11.2019 20:25есть же такая тема, как hdd2vhd, и vmware конвертер из .vhd в .vmdk
ps в пятом пункте какая-то хитровымудренная дичь. если LiveCd-USB с линуксом же.boroda_el Автор
24.11.2019 12:07Насчет LiveCD что-то не подумал. Такой вариант возможен, и наверное действительно проще.
apple01
25.11.2019 22:19В общем создавать файловый сервер под esxi не самое оптимальное (производительность, размер томов и т.п.). Другое дело когда уже есть готовый vmware сервер со свободными ресурсами, а требования к файловому серверу невелики.
crazymassa
23.11.2019 00:43Вытянуть то по соточке мбит оно сможет, но сможет ли оно не упав протянуть пару лет?
khim
23.11.2019 01:26Вытянуть то по соточке мбит оно сможет, но сможет ли оно не упав протянуть пару лет?
Оно ещё и вас переживёт. Mac Pro — штука дорогая, но весьма и весьма надёжная.mistiq
24.11.2019 12:09с каких пор дорого и надежно синонимы? оно дорого совсем не по этому.
khim
25.11.2019 05:17Оно дорого потому что его задорого покупают, очевидно. А да, примеры дорогих и ненадёжных железок у Apple тоже имеются — те же MacBook Pro с «бабочкой».
Но вот конкретно Mac Pro старые — вещь неубиваемая, там серверное железо и всё сделано примерно как у хороших серверов HP (которые тоже, фактически, неубиваемы). Речь идёт о моделях до пресловутого «мусорного ведра», конечно.
boroda_el Автор
23.11.2019 02:11PowerMac G5 выдавал 100-120МБ/сек, т.е. почти гигабит. Упиралось все в скорость ЖД. Интерфейс мог бы и 2Г выдать. MacPro не думаю что будет меньше выдавать. Как протестирую выложу результат.
Navistar
25.11.2019 18:17Не рекомендация, но еще можно навернуть RAID и кеширование на SSD: habr.com/ru/post/323824
osipov_dv
23.11.2019 09:52+1А давно ESXi стал файловым сервером?
ZekaVasch
23.11.2019 11:58+1Ну он может им стать.
osipov_dv
23.11.2019 16:01+2не может, это система виртуализации, там нет шар.
Если речь о виртуалке на ESXi, то зачем весь этот цирк? Так бы и назвали — ставим ESXi на мак.ZekaVasch
25.11.2019 00:35Зачем тогда ставить гипервизор для виртуальных машин если не ставить на него виртуальные машины? Любоваться? вы не допускаете вариант, что он поставит винду или не поднимет самбу на линуксе?
konchok
23.11.2019 19:51+1Непонятно почему бы вместо древнего ESXi не поставить свежий Proxmox?
khim
23.11.2019 21:08-1А он точно на Xeon 5150 без EPT и прочих современных плюшек встанет? Всё-таки мы о железе десятилетней давности говорим…
astraleuro
23.11.2019 22:04А почему нет то? это ж дебиан, по сути своей. Я ставил на core2duo 10+летней давности, без проблем
ALF_Zetas
23.11.2019 20:30покойный Джобс знал, что макось неполноценная операционка и поэтому предусмотрительно создал Буткамп © ;)
astraleuro
23.11.2019 20:45Присоединяюсь к вопросу konchok: «Почему не Proxmox?» Сам раньше сидел а ESXi, но после знакомства с PVE, с огромной радостью на него переехал и не разу не жалею: меньше слоёв абстракции, большинство вещей нативно, меньше танцев с бубнов.
oller
24.11.2019 20:47Вопрос почему не proxmox поддерживаю
Но вот сбоев в проксмоксе в разы больше, при том не катострофичных, а мелких, как пример бекап убивающий управление системой.
Mykola_Von_Raybokobylko
25.11.2019 12:45+1А задумка интересная. До заката эпохи бумажных журналов многие издательства массово закупали маки. Не все выжили. Кто выжил придумывают, что из остатков можно сделать нужное и чтоб меньше платить.
DMGarikk
25.11.2019 12:52звучит так что не все выжили потому что закупали маки ;)
печатный оффлайн бизнес умер в принципе, независимо от того экономили ли издатели или транжирили бабкиMykola_Von_Raybokobylko
25.11.2019 13:08Ну косвенно причина в этом). Конторы очень много тратили на технику и на облагораживание офисов, а не не поиск хороших авторов и переформатирование издания.
Знаю историю одного издательства они просуществовали ровно 1 год. Кучка друзей с Кавказа где-то нашли деньги. Кто-то их надоумил печатать журнал про любимый край на дорогой бумаге с теснением. Арендовали 3 этажа в здании где «Работница» раньше была. Закупили кучу маков, серверов, сканеров для пленки и диафильмов, кучу планшетов вакомовских, кучу помощниц для каждого начальника. Выпустили 12 номеров и закрылись.DMGarikk
25.11.2019 13:16+1они всёравно бы закрылись, я немного был близок к этой сфере, тенденция к падению рынка была однозначной уже в середине 2000х
сейчас даже если на газетной бумаге журнал печатать с гениальным контентом — он никогда не окупится
вообще помню риторику конца 2000х… 'наши читатели — люди высокого достатка, они понимают что в интернете не может быть качественного контента и покупают только дорогие глянцевые издания' (с)
… так забавно… и люди велисьMykola_Von_Raybokobylko
25.11.2019 13:28«наши читатели — люди высокого достатка, они понимают что в интернете не может быть качественного контента и покупают только дорогие глянцевые издания»
О да, такие рулады каждый «гениальный редактор» о своем журнале напевал.
Ну что-нибудь типа хацкера или компьютерры в старом печатном формате я бы почитал бы еще с года два.DMGarikk
25.11.2019 13:49Ну что-нибудь типа хацкера или компьютерры в старом печатном формате я бы почитал бы еще с года два.
таких людей недостаточно было для выживания… даже компьютерра-онлайн не сильно пережила журнал (сейчас это уже совершенно другой ресурс который со старым роднит только купленное название)Mykola_Von_Raybokobylko
25.11.2019 14:23Для выживания точно не хватит, а так для удлинения предсмертных агоний может быть и хватило бы. БЖ и хацкер вроде еще долго жили (вроде еще существует в онлайне, но уже не то). А компьютерра вроде как-то сразу что-то в онлайне «ушла». Эпоху конца бумажных изданий компьтерра когда-то сама и предрекала.
khim
25.11.2019 18:42Забавно, кстати, что «Наука и Жизнь» вполне себе живёт и умирать не собирается. У неё даже за последние 10 тиражи чуток подросли. Не миллионные, конечно, как в СССР, но всё равно… эжемесячные выпуски, всё как положено…
DMGarikk
26.11.2019 09:56их судя по всему дотирует государство
купил недавно его, это ужас какойто, в каждой статье причитания об ссср, воспоминания как в ссср было хорошо, в новостях науки какаято странная язвительность в стиле «Ученые такогото забугорного института изобрели… ну посмотрим нафига им оно надо… может гусей кормить будут?»
в конце журнала расценки на рекламу на обложках… на которых нет рекламы… и вообще в журнале нет рекламы
очень гнетущее впечатление он оставил, причем в детстве им зачитывался у меня была куча подшивок с 70 до 90 годов…Mykola_Von_Raybokobylko
26.11.2019 10:30В детстве не смог осилить читать. Была подшивка за два года. Ощущение от прочтения как от прочтения «пионерской правды». Глас пропаганды на каждой странице.
boroda_el Автор
25.11.2019 14:38Это точно! С 2000 до 2020 радикально сократился объем печати. Если раньше единственным логичным завершением выпуска контента было его нанесение на бумагу — каталог, книга, брошюры, даже сраные презентации были на бумаге. Теперь бумага либо вообще не нужна, либо идет дополнением к электр версии. Осталось совсем немного областей, где отсталая ЦА признает именно бумагу и под них еще что-то печатают.
Куча «печатников» переквалифицировались либо остались без работы. Куча печатающей техники сбрасывается за гроши.
apple01
25.11.2019 22:33У вас файловый сервер компании работает на одном ЖД без RAID и резервирования?
Mykola_Von_Raybokobylko
26.11.2019 10:05На чем позволили на том и делают. Это порочная практика зажимать покупку нужно в ИТ никуда не делась.
rezdm
троллейбус_из_буханки_хлеба.жпг
Но было бы интересно узнать — а зачем? В чём, тысызыть, цимес?
sentyaev
Можно попробовать угадать. Это какя-нибудь воинская часть или гос-конгора, где для того, чтобы купить новый компьютер необходимо сделать это не просто как «закупку через тендер», а через «разработка новой бла-бла-бла информационно аналитической системы в рамках стратегии 2054».
Вот и получается троллейбус_из_буханки_хлеба.жпг
apple01
Я когда-то сделал подобный для тестирования приложения под разными версиями мак ос. Дело в том что виртуалки с мак ос на не эпловском железе отказываются работать (лицензионное ограничение). Удобство было в том что у меня было 4 виртуалки (по числу поддерживаемых версий мак ос) и после тестирования очередного релиза приложения я их восстанавливал в исходное состояние. Кстати, у меня ESXI 5.5 на древний Mac Pro встало без описанных приключений, из коробки.
rezdm
В заметке речь идёт о файловом сервере.
apple01
Про файловый сервер только скользь упоминается о том что он будет установлен в виртуалке. В основном статься про установку ESXi на Mac Pro. Я только ответил на вопрос где подобная комбинация может иметь смысл.