В длинные выходные благородным донам было совершенно нечем заняться, кроме как ходить в гости к весьма состоятельным кротам, и считать.

Было решено посчитать — так ли дороги облака на примере Azure и Office 365, почему столько народа туда бежит, в чем там плюсы и минусы. Что читать, куда копать, где склад лопат.

Буквально перед новым годом случился холивар — Microsoft выпустила Azure TCO Calculator, а VMware сказала «вы все врети», о чем можно подробно почитать тут.


TL/DR — Все равно дороговато получается, но и плюсов полно. Сервер из спичек и желудей, с ПО на деревянной ноге и любителем помайнить товарищем В., вместо системного администратора, выйдет конечно дешевле.

Текст вышел хаотичным, потому что планировалось одно, а вышло другое.

Теория

Т1. Введение.
Т2. Базовая (стартовая) конфигурация.
Т3. Какие сервисы можно перенести или зарезервировать в облаке на начальном этапе и какая от этого польза.
Т4. Результирующая конфигурация.
Т5. Обучающие курсы, которые надо пройти для достижения результирующей конфигурации.
Т6. Оценка стоимости для виртуальных машин.
Т7. Оценка стоимости для виртуальных дисков.

Т1. Введение
При наличии в офисе молодой динамично развивающейся фирме своего программно-определяемого датацента (Software-defined data center) (1) возникает ряд проблем, основная из которых это то, что большая часть определяемости этого датацентра определяется в известной желтой программе, к которой ни нормальных методик тестов, ни методологий, кроме одного продукта на Г с рекомендациями того же качества и того же производства (2). Но не будем о грустном, особенно в среде виртуализации.

При эксплуатации же чего-то большего (и главное — в лицензионном поле) появляются затраты на все подряд:

— Электричество (в том числе ИБП).
— охлаждение (обслуживание кондиционеров).
— безопасность (пожаробезопасные двери, тушение — Novec 1230, СКУД).
— лицензии на подключение / клиентского доступа (CAL) на каждый чих.

Конечно, к расходам надо отнести и само железо, и запчасти, цену эксплуатации, систему информирования о сбоях (мониторинг всех систем в целом).

Если собирать системы не из спичек и желудей, то еще стоит посмотреть стоимость дозакупки поддержки — NBD (Next business day) может стоить совсем за границами гуманности.

Плюсом идет необходимость в человеке, который приедет «прям щас», который не пьет, не курит, на праздники дежурит.

И это я еще не переходил к вопросу лицензирования и настройки приложений при запуске, и вопросу поддержки сервиса за пределами запуска.

Конечно, если у вас есть уже отдельная команда и все залицензировано и закуплено, бюджет сформирован — то предмет рассуждений «сейчас» отсутствует. Или же если вы отнеслись к идее лицензирования без интереса.

Если же все не так просто, то стоит подумать (и посчитать) вот что: — допустим, мы через 2-3 года (срок амортизации имеющегося оборудования, в том числе аккумуляторов в ИБП, фреона в кондиционерах) решили посчитать, почем нам встанет процедура переезда в облако, какие риски это добавляет \ снимает, и как с этим жить то.

Вариантов для развертывания всяких облаков сейчас… проще перечислить:

— Собственное недооблако — 1..10 серверов в кластере VMWare / Hyper-V / KVM-openstack (3)
— гибридная структура с возможностью резервного разворачивания в облаке.
— полностью облачное развертывание. Кажется, тот же Aplle живет не на своих датацентрах.

Т2. Базовая (стартовая) конфигурация
Для примера возьмем небольшую фирму, чьи основные задачи (бизнес) далеки от ИТ. Какие сервисы у них развернуты?

— AD и все рядом (сертификаты, трасты, федерация возможно)
— Exchange (в том числе какой-то антиспам, если они не используют облачный) — в том числе и с удаленным доступом (OWA + office)
— File server
— удалённый доступ к системам (Anyconnect, RRAS, OpenVPN и так далее)

— бухгалтерия и прочий учет
— Разные консультант плюс и прочие справочные системы (Техэксперт), HR системы типа E-Staff Рекрутер (4) и так далее.
— основной рабочий инструмент (от автокадов до складского учета и касс)
— доступ в интернет
— системы доступа и управления, прочие служебные системы (ИБП, скуд, мониторинг, видеонаблюдение (CCTV — Сlosed Circuit Television), резервное копирование итд).

Т3. Какие сервисы можно перенести или зарезервировать в облаке на начальном этапе и какая от этого польза
Лично я считаю, что проще всего затащить в облако Azure как минимум AD как сервис, и возможно электронную почту. Файловый сервер – не уверен. Затаскивание файлового сервера под большим вопросом по причине каналов связи в первую очередь, и вопроса с организацией бекапа во вторую.

Вот ценник и многабукаф про Azure AD — Главные минусы после первого прочтения
— не понятно, как управлять и реплицироваться с основными DC.
— совершенно не понятно, как бекапить.
— по этой таблице (выше) не понятна цена в месяц.
— не понятна модель обновления, тот же WSUS для виртуальных машин, как его завязать на политику основной организации. И надо ли.

Конечно, есть бесплатная пробная версия Azure Active Directory Premium на один месяц.

Но это всего месяц, а потом что? Не, для полноценного обучения и самообучения нужна подписка на какую-то облачную мини лабораторию. Конечно, есть Azure Spark (или как там эта подписка зовется), есть обучение (6).

Курсы есть, но с подпиской все не очевидно. Есть Visual studio enterprise with MSDN(NFR) — но не бесплатная.

С электронной почтой проще – миграция в офис 365 описана, например, тут.

Т4. Результирующая конфигурация
Результирующая конфигурация – гибридная, Hybrid:
— Один DC на земле (on-premise), один в виртуальной машине в Azure и один сервисом в Azure
— Маленький файловый сервер в Azure. Можно бы конечно и большой, но тогда придется разворачивать что-то типа RDP Azure, и это не говоря о системах пре-подготовки в печати, строительстве и так далее (всякие там Adobe Indesign, Synchro, Autodesk Revit, и прочие NX/ Unigraphics с файлами гигов на 50).
— Бекапы на земле (on-premise)
— Дублирующие почтовые ящики (2 штуки) в office365, в другом почтовом домене, но как-то синхронизированные с землей.
— Связь с Azure – VPN или ExpressRoute (но это не для РФ)
раз, два.

Т5. Обучающие курсы, которые надо пройти для достижения результирующей конфигурации
Всё очень плохо. На странице русским по белому написано «Начало работы с бесплатными онлайн-курсами» — но по онклику перебрасывает на Managing Infrastructure with Microsoft Azure — Getting Started, где есть кнопка free watch на pluralsight. Лично мне было бы удобней смотреть на Youtube, но нет. Печаль и беда.
Но к примеру Azur channel9 лежит частично на youtube, да и можно ролики скачивать.

Правда есть Udemy – тоже на английском.

Так что на русском с обучением пока что грустновато, не каждый мамкин архитектор осилит. Но есть решение — электронные книги (EPUB, MOBI, PDF) по Windows Azure на русском!
раз, два.

Внутреннее устройство Windows Azure (на русском).

Вот тут надо тоже посмотреть — Подборка лучших онлайн-курсов по Microsoft Azure.

Есть (на русском) встречи от COMPAREX, пару раз в год, например
раз, два. И вообще надо чаще заглядывать на
blogs.technet.microsoft.com/rutechnews и azurenotes.tech/ServiceNotes.

Проблема – единого курса / таблетки нет.

Т5.-2. Стыковка с землей
Все просто. ICND1 + ICND2 + CCNA Security + LiftMeUp + Уэнделл Одом
И отдельная новая тема – Azure NSG — Группа безопасности сети (NSG) и еще Azure Network Security Groups (NSG) – Best Practices and Lessons Learned.

Т6. Оценка стоимости
Все очень плохо. Только дошел до этого пункта, как уже выложили. Новогодний холивар: Microsoft выпустила Azure TCO Calculator, а VMware сказала «вы все врети» – далее см. (7).

Истина как обычно где-то в другой плоскости. Для сколько-то развитой инфраструктуры надо бы иметь vSphere Distributed Switch – а это лицензия vSphere Enterprise Plus, ценник на которую совершенно конский, и вообще возможно стоит рассмотреть покупку MS Server 2016 Datacenter.

К тому же эта оценка стоимости никак не связана с попытками оценить совокупную (включая электричество и кондиционирование) стоимость владения техникой на земле, и это уже не говоря о рисках, перечисленных в статье «9,5 правил ведения безопасного IT-бизнеса в России».

Можно посчитать «сильно приближенно». Пусть физический сервер на 50 (виртуальных) машин потребляет 500 ватт, 10 ватт на виртуальную машину, 240 ватт / сутки (плюс охлаждение 30%, но его пока считать не будем), 7 квт*ч в месяц, 5 р/ квт*ч, 35 рублей в месяц, 420 в год.

Стоимость лицензий – тут сложней. Скажем, у нас 40 ядер (2*20) и мы лицензируемся по Win Datacenter:

$6,155 за первые 16 ядер (6155 * 60 = 369300, округленно 370)
www.microsoft.com/ru-ru/cloud-platform/windows-server-pricing

плюс (40-16 = 24 ядра не лицензировано, паки по 2 ядра = 12 паков
— 9EA-00128 WinSvrDCCore 2016 SNGL OLP NL 2Lic CoreLic = 40000 *12 = 480000.
Итого 370+480 = 850 т/ на 5 лет, 170/год, 3400 на машину

На, условно, 5 лет – по (в год, и по 50 машин на физический хост — 3246.32 на виртуалку.
Образец.

Конечно, надо бы еще накинуть расходы на диски и амортизацию сервера (те же 5 лет). Пусть сервер стоит… Сервер HP DL360 Gen9 – от 250т, без дисков. На год – 50.000, на машину – 1000.

Диски — 697574-B21 Gen8 HP 1.2T 10K 2.5 SAS стоит порядка 20т.р, 60 гб емкости (для роли только AD) обойдутся в 20/20 – 1000р, но дисков на 5 лет надо 2, с учетом raid10 – коэффициент цены будет 4, и 60 гб обойдутся в 4000 рублей.

Итого – 400+3400+1000+4000 – 8800 в год в расчете на 5 лет.

Машина B2S обойдется в 52 $ в месяц), диск S6 (64 Гб) – еще 5, и прочие расходы, которые считает калькулятор – на 58-60 долларов в месяц, или (тадамм)720$ или (курс 60) 43200/год.

Так что Azure обходится в почти 5 раз дороже собственного наземного сервера.

НО, есть и методы против Кости Сапрыкина. Например, если нам нужна отказоустойчивость, то лицензировать придется все ядра на втором таком же сервере, и хранить там еще одну копию (через vsan или Storage Spaces) – что просто удваивает стоимость решения. А если у нас это еще все поверх Vmware сделано, да еще поверх vSphere Enterprise Plus, да еще и vSan отдельно закуплен, то ценник то будет еще более конский, а если диски в дисковой полке (а не просто в сервера напиханы), то еще надо бы посчитать и амортизацию полки, и это если еще она напрямую подключена, без коммутатора за много денег (карточки 10G в последней intel платформе идут по 2 штуки из коробки).

Все это не считая того, что соседняя (запасная) машина должна быть готова принять нагрузку, т.е. иметь резервирование (в случае 2 машин) 50%, 3 – 30% и так далее. Все это не считая CAL (хотя тему CAL в Azure я не смотрел). И все это в расчете 50 виртуалок на хост.

Аддон:

Еще надо бы сравнить с Amazon в целом, и заодно сравнить стоимость денег. В том смысле, что сервер мы покупаем сразу (и получаем CAPEX) или в кредит (под лютый процент в РФ), лицензии ну может сразу (см. выше про кредит), а может в рассрочку на 3 года (если не 1 сервер конечно), и так далее. CAPEX / OPEX — тема вроде бы простая, но нет.

То есть надо вбить в CAPEX миллион на сервер+лицензии, что в условиях 10% рентабельности даст еще 100.000 в год недополученной прибыли, а если брать в кредит, то вообще все очень плохо, кто брал для бизнеса — тот знает что почем.

Вывод

считать надо индивидуально в каждом случае, учитывая затраты на лицензирование, амортизацию, резервирование нагрузки (неиспользуемые мощности) и затраты на обслуживание денег (цену денег / неполученную прибыль / кредитование). Электричество, кондиционирование, затраты на использование (аренду) площади конечно тоже можно посчитать, как и резервируемую мощность и амортизацию ИБП.

Т7. Оценка стоимости для виртуальных дисков
Попробуем посчитать для дисковой полки / пространства в Azure. Начнем с вводных: IOPS у нас нет, нужно «просто примерно 9-10 ТБ». Возьмем самую простую именно полку – HPE MSA 1040, с 10G, а точнее — HPE MSA 1040 2-port 10G iSCSI Dual Controller SFF Storage (E7W04A)

Конфигурация:

1 Корпус MSA 1040/1050 SFF 2U (ШxГxВ: 48.26 x 49.5 x 8.9 см)
2 Контроллер HPE MSA 1040/1050 1GbE iSCSI 2-port controller
(вот тут я сначала ошибся, нужен E7W04A, а считал E7W02A — 1GbE iSCSI )
11 Жесткий диск 1,8TB 2,5''(SFF) SAS 10K 12G 512e Hot Plug DP for MSA2040/1040

Соберем мы из этого R10 и 1 диск зарезервируем на Hot spare. Получим 10 рабочих дисков, R10 = 1.8*5 = 9 Тб. Для таких объемов собирать R5 уже не очень хорошее решение (долгий ребилд, риск вылета еще 1 диска при ребилде), так что можно собрать и тормозной R6 (10-2 = 8) = 14.4 Тб. Для дальнейшего пересчета цены за терабайт коэффициент будет 14,4/9 = 1.6.

Цена (itelon) — Цена: ~ $ 12 807.00 ~ 738 067.41 (цена ошибочно взята от E7W02A — 1GbE iSCSI, вместо E7W04A)

Конфигуратор на stss для такой же конфигурации (E7W04A, 11 дисков) — пишет что цена составит 994 375,00 руб. Можно брать миллион. Но может быть нам HPE скидку даст.

Тут не указана стоимость подписки на поддержку(см. ниже), так что диски будем менять сами, и молиться чтобы контроллеры и блоки питания не сдохли. А так – готовим 20-30% в год от цены покупки, за 5 лет – 100% (удвоится, ага).

По личному опыту за 5 лет – сменятся все диски, ну не живут они обычно больше 3-4 лет (хотя и 36 Гб скази диски видел живые, в прошлом году, и коллеги говорят что у них диски могут жить лет по 5-6. Окей, хорошо — но сейчас у меня собранной статистики по дискам, купленным в 2012 году, нет). Значит, дисков будет не 11, а 22., и ценник составит
Цена: ~ $ 20 848.00 ~ 1 201 470.24

Но это дорогие диски (SAS 10K), давайте устроим кроилово:
11 Жесткий диск 2TB 2,5''(SFF) NL-SAS 7.2K 12G 512e Hot Plug DP for MSA2040/1040
Цена: ~ $ 11 531.00 ~ 664 531.53
22 диска –
Цена: ~ $ 18 296.00 ~ 1 054 398.48

(Примечание. Для 10G конфига на STSS вышло 1.4 миллиона, включая Сервис HP 3 года. График работы 9х5. Начало ремонта на следующий рабочий день на месте установки. (NBD, on-site). Диски в расчете — HDD 2000GB SAS 12G 7200rpm Hot Plug SFF 512e (гарантия 1 год).

Вот от цены 18500 / 1.100.000 (округлим немного) и будем отталкиваться. За 10 Тб R10 и 16 R6 за 5 лет. В год (без учета электричества, кондиционирования и прочих OPEX/CAPEX) получим в год — Амортизация – 3700 / 220.000.
(Примечание. Расчет выше выполнялся для 1G контроллера. Для 10G будет 1.400.000 / 5 = 280.000. на 27% дороже).

Это, замечу, не самая простая и дешевая хранилка с 10G интерфейсами. Если не упираться в SAN, а остаться на NAS/iSCSI, то есть скажем относительно дешевый Qnap 12 Bay NAS/iSCSI IP-SAN, Intel Skylake Core i5 3.6GHz Quad Core, 16GB RAM, 10G-ready (TVS-1282-i5-16G-US). Но опять же — часть этих СХД не 10G-ready (надо покупать две отдельные сетевые), смотреть надо сколько там фактически дисковых контроллеров и блоков питания.

Ценник Azure
azure.microsoft.com/ru-ru/pricing/details/storage
azure.microsoft.com/ru-ru/pricing/details/storage/blobs

Начнем с BLOB
Западная европа, LRS, горячий уровень — Первые 50 ТБ в месяц 1,23 РУБ – ЗА ГИГАБАЙТ.
Терабайт (*1024) = 1259.52 в месяц, 10 ТБ – 12600 в месяц, 151200 в год. Однако, дешевле.

Посмотрим на неуправляемые диски класса Standard
azure.microsoft.com/ru-ru/pricing/details/storage/unmanaged-disks

LRS — 2,82 РУБ за ГБ, 28900 за 10 Тб в месяц, 346 тысяч в год (против 280 в расчете выше)

Калькулятор для западной европы / LRS / хранилище файлов – говорит о 38 400,00 ? за 10 Тб в месяц, плюс за 10т по 10т операций (не знаю, насколько это актуально) –
Промежуточный итог — 58 087,50 ?, или почти 700.000 в год.
В ТРИ раза дороже своего хранилища R10, или в 5 от R6
ДОРАГО. Экономии на кадрах при таком объеме задач не наблюдается.
При такой разнице в ценнике – тоже.

С другой стороны, MS обеспечивает 2-3 реплики хранения и гарантированную доступность сервисов, плюс миграцию при необходимости в другой дата-центр, плюс оперативность. На стандартном СХД нельзя просто так и купить «еще одну полку и диски за миллион» — нужен бюджет, согласования итд, плюс привезти, смонтировать и запустить. Смотри выше про CAPEX/OPEX

Вывод:

При расчете без учета стоимости денег и скорости масштабирования и миграции — Azure выходит дороже своего мини-облака. Как только появляется возможность и необходимость гибкого управления объемами и управление рисками (см. 9.5 правил) — Azure может оказаться достаточно сравним по цене с классическим решением, что переводит вопрос выбора уже в политическую область, например необходимости добавить в сравнение ценник AWS, Azure Stack и скажем IBM Bluemix.

Мнение коллег про диски и стоимость, просто приведу:

За 13 системо-лет на хитачах (обе уже с гарантии сошли) у меня повылетало не более четверти дисков. На более свежей хитаче HUS110 1-2 вылета (ну не помню я, сколько их было, от 2 до 4) на полку за 4 года. То есть менее 10%. За первые два года жизни 3PAR в нем вылетело ровно ноль дисков из 72.

Из прочих расчетов. Конечно, подсчет TCO в моем хозяйстве, увы, салфеточен (но я работаю над этим), но примерная, на глазок, стоимость терабайта R5-10K (да, от бедности, от жадности, в конфигурациях от 3+1 до 5+1) составляет $3K за 5 лет, то есть 600 в год или 50 в месяц.

По моим прикидкам, этот наш VSAN дает примерно ту же цифру, но уже в варианте R5-SSD. С учетом:

— Лицензий типа Advanced
— дополнительных 10Гбит карточек и DA-кабелей до ToR-свитчей
— Замены пары ToR свитчей на 10G
— Mix Use SSD на кэш-уровне

— Дедупликации + компрессии 2:1, ибо лицензия Advanced и All-flash (по прикидкам там и на обещаемые 3:1 должно выйти, но заложиться не помешает). Если верить тому, как Veeam дедуплицирует бэкапы, там и 4:1 может случиться.
— R5 3+1. Появилось в недавней версии VSAN и только для Advanced и All-flash. Теперь у тебя на выбор для каждой машины сетевой R10 (1+1), R5 (3+1) или R6 (4+2), как когда-то в LeftHand. Ну то есть оно чуть сложнее, там же Failures to Tolerate и все такое, но идея такая.