В прошлой статье с похожим заголовком, мы рассказали и даже доказали, что лоукост хостинг виртуальных серверов (VPS) в России возможен. Но как обстоят дела с арендой выделенных серверов? Возможно ли в России сдавать серверы по ценам Hetzner-а, предоставляя клиентам гигабитные каналы?
Мы решили провести небольшую аналитику и попробовать дать ответ на заголовок поста. Также мы создали лоукост-конфигуратор выделенных серверов на базе имеющегося у нас оборудования. Что из этого вышло – вы сейчас узнаете.
Этап нулевой. Постоянные затраты
Поскольку наш дата-центр МАРОСНЕТ находится в Москве, одним из главных затратных ресурсов является электричество! 1 киловатт стоит ~5 рублей. В среднем, двухпроцессорный сервер с блоком питания на 350 ватт «съедает» около 1 т.р. в месяц, при среднем потреблении 250-300 ватт. Это очень много. А ведь ещё есть затраты на кондиционеры и активное сетевое оборудование!
Далее идёт интернет. Каждый гигабит обходится дата-центру ~64 т.р. По мере увеличения трафика, цена за 1 гигабит будет падать, само собой. В данный момент наш дата-центр имеет 7 линков к разным провайдерам и сетям обмена трафика, общей пропускной способностью 65 гигабит.
Но как же так? Как мы можем предоставлять клиентам VDS по 100 мегабит, если они нам обходятся примерно в 6400 р.? И как вообще при таких расценках можно задумываться о лоукост серверах с каналом 1 гигабит?
Ответ на данный вопрос мы писали ещё в прошлой статье. Но сейчас мы можем подкрепить его уже реальными цифрами. Дело в том, что 5000 виртуальных серверов не используют канал на 100% одновременно. А большинство – и вовсе «курят бамбук». В данный момент среднее потребление – 0,6 мегабит на 1 виртуальный сервер. Само собой, среди клиентских виртуальных машин есть и те, кто использует канал на 100%. Но в общей массе это становится незаметно. 0,6 мегабит на 1 виртуальный сервер, это уже не 6400 р., а всего 38 р. Благодаря такой же «математике» вы сейчас, возможно, качаете торренты со скоростью 100 мегабит.
Но как быть с выделенными серверами? Ведь среднее потребление выделенных серверов наверняка больше, так как в большинстве случаев их арендуют под высоконагруженные проекты, раздачу видеоконтента, стриминг и т.п. К примеру, наши выделенные серверы используют канал в среднем со скоростью от 10 до 18 мегабит. Значит расходы на интернет составляют от 640 р. до 1152 р. на сервер.
Итого, средние (как нам кажется, но мы можем и ошибаться) затраты на 1 сервер составляют минимум 1640 р. Помнится, по старому курсу евро, у Hetzner можно было арендовать сервер в минимальной конфигурации за ту же сумму.
На нулевом этапе мы уже почувствовали, что хорошего лоукоста – не получится.
Этап первый. Покупка «железа»
Тут вообще всё плохо. Профессиональные серверы стоят дорого, особенно с текущим курсом валют. Можно пойти двумя путями. Первый – накупить десктопов, как это делает Hetzner. Но именно для нас это было бы проблемой. Во-первых – наш дата-центр не оборудован стойками для хранения таких серверов, и пришлось бы многое переделывать. Во-вторых – десктопы неудобно обслуживать. Начинающему лоукост хостеру накладно держать большой штат инженеров в дата-центре. В третьих – мы хотим качественный лоукост, поэтому было бы здорово видеть в клиентских серверах ECC память и надёжные диски.
Второй путь – взять с полок на складе то, что уже есть! А у нас как раз завалялось около 1000 серверов Supermicro с двухпроцессорными материнскими платами и процессорами Intel Xeon E5530 и E5620 (2.4 Ghz, 4 ядра, 8 потоков). И что самое приятное – всё это было куплено по старым ценам. Далеко не новинки, но зато они отлично подойдут для лоукоста!
Память DDR3 ECC на данных серверах может работать в трёхканальном режиме. А при наличии 2 процессоров можно воткнуть 4-гигабайтных планок памяти на 48 гигабайт, либо 8-гигабайтных – аж на 96 гигабайт.
Но у нас не было дисков! Сами мы используем SSD диски Samsung серии 850 EVO, именно они стоят на нодах с клиентскими виртуальными серверами. Под клиентские выделенные серверы было решено докупить HDD дисков объёмом от 500 Gb до 6000 Gb и SSD дисков объёмом от 250 Gb до 1000 Gb.
SSD диски – проверенные нами за год Samsung 850 EVO. HDD диски большого объёма – WD Red, так как их чаще всего берут под NAS либо под долговременное хранение больших данных. HDD диски объёмом от 500 до 4000 гигабайт – рандом, старались выбирать наиболее отказоустойчивые модели по обзорам и отзывам.
Этап второй. Расчёт амортизации
Самый быстроизнашиваемый ресурс сервера – это диск. Скорость его изнашивания напрямую зависит от того, для каких задач используется сервер, как много обращений производится к дисковой подсистеме (спасибо, Кэп!). На одной нашей клиентской ноде, к примеру, 4 SSD диска были изношены на 80% за 5 месяцев. А есть и такие, где износ составляет 1% за год, но это скорее редкость. Средний износ на нодах с виртуальными серверам было бы некорректно сопоставлять среднему износу дисков на выделенных серверах. Скорее всего, на выделенных серверах, он в среднем будет ниже по очевидной причине: меньше пользователей = меньше обращений к диску. Но это абстрактное рассуждение, неподтверждённое статистикой.
На текущий момент реже всего в нашем дата-центре выходят из строя SSD диски. За 2 года «сломался» 1 SSD диск и 4 штуки были заменены (те самые, с большим износом).
Важно было рассчитать, каким должен быть срок окупаемости жёсткого диска. Если его сделать слишком длинным, диски будут раньше этого периода умирать, слишком коротким – цена для арендатора сервера станет невыгодной.
Но есть ещё 1 параметр! Устаревание дисков. Модели дисков и объёмы, актуальные сегодня, через 1-2 года будут уже не такими актуальными. А значит спрос и цена на них станут значительно ниже.
Исходя из вышесказанного, методом научного тыка нам удалось высчитать, что безопасный срок окупаемости диска, это 6 – 12 месяцев. То есть цена аренды должна быть соразмерна данному периоду и закупочной стоимости.
Этап третий. Хитрость и гибкость
Хитрость в том, чтобы предоставлять клиенту порт 1 гигабит, но с пакетом трафика, как это делает Hetzner. Но тут преимущества на стороне клиента. Сперва может показаться, что 100 Mbit Unlimited = 1000 Mbit x 30 Tb. Но на самом деле не совсем так. Передаваемый объём трафика очень часто зависит от времени суток. Вариант 1000 Mbit x 30 Tb легко компенсирует дневные всплески > 100 Mbit за счёт ночных провалов. Поэтому для многих клиентов такой вариант более оптимальный. Но что, если 30 Tb израсходованы? Отключать порт и требовать с клиента доплаты за дополнительные терабайты? Это правильно. И в тоже время как-то нелояльно. Правильно – это переключать порт на 100 Mbit, а доплату за терабайты брать только в том случае, если клиенту нужно вернуть гигабитный порт. Причём желательно, чтобы цена за 1 терабайт была такой же, либо ниже чем у немецкого конкурента, раз это лоукост. В нашем случае мы решили установить цену в 75 руб. за 1 терабайт. Это дешевле, чем у Hetzner.
Ещё одна хитрость – убрать установочную плату. Брать с клиента установочную плату в размере двух месяцев аренды – как-то нечестно, показалось нам. А вдруг сервер нужен клиенту на полгода или меньше? Наш первый же клиент арендовал сервер под стартап. И даже просил ввести посуточную оплату, так как неизвестно, взлетит его проект или нет, а лишних средств на авансовую оплату ещё не было.
Гибкость в нашем случае – это возможность выбора любой конфигурации сервера. Зачем платить за 32 Гб предустановленной оперативной памяти, если нужно только 12? Год назад у нас действовала услуга аренды выделенных серверов с фиксированными конфигурациями. Нам показалось это не очень эффективным. Поскольку на лоукост мы уже тянем с трудом – пусть хотя бы пользователь сможет сам выбрать конфигурацию сервера, уменьшив затраты на лишние ресурсы. Было решено сделать конфигуратор. Это и плюс и минус. Плюс в гибкости, а минус в том, что нужно ждать, пока инженер ЦОД-а соберёт сервер.
Так возможен ли лоукост хостинг выделенных серверов в России?
Нам кажется, что да. Определённых результатов в этом направлении нам удалось добиться. Но всё же, мы пока не очень ими довольны.
Если смотреть предложения по России, то соотношение цена-качество наших выделенных серверов получилось весьма неплохим. Но хотелось бы лучше. Мы планируем работать над оптимизацией этого направления. В данный момент, хотелось бы набрать небольшую базу клиентов, чтобы иметь статистику. По VDS хостингу у нас уже имеется статистика, дающая понимание того, насколько низкими мы можем держать цены.
Вы можете оценить наш конфигуратор:
До конца года можно заказать выделенный сервер со скидкой 25% по промо коду HAPPYNEWYEAR2016. Просто укажите его в комментарии к заказу.
Кстати, этот же промо код действует и на VDS серверы.
Заключение
Надеемся, что вам понравился наш очередной пост.
Пользователь Хабра leonid239 не так давно прилетал в Москву и был в гостях в нашем дата-центе. В ближайшее время он разместит интервью + любительский обзор нашего дата-центра МАРОСНЕТ.
Комментарии (64)
gotch
23.12.2015 09:03Можно не совсем по теме? Если рассматривать Low end на процессорах Intel, есть (если не искать экзотики) две основные конкурирующие платформы — собственно сама Intel и Supermicro. Почему Supermicro?
lukmanov
23.12.2015 09:18+2Могу дать ответ программиста, так как я программист. Потому что не дорого и удобно, на мой взгляд. Я периодически бываю в ЦОД-е, сравниваю различные платформы. Supermicro мне напоминает автомат Калашникова. Всё достаточно аскетично, но при этом удобно. Открыть/закрыть, заменить диск, заменить кулер – даже я легко с этим разобрался за минуту. А ещё радует то, что под них легче всего найти «запчасти». Помню, когда мы запускали VDS хостинг на SSD дисках, салазки под диски размером 2.5 дюйма проще всего было найти именно под Supermicro. Думаю, что если сюда заглянут наши админы, они смогут высказать другую, более аргументированную точку зрения.
gotch
24.12.2015 11:15Спасибо. Просто у них сайт такой уникальный и противоречащие сами себе KB, что я с определенной насторожённостью к ним отношусь.
aik
23.12.2015 09:17+3Основная прелесть европейского хостинга в том, что он в Европе. :)
lukmanov
23.12.2015 09:20+8А для кого-то это наоборот минус. Я сам когда-то хостился в Европе, а жил в Уфе. Скорости и пинга не хватало. В особенности меня поймут владельцы игровых серверов.
Balek
23.12.2015 12:22+1Хочу подтвердить. Перенос лендинга с дедика у Хетцнера на ваш VDS ускорил загрузку из Москвы в 2 раза. Вся статика на сайте оптимизирована на максимум — PageSpeed Insights даёт 100%.
lukmanov
23.12.2015 12:27Ого! Отличный результат.
Balek
23.12.2015 12:35Да, поэтому без колебаний оплатил на максимальные три месяца по акции в чёрную пятницу Хотелось бы продлиться по новогодней акции, но промокод вроде бы не срабатывает. Не подскажете, должен ли он работать на продление, и есть ли максимальный срок, на который он распространяется, как было в черную пятницу? Другими словами, можно ли продлить на год со скидкой 25%?
lukmanov
23.12.2015 12:38На продление не будет работать :(. Возможно, что будут акции на продление в каникулы. Но не 100%. Да… чёрная пятница у нас была адовая.
popsodav
23.12.2015 11:07Забил конфигурацию, которую беру у своего местного (нижегородского) ДЦ за 9000 руб. (это ещё без скидок).
У вас получилось 24450 руб.
Что-то не похоже на лоу-кост.lukmanov
23.12.2015 11:18Скиньте в личку либо сюда конфигурацию сервера и ссылку на их сайт, если не сложно. Нам полезна такая информация для анализа и дальнейших оптимизаций!
popsodav
23.12.2015 11:31Вот конфигурация:
2 x E5620 24GB RAM 2*1TB RE + 1TB HDD +администрирование
Я извиняюсь, не заметил, что у моего хостера трафик тоже ограниченный.
Просто не выбираем больше 60 Тб в месяц.
Получается примерно тоже самое.
Ссылку на хостера кинул в приват.lukmanov
23.12.2015 11:58+7Да можно было и сюда. Вот они: ruweb-nn.ru/server.html
Посмотрел. 2*1TB RE – это 2 SATA диска Raid Edition, как я понял. Просят они за данную конфигурацию 9000 р. при помесячной оплате и 8100 р., если сразу оплатить 97200 р. за год. Это 10% скидка. Ровно такую же скидку даём и мы при оплате на 1 год.
Значит смотрим конфигурацию:
2 x Intel Xeon E5620, 2.4Ghz, 4 ядра (8 потоков)/24 Gb DDR3 ECC RAM/3 x 1000 Gb HDD/2 x 1000 Mbit Ethernet/30 Tb Traffic/1 IP = 6600 р./мес.
Причём 2 из 3 дисков мы тоже можем поставить из серии Raid Edition, чтобы битва была честной.
Итог битвы будет такой:
9000 р./мес. у нижегородского хостера VS 6600 р./мес. у нас.
Вот только у нижегородского хостера порт 100 мегабит и включенный трафик 5 терабит. А у нас 1000 мегабит и включенный трафик 30 терабит.
Дополнительный IP у них – 150 р. Дополнительный IP у нас – 90 р.
Стоимость установки при оплате менее 3 месяцев у них – 2000 р. У нас – всегда бесплатно.
Обещают администрирование. Мы не обещаем, но, как правило, техподдержка почти всегда идёт навстречу.
Считаю, что наш лоукост смотрится привлекательнее. Может я что-то упустил?
ssh1
23.12.2015 11:56-2ru.hetzner.com/hosting/produkte_rootserver/ex41sssd
У вас 6050 за примерно тот же конфиг, но 24 гига оперативы.
Что я делаю не так?lukmanov
23.12.2015 12:13+31) Пытаетесь сравнить десктоп с сервером. Я бы сравнивал с этой конфигурацией: ru.hetzner.com/hosting/produkte_rootserver/px60ssd
2) Хотите увидеть такую же цену. Но пока это увы, не получится. Собственно говоря, в статье я пытался объяснить, почему это невозможно и почему мы тоже не очень довольны результатами такого лоукоста.
В любом случае, услуга была запущена, чтобы собрать статистику, хотя бы, и понять, что ещё можно оптимизировать. Я считаю, что на фоне российских конкурентов – получилось всё равно весьма не плохо.
ainu
23.12.2015 12:29Сложно сочетаются ИМХО слово «лоукост» и Intel Xeon. Может быть, i7 был бы дешевле, или i5, раз уж действительно «лоукост». Возможно, стоит поднять вопрос о возможности обслуживания таких «десктоп» серверов. Hetzner как то же справляется. Ну или слово другое подобрать.
Вот, например, scaleway.com — действительно dedicated лоукост. Даже в угоду производительности.lukmanov
23.12.2015 12:43Просто политика у нас такая. Лоукост должен быть недорогим, но качественным. Но мы этот вариант всё же рассмотрим на ближайшем совещании в четверг.
Diden05
23.12.2015 12:45У меня такой вопрос, у вас есть какие то внешние хранилища, даете ли вы какой то объем под баккапы, как тот же hetzner бесплатно?
Можно ли арендовать кусок такого внешнего хранилища?lukmanov
23.12.2015 12:48Есть это: www.ihor.ru/backup
Напишите, что бы было идеальным вариантом для вас. А мы подумаем, можем ли мы это реализовать/включить в стоимость.Diden05
23.12.2015 13:02В принципе цена нормальная, вопросы:
канал от сервера до хранилища 2 гигабита?
тарифицируется ли трафик?
трафик будет идти через внешку или по внутренней сети?
можно ли к хранилищу подключится с внешки?lukmanov
23.12.2015 13:091 гигабит.
По серой сети – не тарифицируется.
Если попросите в комментарии к заказу подключить серую сеть – её подключат. У нас даже на VDS она есть.
Можно.Diden05
23.12.2015 13:14Если я возьму два сервера и попрошу подключить «серую сеть», будет ли работать между этими двумя серверами multicast и нормально ходить broadcast пакеты?
lukmanov
23.12.2015 13:20Broadcast пакеты ходить не будут. По поводу multicast уточняю у старшего админа. Пока не ответил. Как ответит – я напишу, хорошо?
Diden05
23.12.2015 13:31плохо, broadcast нужен для работы drbd, multicast для Proxmox, может есть возможность завернуть наш локальный трафик в отдельный vlan в котором разрешить хождение broadcast/multicast пакетов?
т.е. как то так, есть eth0 — внешка, есть eth1 — серая сеть с доступом к хранилищу, и есть eth1.XXX синхронизация кластера.lukmanov
23.12.2015 13:55Есть возможность. Сейчас в личку скину скрин переписки с админом и его контакты, на всякий случай.
Diden05
23.12.2015 13:43И еще один вопрос, почему я на однопроцессорной конфигурации не могу взять больше 24гигов памяти?
lukmanov
23.12.2015 13:53Потому что сейчас нет в наличии планок на 8 гигабайт. Не завезли ещё. Если готовы подождать 1-3 дня, то просто укажите в комментарии: нужно N гигабайт памяти. Как планки придут, недостающие опции разблокируются.
willson
23.12.2015 14:19+3А я пересел с DO на ihor.
Админка конечно жесть, нечто очень странное, многое совсем неинтуитивно. Это дико раздражало когда на тикет ты не можешь нажать и открыть его, а уведомления на почту приходят без ссылки на него же. Процесс оплаты тоже через как всегда в России. Но это всё такие мелочи. у ребят дофига работы помимо красивой и удобной админки. Надеюсь, когда подразгрузятся — будут и над мелочами работать. А пока я доволен как слон, что не плачу 8к за DO, а всего 1200 (2 доп гига оперативки) за одну машинку на ihor.
UksusoFF
24.12.2015 07:58Так у них же ISP Manager админка/билинг? Это уже не к ним по поводу оформления.
willson
24.12.2015 08:59Да, у них ISP Manager, и как это может служить оправданием неудобству? Ребята сделали быстрый старт на этой админке, а я выразил надежду, что позже у них и до этого руки дойдут, и будущая админка будет нормальной.
lukmanov
24.12.2015 09:15Дойдут. Разработка приостановлена временно, так как не хватает программистов. После НГ будем расширять штат, я надеюсь.
inkvizitor68sl
23.12.2015 14:31SSD дорогие до жути получаются. 1500 за 250гб ssd-ку (вторую) — это как вообще?
Если уж взялись сравнивать себя с hetzner, то за 3100 у них получаешь 2 ssd по 250 и «какое-то железо к ним».lukmanov
23.12.2015 15:46Почему 1500? 1100 же. А сколько хотелось бы? SSD диски нынче не дешёвые, а ресурс записи – ограниченный. Мы ставим на серверы Samsung 850 EVO. Может имеет смысл подобрать что-то подешевле? Вам известно, какие диски стоят у Hetzner-а?
inkvizitor68sl
23.12.2015 15:58А, да, пардон, 1100.
> Вам известно, какие диски стоят у Hetzner-а?
На новых серверах (с 6 декабря) — пока нет, на старых — INTEL SSDSC2BW24, например.
SYS ставили INTEL SSDSC2BB12 раньше или аналоги.
Tel
23.12.2015 14:39Мне нравится — по ценам, во всяком случае, по сравнению с DO. Расскажите как нам (без админа) наиболее просто к вам переехать?
lukmanov
23.12.2015 15:48Вы можете сделать заказ тестового сервера на 3 дня (на 2 тарифах) и попросить техподдержку помощи с переездом в панели управления.
Tel
23.12.2015 16:11А это вообще реально? У нас там всякий изменённый томкат, настройки и прочие штуки. Я хотел просто узнать есть ли технические способы бекап сервера оттуда перенести к вам.
BasilioCat
23.12.2015 14:48Я бы предпочел подключенную постоянно IPMI консоль. Также не помешало бы иметь автоматизированную установку некоторого количества ОС, и рекавери для них, загружаемые через PXE. А то KVM по запросу это хорошо («извините, сейчас свободных KVM нет»), но грузить рекавери или ставить ОС через Virtual Media очень долго.
Ну и было бы неплохо иметь варианты с более брендовыми серверами (HP, Dell) начального уровня. Думаю, разница в цене с новой супермикрой будет несущественнаяlukmanov
23.12.2015 15:53Рекавери и автоматическая установка будет, у админов эта задача в планах стоит. IPMI на этих машинах нет. Есть небольшое количество серверов с IPMI, но пока ещё они не введены в эксплуатацию. Насчёт брендовых серверов пока не могу ничего сказать. Одно время присматривались к Huawei.
XolodIT
23.12.2015 19:43А сколько стоит vlan на 2-а сервера и есть ли vpu? Спасибо.
Van_Loon
23.12.2015 20:48Вы хотите внешние интерфейсы повесить на отдельный VLAN или внутренние. Уточните, пожалуйста, что есть vpu?
XolodIT
23.12.2015 21:31Внутренние, чтобы трафик между ними не учитывался и был приватным по отношению к остальным участникам сети дц. vpu — vlan-per-user, как у фёстдедика.
Van_Loon
26.12.2015 03:12Внутренний, общий VLAN предоставляется с каждым сервером и включен в цену. Мы сразу коммутируем оба сетевых порта на сервере. Внутренний трафик не подлежит учету.
Что касается выделенного VLAN для пользователя, то, на данный момент, готового ценового решения нет. Чтобы ставить данную услугу на поток, нам нужно еще провести ряд технических мероприятий на сетевом оборудовании. Пока могу сказать только, что если клиент приходит со своим блоком IP-адресов, то мы по умолчанию выделяем ему отдельный VLAN.
avsavchenko
23.12.2015 21:09Не буду голословным прото скажу Hetzner да он распиарен у самого сервер там, но есть и намного дешевле и производительнее в Европе www.serververgleich.com/root-server-mieten
estet
24.12.2015 11:15Попробовал зарегистрировать сервер для хранения резервных копий.
По ssh не пускает:
~$ ssh 185.5.248.183 -l ih88115
ih88115@185.5.248.183's password:
PTY allocation request failed
Shared connection to 185.5.248.183 closed.
~$
P.S. а если у вас лоукост, то почему не на OpenVZ стали делать?Van_Loon
26.12.2015 03:16+1На услуге «Сервер для резервного копирования» нет полноценной поддержки ssh.
В ближайшее время мы планируем выпустить услугу VDS с большим дисковым пространством. Там можно будет самостоятельно настраивать любые возможные способы доступа.
OpenVZ есть, но в данный момент закрыт для приема новых заказов.
Открытие нового кластера на ОpenVZ планируется в январе.
WST
Что такое «ватт в час»? Может быть, просто ватт? А вот во фразе «1 кВт стоит 5 рублей» — там, действительно, с часами, только не частное, а произведение (1 киловатт, помноженный на час). А первая фраза имела бы смысл, будучи сказанно «ватт*час в час», часы сокращаются, остаются ватты.
lukmanov
Спасибо, исправил!
WST
Извиняюсь, что написал не в приват, просто это достаточно распространённая, можно сказать, «бытовая» ошибка, поэтому решил, что может быть полезно и в качестве комментария.