Поставил в Московский ЦОД tech.ru и приступил к эксплуатации.
Фото-отчёт в наличии. Статья состоит из 5 частей:
- Зачем мне сервер.
- Выбор конфигурации.
- Выбор у кого покупать.
- Выбор у кого размещать.
- Проблемы с настройкой данного сервера.
Зачем мне сервер
В августе 2015 года удачно сложились обстоятельства, чтобы я начал делать онлайн игру.
У меня был довольно большой выбор каким долгостроем заняться. По ряду причин выбрал онлайн игру.
Начал её делать и за пол года напряжённой работы хорошо продвинулся, но внезапно сбережения кончились. Тем не менее я зашёл очень далеко в этом вопросе и далее продолжил дорабатывать онлайн игру в свободное от основной работы время. Игра требует много серверных ресурсов — для подсчёта рейтингов.
У меня уже 10 лет имеется личный сервер в Киевском ЦОД hvosting.ua. Достался он мне случайно: «Хочешь сервер вот такой-вот за 750евро и платить только за место в стойке?», ну а у меня тогда как-раз были лишние 750 евро и я согласился. Имеющегося сервера было достаточно примерно до 500 человек онлайн. Поэтому пришлось всех игроков просить «не рассказывайте никому про игру». И сейчас не хотелось бы никому показывать текущую версию, 5 человек активно играют — более чем достаточно на данный момент.
Стало ясно, что нужно брать или арендовать новый сервер.
Вариант с арендой я отбросил, потому что у меня есть позитивный опыт размещения своего
сервера длительностью 10 лет.
Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Я соответственно не мог показывать это в портфолио — и я считаю это был нанесён чудовищный урон моему доходу вцелом.
Именно из-за этих двух причин я принял решение покупать сервер, а не арендовать.
То есть, если онлайн игра будет финансово несостоятельной — она всё-равно останется онлайн и будет доступна для портфолио. И расходы на её содержание будут вполне посильные даже при нулевом доходе от самой игры.
Кроме того, мне нужен сервер для нескольких некоммерческих сайтов и teamspeak сервера для крупной гильдии в известной онлайн игре.
Обзор всех комплектующих в данном сервере, ещё в коробках всё, сейчас будет распаковка
Выбор конфигурации
Я решил, что сервер должен тянуть 50000 игроков онлайн и 1000000 зарегистрированных игроков.
При достижении этих показателей — стартап перерастёт в бизнес и будет возможность купить новое необходимое оборудование. Но вообще почему именно 50000, а не 60000 — рассматривать не будем, статья не об этом.
Дальнейший выбор конфигурации — подбор параметров, под требуемые показатели.
На момент начала этой истории я довольно слабо разбирался в серверном железе и того, что мне на самом деле надо.
Полагаю, что ход мыслей и логика принятия решений будут очень интересны всем причастным к теме. Или людям принимающим решения.
Все комплектующие в своих коробках, сейчас начнётся распаковка и установка
Общие показатели
Для снижения финансовых рисков необходимо, чтобы ежемесячные траты были минимальны. Соответственно сервер должен быть 1U размером.
Серверная часть игры спроектирована таким образом, что почти всё можно запускать в многопотоке. То есть даже можно разделять задачу просчёта игрового мира между несколькими серверами.
Это значит, что при выборе «несколько производительных ядер» vs «много среднепроизводительных ядер» — надо делать выбор в пользу второго варианта.
Сделав некоторые замеры я решил, что для 50000 человек онлайн понадобится 50Gb оперативной памяти (опять таки статья не о том, почему столько).
Внезапно выяснилось, что игра делает очень много записей на диск. Значит это должен быть ssd и довольно мощный.
Должны быть какие-то hdd для бэкапов. Я из тех, кто «уже делает бэкапы».
Выбор процессора
Производитель процессора: Intel, AMD, МЦСТ.
AMD — я пытался пользоваться официальным сайтом AMD, но к сожалению там невозможно понять:
- Какие процессоры у них вообще бывают. Удалось понять изучая не официальный сайт (всякие другие сайты).
- Какие процессоры самые актуальные. На момент изучения — самые актуальные серверные процессоры были без поддержки DDR4. Дальше не стал изучать.
Решение отказаться от покупки AMD — очень неудобный сайт и устаревшие процессоры.
МЦСТ — это безусловно очень интересно, очень интересен сам факт существования процессоров российского производства. Которые даже возможно купить.
Невозможность купить от имени частного лица — сильно напрягло, но решаемый вопрос.
Невозможность изучить полные характеристики процессора, нет никаких тестов в открытом доступе. Пусть даже синтетических. Также отмечаю отсутствие поддержки DDR4 — но это имхо простительно (для AMD такое не простительно). Решение отказаться от покупки МЦСТ было после осознания невозможности использовать команду «apt-get upgrade».
Intel — остаётся только этот вариант. Есть поддержка DDR4 памяти в последней линейке процессоров. Есть специальный раздел сайта в котором они вываливают простыню характеристик процессора — я там могу найти все интересующие меня характеристики.
Откручиваем радиаторы процессорные
Откручиваем радиаторы процессорные
Момент установки процессора E5-2630 v4
Установленный процессор E5-2630 v4 крупным планом
Количество процессоров
В свободной продаже есть серверные варианты 1х, 2х, 4х, 8х.
Вариант купить материнскую плату с несколькими разъёмами и со временем установить туда полный комплект — я решил не рассматривать. Почему? Докупать оборудование это есть очень много времени, нервов и денег. Это в отличии от домашнего компьютера.
Варианты 4х-8х процессорные оказались невероятно дорогими и даже в самой скромной комплектации были с неподъёмной для меня ценой. Однопроцессорные и двупроцессорные системы оказались для разных ниш рынка. Вот список процессоров к рассмотрению (те, что начинаются на «E5-4» — неинтересны, они для 4х процессорных систем).
Рассмотрим варианты «E5-1» — это процессоры для однопроцессорных систем.
Сразу бросается в глаза высокая базовая частота и высокий бурст, но количество ядер очень малое количество.
Вот например «E5-1660 v4» 8 ядер — 1113$, а процессор для двухядерой системы, но с меньшей частотой «E5-2620 v4» 8 ядер — 422$.
Цена в 3 раза меньше в пользу двухпроцессорной системы! Вспоминаю, что для задачи гораздо полезнее больше слабых ядер, чем мало сильных ядер. На этом было принято решение покупать двухпроцессорную систему.
Оба процессора E5-2630 v4 установлены в свои слоты
Нанесение термопасты на процессор
Намазывание термопасты на процессор
Модель процессора
Всё-равно остаётся довольно большой выбор процессоров, какой же выбор сделать. Я обращаю внимание на приставки типа «L» или «W» или «A».
«L» — это низкое энергопотребление. Для меня это не интересно. Если бы у меня была бы своя стойка в ЦОД — это имело бы значение, а поскольку у меня 1U и ни один ЦОД не хочет ставить счётчик к моему серверу — то это и важно.
«W» — повышенное энергопотребление, «A» — очень удачный экземпляр в линейке. Довольно быстро можно заметить, что оставшиеся процессоры делятся на 2 группы. Малое количество ядер+высокая частота, большое количество ядер+низкая частота.
Отбросим первую группу. Итого осталось (стоимость выше 1500$ за штуку я решил не рассматривать):
E5-2603, E5-2609, E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.
Сразу отбросил слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620.
Остаётся 5 вариантов: E5-2620, E5-2630, E5-2640, E5-2650, E5-2660.
При детальном рассмотрении выяснилось, что их можно разбить на 2 группы по максимальной допустимой частоте памяти:
E5-2620, E5-2630, E5-2640 — 2133Mhz
E5-2650, E5-2660 — 2400Mhz
Рассмотрим 2 процессора из этой группы:
По частоте E5-2630 vs E5-2650 не отличаются. Разница только +2 ядра (и частота памяти чуть больше) и цена в 2 раза больше (или +600$)! Вторая группа отпадает из-за цены.
Теперь рассмотрим E5-2630 vs E5-2640:
Отличается только базовая частота +10%, а цена при этом в полтора раза больше. Убираю вариант E5-2640. Непонятная переплата для меня.
Остаётся только E5-2620 vs E5-2630:
Разница в цене 250$, и за них мы получаем +10% к частоте и +2 ядра.
Я готов за такую цену получить такую надбавку.
Итого выбор сделан: Intel Xeon Processor E5-2630 v4
Установка радиатора на процессор
Закручивание радиатора на процессоре
Как процессоры видны в bios
Выбор объёма памяти
Напоминаю: на уровне идеи — я решил, что мне надо ~50Gb памяти. В интернете я нашёл, что сбор сервера с памятью не кратной двойке — это вполне приемлемо.
Но всё-равно. Из соображений, что вся память должна работать одинаково — чтобы мне не надо было парится какому ядру насколько сложную задачу подавать — я решил, что количество памяти должно быть кратным двум.
Соответственно получается, что надо ставить 64Gb памяти. Серверная часть игры написана таким образом — что на стороне сервера полностью просчитывается весь игровой процесс.
Таким образом читерство невозможно. Однако если вдруг памяти не хватит, чтобы полностью поместится в памяти всем игрокам онлайн — будет маленькая катастрофа, игра просто не запустится, а мне надо будет срочно делать какой-то хотфикс. Для возможности сбрасывать на диск промежуточные вычисления.
Ещё выяснилось, что если установлено много плашек памяти — то падает скорость общения процессора с памятью.
Поэтому если я сейчас куплю 64Gb, а потом докуплю ещё столько же — это будет гораздо хуже, чем если я сразу куплю 128Gb.
Разница в цене оказалась вполне посильная, возможно даже хватило бы на 256Gb, но лишней 1000$ не оказалось, весь резерв в итоге ушёл в ssd.
Установка плашек памяти, внимательный суслик тут может заметить 2400 память. На самом деле эта память тут для фоток, нужная память приехала в самый последний момент.
Выбор количества плашек памяти
Я уже знал, что если поставить слишком много плашек памяти — то она будет работать существенно медленнее, чем если поставить меньше плашек памяти. Так и что — лучший вариант это ставить одну плашку на 128Gb?
Оказывается у процессоров есть такое понятие как «каналы памяти». Самый лучший вариант — в каждом канале памяти по одной плашке памяти. Это правило оказывается работает и для игровых/рабочих компьютеров. Удивительно, что всякие блогеры не доносят эту простую мысль до публики.
У моём случае получается 2 процессора, и у каждого процессора по 4 канала памяти. То есть для моего случая лучше всего поставить 8 плашек памяти.
Итого выбор: 8 х 16Gb
Установка плашек памяти
Выбор модели памяти
Выбор оказался не велик. Во первых выбор вообще на данный момент — это 2133 и 2400. Но процессор тянет 2133. Есть ли вообще смысл брать 2400?
Оказывается не только смысла нет, но ещё и вредно (для моего случая). Оказывается доступ к памяти выполняется за 17 тактов у 2400 памяти, и за 15 тактов у 2133 памяти.
Но у меня процессор не может работать с 2400 памятью, он будет с ней всё-равно работать на частоте 2133. Однако, если бы процессор был E5-2650 v4 или выше — тогда наоборот выгоднее было бы ставить 2400 память.
Следующий фактор — это LRDIMM. Это технология позволяющая устанавливать больше памяти на сервер и при установке максимум планок — такая память работает быстрее, чем если бы без LRDIMM.
LRDIMM — это обычная серверная память + какие-то чипы дополнительные. Соответственно и цена +20% примерно.
Для меня соответственно LRDIMM не нужен, потому, что я не устанавливаю память в каждый слот.
Теперь производитель. Среди серверной памяти оказывается производитель не имеет значения. Я вот не пойму как такое возможно — но факт. Синтетические тесты одинаковые. Данные memtest примерно одинаковые. Для Kingston памяти я нашёл варианта: 2 варианта насыщенности чипов, но и даже в этом случае функциональной разницы нет.
Общий вид на установленные процессоры и память
Как память видна в bios
Выбор дисковой подсистемы
Когда я первый раз составлял желаемую конфигурацию сервера — я хотел 1 ssd на 240gb и один hdd на 2tb.
По мере выяснения того, что мне надо — менялась и понимание чего мне надо на самом деле.
Мне пришлось узнать, что ssd диски бывают очень-очень разные. Что на серверах лучше использовать raid1.
Что появилось новая технология NVMe и у неё куча вариантов есть. Raid контроллеры бывают очень разные под разные задачи.
Давайте по порядку. Начиная с «а что надо для задачи?». Надо 200Gb ssd диска, способного выдерживать очень много перезаписи. И 2Tb hdd для надёжных бэкапов. «Очень много перезаписи» — при очень примерных расчётах это 1-2Tb в день. Надёжные бэкапы — это значит raid1 конфигурация. Аппаратный или программный raid — это вопрос величины трудозатрат, квалификации и ответственности при починке raid.
С точки зрения управления выбор получается такой:
- Программный raid — нужна квалификация для починки raid, малейшая ошибка и данные утеряны. Но дешевле.
- Аппаратный raid — просто заменить неисправный диск и всё. Но дорого.
Соответственно Тиском посоветовал самый дешёвый из современных аппаратных raid контроллеров, который позволял бы вот так просто чинить возможную поломку.
Это: ark.intel.com/ru/products/82030/Intel-Integrated-RAID-Module-RMS3CC040
Я обращаю внимание, что это raid контроллер для материнской платы Intel. То есть, если я бы выбрал платформу не Intel — то мне пришлось бы брать что-то другое и занимать аж целый pci слот.
Понятия не имею что это. Или что-то связанное с шифрованием или что-то связанное с raid картой
Подготовка raid карты к установке
Установка raid карты
Как raid контроллер виден в bios
Модель HDD
Я собирался покупать Western Digital по причине того, что у меня очень позитивный опыт использования таких hdd для домашних компьютеров. Но Тиском заявили, что они смогут только в течении недели сделать замену (по гарантии или без). И предложили HGST — сказали, что смогут сделать замену в течении суток.
Стал в интернете искать что пишут про надёжность HGST — вроде нормальные отзывы, и согласился с таким выбором производителей дисков.
Далее объём. 2Tb надо, хорошо. А что у нас дороже? +1Tb на 70$ дороже, ну я же потом себе не прощу, что сэкономил на объёме, и если мне вдруг потом понадобится ещё места. Ну и далее по линейке аналогично по чуть чуть увеличивается объём и по чуть-чуть увеличивается цена. Между 6Tb и 8Tb проходила моя граница возможности бюджета.
Итого выбор: 2шт 6Tb HGST HDD.
2 HDD HGST 6Tb
Установка какой-то части raid контроллера для корзины с HDD
Подключение корзины с HDD к Raid карте RMS3CC040
Выбор типа SSD
Первый вариант: просто поставить 1шт ssd 200gb. Далее я узнал, что чем больше ssd — тем больше у него ресурс перезаписи (при прочих равных). И, чтобы быстрее эту перезапись мог выполнять.
Например у меня будет 200gb данных и объём 240gb vs объём 1000gb. Так вот при прочих равных — ресурс перезаписи большого объёма будет в 4 раза больше.
Уж пусть специалисты меня простят, но для принятия решения — это совсем не очевидно.
Далее я понял, надо жи raid1 использовать и надо 2 таких ssd. Да, пусть даже делаются бэкапы хоть каждый час и не страшно будет потерять единственный ssd. Но там жи ОСь, настройки всего. Актуальная БД. Придётся потратить срочно очень много времени и сил на восстановление.
Ssd выдерживающий 2tb в день перезаписи стоит очень дорого. А ещё надо запас какой-то по этому показателю иметь.
Далее я узнал про технологию NVMe. Это по простому: ssd диск подключённый не как обычно, а через pci слот.
Полоса данных больше и быстрее — это для моей задачи важно. Немедленно встал вопрос — а можно ли объединить их в raid?
Оказывается можно, но в продаже подобных raid контроллеров нет. Есть опытные образцы с неизвестной ценой.
Вобщем на момент покупки — это был неприемлемый вариант.
Ещё один фактор принятия решения: вот скажем я купил 2 дорогих ssd диска, объединил их в raid. Но ресурс перезаписи у них одинаково быстро расходуется. И что я получу? Что они выйдут из строя одновременно?
Далее я выяснил, что чаще всего ssd выходят из строя не по причине выедания ресурса перезаписи, а из-за поломки контроллера в ssd. Да, для этого raid будет актуален.
И вот выбор получается между pci-ssd (NVMe) и raid1-ssd. И с учётом приведенных выше размышлений для меня однозначно лучше pci-ssd. Ну просто тупо нет ещё 2000$ на резервный ssd, а если бы и были — то надо брать 2U систему и ещё за 400$ покупать корзину. Ну и или покупать в 10 раз хуже ssd.
Ну да, я готов доверится известному брэнду (в данном случае Intel), в надежде, что у них достаточно надёжный девайс, чтобы заявленный срок и ресурс отработал без сбоя.
NVMe P4800X устанавливают в райзер
Выбор модели NVMe
В ssd меня интересует iops на запись, скорость выполнения отдельной операции, объём, ресурс перезаписи.
Пересмотрев характеристики тысяч ssd, я считаю, что в моём случае надо в первую очередь смотреть на заявленное количество перезаписей.
Почти все ssd можно разделить на группы по количеству перезаписей своего объёма в день, в течении 5 лет. Группы: 0.3, 1, 3, 10, 30, 100.
Почти всегда точное соответствие между ресурсом перезаписи и iops на запись. Отдельно выделяются ssd, чтения с которых выполняется с невероятным количеством iops, но относительно слабенький на запись. Такие мне для этого сервера не интересны.
Производители: Intel, HGST, Huawei, HP, OCZ. Всяких разнообразных ssd — невероятное количество. Честно говоря — я слабо представляю как вообще люди объективно выбирают ssd нужный. Ssd всяких так много, они такие разные, разброс цен такой огромный.
С моей точки зрения лучше всех сгруппировала продукты Intel. Они сумели разбить все ssd на группы так, что я смог сформировать мнение какой девайс мне нужен, а какой нет.
3 линейки NVMe pci-ssd: P3500, P3600, P3700. По 400Gb:
P3700 — 75000 iops — 1000$, 10 перезаписей в день
P3600 — 30000 iops — 650$, 3 перезаписи в день
P3500 — 23000 iops — 600$, 0.3 перезаписи в день
Собственно очевидно, что P3500 сразу отпадает. За 50$ десятикратное увеличение важного мне параметра.
Готов ли я за 350$ получить ~в полтора раза больше iops и в 3 раза больше ресурс перезаписи? Канешна, да.
И вот я собрался покупать P3700 на 400Gb, но за пару месяцев до покупки появляется в продаже P4800X.
Он стоит почти в 2 раза дороже P3700. Чуть меньше объёма. iops на запись 500000. Ресурс перезаписи 30.
То есть итого за 800$ я получаю в 8 раз больше iops и в 3 раза больше ресурс перезаписи.
Ну честно говоря по показателю iops — он просто прекрасен и не смотря на то, что достать дополнительные 800$ было не просто — я решил таки покупать такой ssd.
Бонусом идёт более быстрая запись каждой отдельной команды.
Выбор: www.intel.com/content/www/us/en/products/memory-storage/solid-state-drives/data-center-ssds/optane-dc-p4800x-series/p4800x-375gb-aic-20nm.html
Райзер с NVMe P4800X устанавливают
NVMe P4800X установлен
Как NVMe виден в bios
ИМХО про ssd
Отдельно хочу отметить, что существует тип ssd SLC/MLC/TLC/QLC. Смысл разницы понятен: В одну физическую ячейку записывается сразу несколько битов данных. Соответственно SLC — только одну. MLC — два. TLC — три. QLC — четыре. Слева направа — от дорогого к дешёвому. За счёт скорости записи, чтения, ресурса перезаписи.
SLC — самые надёжные, самые быстрые и… чудовищно дорогие. Например «Micron RealSSD P320h» волосатое чудовище объёмом 350Gb всего за 5000$. Заявленный iops на запись 350000. Неограниченный ресурс перезаписи.
MLC — бывают очень разные. Это ж на заводе делают кучу чипов памяти, что-то получилось удачным — засовывают в серверный вариант, что-то не очень — засовывают в домашний вариант ssd.
TLC — раньше делали откровенно быстро выходящие из строя, сейчас вроде как делают хорошие. И пытаются сделать представление, что TLC — это хорошо (чтобы старые раскупили глупые покупатели).
QLC — пытались делать, но видимо товарный вариант никому не получилось сделать.
Вот Intel недавно выпустила 3D-XPoint, это какой-то новый тип памяти. Как по мне — слоёный пирог из ssd чипов.
Выбор материнской платы
Для серверов в отличии от домашних компьютеров к выбору материнской платы подходят совсем по другому. Для домашнего ПК размер собственно компьютера не важен, а для сервера — надо всё-всё засунуть в 1U (Это 4.3 сантиметра!).
Отсюда немедленно появляется другой подход к подбору материнских плат. Продаются не материнские платы, а платформы. То есть материнская плата+корпус. Тот, кто продаёт только материнские платы отдельно — немедленно проигрывает в конкурентной борьбе.
Платформы под данный процессор бывают от разных производителей. С небольшими возможными модификациями, на сайтах можно указать ссылку только на конкретную модификацию (о модификация скажу чуть позже):
Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.
— Supermicro
— Asus
— Intel
— Отдельно Intel
Выбор из этих четырёх вариантов — это самый дешёвый вариант подходящий по всем требованиям от каждого из перечисленных производителей. Цена у них примерно одинаковая получается. Вариант R1304WFTYS отпадает сразу как только вижу 1100W мощность БП (почему это важно — об этом позже).
Про ASUS я подумал так, что они недавно вылезли на рынок серверных материнских плат, непонятно чего я буду рисковать.
Про supermicro — они собственно только серверными платформами и занимаются уже очень давно. Но… raid контроллер. Или я беру Intel платформу или мне нужен другой контроллер и занимать слот PCI.
Поэтому я решил выбрать Intel платформу R1304WTTGSR. Но отмечаю, что она на 10% дороже аналогичной платформы от supermicro.
Модификация: с 10 gbit ethernet. Разница в цене 100$, а если мне вдруг понадобится жирный канал — не хотелось бы трогать сервер и устанавливать туда чего-то. А мне скорей всего понадобится жирный канал для момента старта игры.
Платформа R1304WTTGSR запакованная в ящик
Вот что мы видим при первом открытии новой платформы R1304WTTGSR
Все комплектующие установлены, осталось закрыть крышку
Вот такие сведения о платформе видны в bios
У кого покупать
Разумеется в первую очередь обратился к hvosting.ua, ведь я с ними уже более 15 лет сотрудничал получается. Да и объём сделок превышает стоимость обсуждаемого сервера. Но размещение сервера в Киеве после известных событий 2014 года — неприемлемо из соображений безопасности оборудования.
hvosting.ua предложил мне размещение в ЦОД ttc teleport в Праге. Но обсуждение прекратилось на вопросе «я хочу бумажку имеющую юридическую силу о том, что я владелец сервера». Ну уж простите, я уже не студентик всецело всем доверяющий.
Однако, если кому-то очень надо чего-то хостить в/на Украине — я рекомендую hvosting.ua был uptime ~1200 дней, потом плановый перенос сервера в соседний ЦОД и ещё uptime 700 дней. Далее я пытался сделать «apt-get upgrade» без перезагрузки сервера :) Не вышло у debian, само не смогло обновится за 2000 дней — какую-то зависимость разрулить не смогло само. Hvosting помогли разрулить.
В общем за 15 лет не было ни одного сбоя питания и канал падал на 15 минут каждые 4 месяца, 2 раза канал упал на несколько часов.
Особенно доставила сломанная oauth авторизация vk (у них же там vk заблокирован).
Обзор рынка
Стал вопрос о покупке в РФ и размещение тоже в РФ. Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён. Был приятный момент, в самом начале поиска — выбор наилучшего поставщика, никаких рекомендаций, никаких предвзятостей — все равны. Помню как начал с банального поиска «datacenter в России» (потом я уже выяснил, что в РФ это называется ЦОД). И «купить сервер в России».
Думаю будет правильно рассказывать в хронологическом порядке.
05.12.2016
Brigo
В начале был очень конструктивный разговор, с интересным предложением. Я изучал возможность варианта raid1-NVMe, задал вопрос могут ли они на платформу intel поставить raid1-NVMe?
Внезапно получил на этот вопрос: грубый отказ от ответа (меня бы кстати устроил бы и просто ответ «нет», я просто реально был не в курсе этого дела). Дальше не хотелось с ними общаться.
У них первых я увидел P4800X в продаже и поэтому решил у них поспрашивать детали покупки.
Разговор закончился на том, что без моего личного присутствия в Москве совершить сделку невозможно.
05.12.2016:
Unit Solution
У себя на сайте пишут, что 12 лет опыта. И прочие крутые показатели. DNS whois показывает что домен был недавно зарегистрирован (за 3 месяца до рассмотрения). У меня немедленно возникает к ним вопрос: «почему такие расхождения?». Оказывается до этого была другая компания к которой остались отзывы в интернете типа «оплатил давно, нет ни сервера ни денег». Можно было бы простить спецов, создавших новую компанию после работы с нехорошим директором. Но к сожалению, то что они написали — не сходилось с историей DNS. Решил, что риски неприемлемые, хотя цену они предложили интересную.
08.12.2016:
ItTelo
Граждане торгуют Б/У оборудованием. Тогда я ещё рассматривал такие варианты. Со временем решил не рассматривать, потому что DDR4 Б/У нет. sdd-hdd Б/У лучше не брать в любом случае. Ну и получается им нечего мне предложить.
08.12.2016
It paradigma
Это региональный поставщик оборудования. Впринципе хороший вариант — они же рядом. Тогда ещё думал, что может есть приличный ЦОД в Краснодаре, но нет — если и есть приличные — то забиты под завязку. Парадигма загнули цены вверх и не стали отвечать на мои глупые вопросы.
12.12.2016:
Тринити
Вот такая вот ссылка рабочая до сих пор: server.trinitygroup.ru/expert/25736
Насколько я помню — меня смутила цена. Честно говоря, даже сейчас я смотрю на данную цену и не понимаю откуда такая большая цена.
12.12.2016
Тиском
Их порекомендовали ЦОД tech.ru типа они сами с ними сотрудничают. Выслушал все мои хотелки — подобрал именно то, что соответствовало моим хотелкам того времени. По прекрасной цене. Далее стал раскапывать DNS whois и отзывы в интернете.
DNS whois соответствовал описанному в переписке. При расследовании вскрылось много любопытных деталей.
Выяснилось как компания основывалась, кем, как менялась. Нашлось как меняли сайт и попросили отзвывов о нём где-то оставить.
Нашлись сотрудники компании. Нашлись позитивные и негативные отзывы. Всё это говорило о том, что компания старая и чем-то активно занимается постоянно.
Ещё я проверил сертификат Intel — он был хоть устаревшим, но настоящим. Проверил ещё какой-то случайный сертификат — тоже настоящий. На сём остался очень доволен.
Также имеется https. Тоже добавляет очков в сторону выбора их компании.
С самого начала выглядело как очень хороший вариант.
12.12.2016
stss
Первое общение — положительное. Но цена — просто нет слов какая большая. До сих пор тут висит озверевший от жадности пример. Выбираем 400Gb NVMe 75k iops. Это у нас соответствует Intel P3700. Получается, что все продают эту железку за 60000±, а они её толкают за 90000.
Ну ладно, может этот новый сайт с багом каким-то?.. Но нет, это не баг. Вот находим это же на основном сайте со старым дизайном:
stss.ru/products/servers/T-series/TX217.4-004LH.html?config=
Тут в соответствующем месте выбираем ту же железку и тоже получаем +90000 к стоимости.
50% бонусного навара это безусловно очень выгодно, но извините, мы подём другой дорогой.
12.12.2016
Desten
Вообще это был очень приличный вариант и DNS whois и отзывы — выглядели хорошо.
Но на вопрос «могут ли они без моего присутствия доставить сервер в ЦОД?» не ответили.
Так бы всеръёз выбирал между Тиском и Desten. Был бы у них более терпеливый саппорт — возможно я бы сервер в итоге у них купил.
13.12.2016
Server-gid
Они мне просто прислали конфигурацию и цену — я ужаснулся и ничего не ответил. Теперь я смотрю — цена адекватная, а почему раньше ужаснулся — потому что не понимал смысла слова «DWPD». Судя по всему у меня с ними был телефонный разговор какой-то.
14.12.2016
Itelon
Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что. Сотрудник объясняет мне, что переплата за оперативную помощь. Но я чего-то не понимаю — сервер стоит в стойке ЦОД tier3. Никто его ногами бить не будет. Кроме заводского брака — ничего там не может случится. Плюс они заявили, что не могут как Тиском без моего присутствия установить сервер — непонятно было о чём дальше говорить.
10.01.2017
Server-city
Сейчас я у них на сайте вижу скуденький конфигуратор серверов. Тогда у них был только сайт-визитка. И там было написано, что рассматривают варианты рассрочки, я и решил спросить на эту тему. Сказали, что такие малые суммы для рассрочки не интересны. Сервера у них DELL/HP — что имхо переплата не пойми за что.
Разрешите обосновать моё невольство этими компаниями.
www.regard.ru/catalog/?query=2620+v4
Мне кто-то объяснит чем отличается «Intel Xeon E5-2620 v4 OEM» и «Dell Xeon E5-2620 v4 (338-BJEU)»? Я вот вижу только разницу в цене в 2 раза! Сами кристаллы процессоров делают Intel. Готов поверить, что они припой ставят другой, ну ок +50$ готов понять. Объясните мне глупому за что компания DELL в данном примере берёт +500$?
Видимо как-то удачно у них сработала напоминалка и они мне позвонили за неделю до окончательного согласования конфигурации с Тиском. Попытались перехватить меня как клиента в последний момент. Но… цена оказалась выше чем у Тиском.
Ebay
А также бандеролька, ComputerUniverse, ogg и прочие площадки. Вариант, что доставляют мне в глубинку, а я потом как-то доставляю в Москву — выглядит ужасно. Мало того, что весь профит от отказа от посредников выедается стоимостью доставки. Так ещё и времени невероятно много съест. И главное — риски повредить появляются (ударить об что-то например).
Вариант с доставкой в Москву — нужно где-то помещение, где я смогу собрать сервер плюс личное присутствие. Плюс трансторт между точкой выдачи, точкой сборки и ЦОД. Плюс риск накосячить при сборке (еси ж там второстепенный проводок не так подключу — не будет возможности исправить).
Самоу побегать по Москве
Я обратил внимание, что цена колеблется по каждой железке в разных магазинах. То есть можно побегать по Москве купить дёшего в раных магазинах. Но опять таки риски кривой сборки. Личное присутствие, место для сборки и транспорт по городу. И вопрос — а где профит от данного мероприятия?
Местный магазинчик
В глубинке разумеется есть магазины и они готовы за долгий срок доставить что угодно за приемлемую цену. Однако как выяснилось, у них как-то мозги подругому работают. Я им объясняю, что вот ssd дорогой мне нужен вот такой вот. А они — у нас его нет, вот берите другой с похожими характеристиками. Из «похожих» рассматривается только объём.
Но опять таки — привезли, надо собрать (есть риск, что будет криво что-то), далее доставка, личное присутствие и т.д.
RussianHardware
Очень интересный вариант. Человек собирает компьютеры на заказ. Говорит прямо: берём 4% комисии. Все дополнительные расходы — за ваш счёт. Эта позиция мне очень понравилась, но никаких гарантий, что он не исчезнет после получения денег — нет. Я вот не понимаю. Что ему мешало сказать, мол вот есть вариант с договором, всё юрилически правильно оформлено. Этот вариант увеличит стоимость вот на столько. Так-то был бы очень интересный вариант. Вот основная цена, вот мои 4% наценки, вот дополнительные траты связанные с доставкой, вот траты на юридические вопросы.
team.ru
С этими ребятами я ни разу не общался, но провёл у них на сайте очень много времени.
Должен признать — у них самый удобный конфигуратор из всех сайтов. Удобный не с точки зрения красивости, а с точки зрения того «как во всех этих характеристиках разобраться?». Не общался с ними потому, что у них нацека на всё 15% по стравнению со всеми остальными. У них много сертификатов всяких — для себя сделал вывод, что муниципалитетам окрестностей Московской области или Москвы — это лучший поставщик оборудования. А для меня нет — в первую очередь из-за наценки.
Их конфигуратор настолько прекрасный, что заслуживате отдельного внимания. Рассмотрим этот пример. Возможно им его стоит продавать как сервис другим компаниям? Типа сгружают свои цены и чего есть, а пользователи уже сами компонуют чего им надо. Ну… если бы у Тиском был такой конфигуратор — это было бы супер прекрасно.
На первый взгляд — плохой из-за дизайна. Но у нас тут не салон красоты.
Ещё отмечу, что не смотря на кажущюся простоту в нём скрыто огромное количество мелкого и полезного функционала. Платформа. Именно благодаря этому сайту до меня наконец дошло как выбираются материнские платы для серверов (в виде платформы и их модификаций). Также тут сразу видно все модификации. Видно, что для ssd и для hdd. Видно что 10GbE и 1GbE. Тут сразу наглядно становится ясно, что если я хочу поставить себе hdd — то 2 модификации мне совсем не подходят. А разница в цене на тему 10GbE и 1GbE — это 1GbE+10% = 10GbE. И всё, больше не надо размышлять и сравнивать, задавать глупые вопросы постовщикам. Глядя на это — сразу всё ясно.
Далее блок с процессорами — наглядно видно какие процессоры можно воткнуть в данную платформу. Процессор с кучей характеристик — на этапе «я ничего не понимаю, но хочу понять» — вываливать по столбикам все отличающиеся характеристики — очень полезно и очень разумно. Этот раздел мне очень помог понять какие характеристики процессора важны для принятия решения, а какие нет.
Далее блок с памятью и он внезапно тоже сильно помог разобраться на какие характеристики надо смотреть для принятия решения. Тут очень наглядно видно, что надо учитывать частоту памяти и RDIMM/LRDIMM. Об этом я писал раньше.
Далее я понял как собрать raid1-nvme. Посмотрим сюда. Там можно выбрать корзину для ssd-nvme. После этого можно выбрать nvme-ssd в эту корзину. И далее подойдёт любой современный raid контроллер из расчёта 4x pci линий на каждый nvme девайс.
Вот так просто о самом главном — я наверное такой глупый потратил более 20 часов чтобы понять 3 строчки выше.
Да, в современный 1U Intel аппаратный raid1-nvme собрать пока невозможно. По причине отсутствия соответствующих корзин.
Regard
Я здесь провёл много времени подбирая конфигурации и сравнивая цены. Цены тут хорошие, но постоянно выскакивает «нет в наличии» — что довольно сильно мешает планировать. С магазином не связывался. Потому что собственно о чём говорить? Вот товар, вот цена — плати и забирай. Поскольку надо забирать лично — вариант непремлемый.
AND systems
Пытался собрать сервер, но у них постоянно чего-то не было в наличии. А то, что было — не по самой интересной цене.
Заключение
Из всех перечисленных вариантов очевидно, что лучше всего для меня подходит Тиском. Перед покупкой согласовали окончательную конфигурацию. Заключили договор удалённо, потом после покупки — в бумажном виде. На 4й день после оплаты, как и планировалось — доставили сервер в tech.ru и я вечером того же для уже начал его настраивать. Через bios проверил, что всё оборудование есть в полном объёме и в соответствии с договорённостью.
Всё прошло безупречно, даже придраться не к чему.
На представленных выше фото мелькает рука. На этой руке синий нарукавник с проводом. Это не для прикола, а заземление. Это безусловный плюс к квалификации сотрудников Тиском.
Центры Обработки Данных
Я в истории у себя нашёл переписку только с 4мя ЦОД, но я точно помню — их было гораздо больше. Точно помню — были разные телефонные звонки. Точно помню — были обзоры сайтов.
Довольно быстро можно выяснить, что существуют разные уровни ЦОД. tier1, tier2, tier3, tier4. Или вообще без этой марки. tier4 в РФ есть только один. Оффсайт сейчас почему-то найти не могу, но я помню я его находил и видел, что со своим 1U пролезть туда невозможно. Да и наверное цена была бы слишком высокая для меня.
Рабочий инвентарь в ЦОД tech.ru
tier3 очень много вариантов в РФ. Я взял этот список и стал искать соответствие. Я возьму сейчас этот список и пойду сверху вниз:
DataSpace
Возможность арендовать только стойки. Написали бы тут список посредников, через кого можно 1U засунуть к ним.
Сбербанк ЦОД
Явно просто для нужд самого банка.
КРОК
Не для перепродажи.
DataPro
Только стойками торгуют. Посредников нет.
IT park
Эти уже предлагаю что-то для 1U оборудования. Помню, что смотрел это место раньше, но цены не понравились и потому не стал даже писать им. Они на сайте ничего не написали про стоимость каналов связи — а и без каналов связи уже неприемлемая цена получается. Ещё меня смутило отсутствие фото. Ещё меня сейчас смущает отсутствие https. Я понимаю, что они так построили сайт, что им теперь нужен wild-ssl, который существенно дороже обычного ssl. Но нет денег на сертификат или не хватило ума правильно организовать сайт — тоже не в плюс им идёт.
ВТБ
Этот банк тоже сам себе ЦОД построил.
Data Line
Как-то я упустил такой ЦОД. Сейчас, если бы искал — я бы полюбому с ними связался бы. По ценам ничего не известно — всё через «отправить заявку». Возможно это меня и запутало пол года назад. Отсутствие https удивляет — потратили же несколько миллионов долларов на строительство ЦОД и не нашлось 10$ на покупку сертификата. Внимание вопрос: на чём ещё они сэкономили, или чего ещё упустили из виду?
LLC ?Inforesource St-Petersburg?
Это что-то государственное.
Mobile TeleSystems PJSC
Это ЦОД оператора мобильной связи.
Avantage
Только стойками торгуют. Посредников нет.
Акадо — интернет-провайдер построил себе ЦОД.
Stack telecom
При внимательном рассмотрении — видно, что tier3 сертификат у них скоро экспарится. Это значит — что они дизайн ЦОД сделали в соответствии с tier3, но почему-то до сих пор не реализовали его. Https нету, фоток нету. Цены очень хорошие, почему я им не написал — затрудняюсь ответить.
Итого tier3
Итого из ЦОД, офоциально соответствующих tier3 — для меня не был никто приемлемым. Что делать дальше? Я попытался поискать в разном виде в интернете сайты разных ЦОД:
14.02.2017
Store Data
Видимо они первые мне попались в рекламе или при поиске. Точно помню, что меня сильно напрягло — что не было указано адреса каждого ЦОД, сейчас я его уже вижу. Ещё помню ужасную вёрстку на сайте. Даже сейчас debian+firefox смотрится ужасно. При обсуждении цен у меня были «глупые» вопросы, типа я не понимаю за что платить 30000р/мес. На один из таких вопросов они решили мне не отвечать. Ну что ж поделаешь — помоему и правда я не их клиент. Они там специализируются на платёжных системах.
Случайный поиск не помог
Наверняка я нашёл более, чем один ЦОД, но чем-то они мне не понравились. Я помню, что стал изучать «а что есть правильный ЦОД?». Смотреть всякие видео в интернете о ЦОД и сложилось представление о том, что я должен увидеть на фотках.
Я пытался попасть в Ростелеком ЦОД местный. Потому что и провайдер мой — Ростелеком. И организация приличная. Провёл оптоволокно за 3000$ — очень хорошее качество связи.
Оффтоп: У Ростелеком ужаснейший родной DNS — из-за этого наверняка у большинства бользователей ужасное мнение о данном провайдере. Но они не предлагают услуг по размещению своего оборудования, совсем, нигде.
Тогда я просто позвонил им в поддержку центральную и спросил — «а что вы мне порекомендуете?». Этот сотрудник мне порекомендовал «hc.ru» и «tech.ru».
16.12.2016
Tech ru
Терпеливо отвечали на все мои глупые вопросы (это я сейчас вижу и понимаю, что вопросы глупые). Они предложили связку поставщик+ЦОД, кроме них ещё только ЦОД в прибалтике подобное предложили. У них современный сайт, как вы видели в анализе выше — далеко не у всех такое есть. Фото оборудования — соответствует представлению о том, какой должен быть правильный ЦОД (собственно все кто выложил фото-видео соответствуют, но выложили далеко не все). Есть необычный канал «burstable rate». Цены с моей точки зрения чуть ниже чем у всех. Ну и сделали спец-предложение в виде скидки по блоке питания (БП).
Надо немного пояснить, почему все ЦОД озверели с этим показателем максимальной потребляемой мощностью БП. Мне как потребителю вообще непонятно почему при оплате смотрят на циферку-надпись на БП. Логично было бы смотреть на потребляемую мощность или в конце концов — максимально возможную потребляемую мощность. В моём случае если собрать все железки до кучи — получится 420W максимально возможное потребление и реальное потребление сейчас наверное около 100W. А на моём БП нарисовано 750W — значит я должен платить за это 1900 рублей в месяц за превышение мощности 400W. И они не одни такие — оказалось все поголовно такие странные. Почему?
Оказалось, что для случая выключения серверов — а потом их одновременного включения потребляется какраз максимально-возможный ток.
Ну вот и получится, что в критической ситуации — оператор или просто нажмёт «включить всё». Или если таких как я будет много — прийдётся включать каждый сервер по очереди. Соответственно дольше простоя у некоторых клиентов. Больше причин я не нашёл — но и эта причина вполне объясняет странность такую.
Следующая странность — это подключение к портам 100мбит/1гбит/10гбит. Даже если через этот порт будет гонятся очень мало данных — извините, это стоит очень дорого. И это никак не очевидно человеку, который не в курсе этих ньюансов.
Вход к рабочей зоне ЦОД tech.ru
16.12.2016
Хостинг Центр
Они мне в поддержке написали «Напишите нам, пожалуйста, когда сервер будет готов к установке в ДЦ». Ну и вот как мне это воспринимать? Как вежливый отказ от сотрудничества? Через 2 месяца я у них спросил есть ли у них ограничение по питанию? Внезапно оказалось что есть. Ну и какого лешего они мне сказали сначала купить сервер, а потом выяснять что надо было купить? На сём я решил, что общаться с такой поддержкой неприемлемо.
18.01.2016
Миран
Спрашивал у них есть ли возможность заказа оборудования. Они предложили только сбор dedicated сервера на заказ.
Итого
Выбор как видно был сделан в пользу tech.ru. В первую очередь потому, что они сотрудничают тесно с Tiscom. Во вторую очередь из-за хорошего саппорта. Во третью очередь из-за скидки по питанию.
То, что есть burstable rate, хорошо оформленный сайт, https, фото и прочие мелочи — тоже было в плюс.
За месяц использования было зафиксировано 2 downtime канала примерно 15 минут и 3 минуты соответственно. При подключении перепутали маршрутизацию ip адресов (7 ip адресов на 10мбит канал <-> 1 ip адрес на 100мбит канал). Остальное всё прекрасно.
Ещё я могу придратся к тому, что нету служебного API типа выяснять сколько времени у UPS осталось до выключения. Нечто подобное есть в hetzner.
Пример стойки в tech.ru с работающим оборудованием клиентов
Они когда узнали, что я собираюсь статью о них писать попросили, чтобы я тут оставил этот телефон: +79055628383
Проблемы с настройкой данного сервера
Я вынес отдельно проблемы, которые у меня возникли по ходу настройки данного сервера.
Не стандартные проблемы с моей точки зрения. То есть решение которых не легко нагуглить.
Настройка NVMe — как основной диск системы
Первая проблема — как сделать NVMe диск загрузочным.
Я начал с простого — попытался в лоб установить как есть. Не получилось. Ну то есть Debian установился и сделал NVMe загрузочным, но BIOS не видел данного варианта загрузки, ну вот никак. Трогать в BIOS того, чего я не понимаю — не хотелось, а из того что я понимал — перепробовал всё. Из вариантов загрузки нашёл UEFI вариант. Но и он не хотел запускать boot-NVMe через этот вариант. Покопавшись в UEFI — я убедился, что из командной строки реально получить информацию про установленный NVMe. А значит и реально как-то загрузится с него.
Собственно стало очевидно, что надо что-то прописать в этот UEFI.
Фото с места раскопок UEFI. Mass Storage Controller — наш клиент.
Копался-копался в консольке этого UEFI — понял, что какой-то это невероятно сложный путь, должен быть проще.
Забрёл на сайт Debian и там собственно был ответ на поверхности. Надо всего-то было:
- Выбрать экспертный режим установки Debian.
- При выборе способа загрузки (который доступен только в экспертном режиме) UEFI/GRUB -> Выбрать UEFI.
- Разметить специальным образом маленький кусок NVMe диска, для UEFI загрузчика.
Вообще честно говоря это ИМХО сильный косяк со стороны Debian — ну очевидно же, что Debian устанавливается на NVMe девайс — правильно было бы в таком случае предлагать в не экспертном режиме способ загрузки и по умолчанию через UEFI.
Debian установщик разметил и установил UEFI загрузчик на кусочек NVMe диска (аж целых 500мб ему понадобилось для этого, ну то ладно). Через ту самую консольку UEFI самостоятельно внёс настройку и выбор загрузки с данного раздела NVMe. Мне осталось в BIOS выбрать этот новый способ загрузки как основной.
Вот такую разметку надо делать для загрузочного NVMe девайса.
Вот это ключевой момент при установке Debian на NVMe, именно это должно быть в не экспертном режиме установке для случая установки на NVMe. И по умолчанию «да».
Настройка Zabbix-iops
Вторая внезапная проблема это подсчёт iops. Я наивно полагал, что zabbix умеет такое считать и оно мне будет рисовать сколько iops мой NVMe выдаёт. Оказалось, что не умеет. Как по мне — это невероятно странно.
Выяснилось, что есть стороннее дополнение для zabbix, которое может собирать такие данные.
Но это стороннее дополнение не умеет работать с NVMe девайсами. Пришлось допилить немного, благо это всё opensource. И способ сбора данных не совместим с последней версией zabbix, да и вообще содержал ошибку в сборе данных. Тоже подправил. Pull request тут.
Была задачка — распаковать архив с огромным количеством мелких файлов. Данный NVMe такой быстрый, что справился с архивом в 100гигов на 10000 файлов за несколько секунд. Тем не менее zabbix зафиксировал за эту минуту: Максимальное значение которое я увидел — это 5000iops на запись при утилизации в 5%. То есть очень примерно данный девайс точно выдаст 100000iops на запись.
Вообще такая мощность покупалась для БД и на что способна данная железка будет известно только после боевого запуска онлайн игры, которая делается. А пока вот такой синтетический простой тест.
Ещё хочу отметить, что HDD способны выдавать 800iops на запись при утилизации 100% в течении 5 минут и далее 500iops на запись — 15 минут (тоже при утилизации 100%).
Ещё был забавный момент когда я стянул 90гиговый архив по ошибке на NVMe девайс, а надо было его стянуть, распаковать и положить на HDD. Ну думаю сейчас распакую его на HDD, замеряю iops на чтение, понятно что не много будет, но всё-же. И внезапно я вижу iops на чтение равное нулю. Ну думаю точно в скриптах zabbix какая-то ошибка. Перепроверил всё тщательно, продебажил как следует — убедился что нет ошибки.Как тогда это возможно? А фокус в том, что это была первая тяжёлая операция на данном сервере и Debian смотрит — 90гиговый файл и 120гигов свободной оперативы.
Ну и целиком засунул в оперативную память данный файл. Потом при обращении к этому файлу — прочитал его с оперативной памяти, а не с NVMe.
Заключение
Есть такая поговорка: «Как корабль назовёте, так на нём и поплывёте». Сервер получил имя «nova». Краткая форма записи на английском языке от «Гиперновая звезда». Гиперновая звезда — это очень яркая вспышка длительностью несколько сотен лет. Миг по меркам космоса. Вот и сервер должен прекрасно справится с запуском онлайн игры за «короткий» промежуток времени.
Пройдёт ещё не менее года, прежде чем будет всё дооформлено, контент доделан, тщательно всё протестировано, публикационные материалы готовы, юридические вопросы решены и ещё тьма вопросов — и тогда прийдёт время вспыхнуть этой гиперновой. Это ж такая редкость сегодня — публикация доделанной игры.
А пока — я готов провести синтетические тесты NVMe p4800x. Например, для mysql написать какую-то задачу в 20 потоков, чтобы очень яростно мучало данный ssd. И таки выяснить реальный предел возможностей данного девайса. С удовольствием выполню ваши нагрузочные скрипты на данном сервере и опубликую результаты тестов.
Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.
Комментарии (172)
karter
23.10.2017 18:19+2Граждане пытались продать мне Dell оборудование. Опять я вижу переплату за брэнд вообще непонятно за что.
Сотрудник объясняет мне, что переплата за оперативную помощь.
Показалось немного странным Ваше удивление. Судя по всему имеется в виду какой-нибудь SLA от самого DELL на оборудование, которое стоит у них в ЦОДе. И в случае выхода из строя запчасти сервера (диск, кулер, рейд-контроллер и т.д.) DELL оперативно вышлет им замену. Или, что скорее всего, у них на складе уже есть запчасти к серверам DELL (но тоже не просто так, а как часть договора с DELL).
anlide Автор
23.10.2017 20:00SLA от самого DELL на оборудование, которое стоит у них в ЦОДе
Я же покупаю железку у одних лиц, а размещаю железку у других лиц.
Взаимодействие за дорого DELL с лицами, у которых размещается оборудование — понимаю.
Взаимодействие за дорого DELL с лицами, у которых покупается оборудование — не понимаю.
Полагаю, что корень проблемы в том, что для моей схемы (покупка сервера + размещение в ЦОД) — поддержка DELL бессмысленна. Вот если бы я в свой офис ставил сервер — тогда такие траты выглядели бы осмысленными.
KorP
23.10.2017 21:32Вы не понимаете сути гарантии вендора.
У вас сдох ssd, или планка памяти, вы просто создаёте заявку в Dell, прикладываете лог с сервера и на next business day (ну иногда конечно 2-3 дня может быть) получаете новый для замены (при чём приезжаете инженер, способный в вашем сервере эту железку заменить). Это касается любого компонента. Купив россыпь железа, вы получаете гарантию на отдельные компоненты (и то, только в случае гарантийного случая, а не просто по тому что он сломался) и сами им несёте в СЦ на диагностику эти отдельные компоненты, будь то процы, память, мать, БП и тд.anlide Автор
23.10.2017 23:13Понятно, спасибо за разъяснение, стало намного понятнее. В итоге получается за эту фичу надо мне выложить 1500$ (или +20% стоимости) — как приведены расчёты в соседнем комментарии. Для меня это неприемлемо много. Фраза «россыпь железа» тоже доставляет, от этой фразы у меня ощущение, что вы не читали мою статью.
Oleg_Shi
24.10.2017 04:59+1На наши сервера мы обеспечиваем гарантированную замену на следующий рабочий день по Москве и области, инженер так же приезжает на место эксплуатации. Так что не надо никуда ничего нести. Причем этот пакет предоставляется абсолютно бесплатно. И не только наша компания это делает, есть и другие игроки с такими условиями. Уж Вам то это должно быть известно :-)
darthslider
24.10.2017 17:37К слову у многих вендоров сейчас исчерпание ресурса SSD = гарантийный случай и бесплатная замена. Очень приятно к окончанию гарантии поменять SSD на новенькие.
Oleg_Shi
27.10.2017 08:50Если продавать ссд по цене как у этих вендоров-то почему бы и нет? Любой подпишется под этими условиями. а там или «или ишак сдохнет или султан помрет » :-)
Но все почему то хотят видеть ссд в серверах по стоимости дисков в инет-магазине.
DimaKurb
23.10.2017 18:34с удовольствием прочитал статью, спасибо большое. но вот такой вопрос, вы расчитывали как-то необходимую мощность? ну вот при выборе процессора вы говорите что готов доплатить за прирост частоты. но у вас есть расчет вообще сколько вам нужно например для 500 пользователей или для 50.000 пользователей?
anlide Автор
23.10.2017 20:03Я готов платить за +2 ядра 250$, увеличение частоты для данной задачи это приятный бонус. Из-за ошибки в коде была получена ситуация с онлайн 500 человек, был почти полностью съеден ресурс свободной оперативной памяти на старом слабом сервере, а нагрузка на процессор была в пределах статистической погрешности.
timelle
23.10.2017 18:43+3Почему покупка и размещение в РФ? А чтобы я был бы юридически защищён.
— обоснуйте, пожалуйста, этот пункт. В чем выражается юридическая защищенность в РФ для вас?anlide Автор
23.10.2017 20:14-1Имея некоторые связи с представителями IT сообщества в Украине я осведомлён, что шансы изъятия сервера из ЦОД в Украине без последствий для изымающего — не равны нулю. Я это называю юридическая незащищённость.
в РФ/США/Европе/Китае — такое невозможно, и потому юридически защищены с моей точки зрения.
В США я не хотел рассматривал вариант размещения из-за пинга.
В Европе — тот же пример Пражский. Случись чего — мне получается надо ехать в Прагу, подавать иск в суд и добираться чего или оплачивать услуги адвокатов. Дорого это всё.
А если в РФ чего случится — я могу себе позволить отстаивать свои интересы в суде без проблем. Ну и я не могу себе представить, что моим сервером что-то случится в tech.ru без существенных проблем для вредителя.
nonname
24.10.2017 11:55+3Кажется будто тут речь про какую-то другую РФ, явно не ту, в которой я живу.
Massacre
24.10.2017 12:55+2Это кто сказал, что в РФ невозможно изъятие? Да вообще во всех цивилизованных странах это возможно по решению суда, просто в странах СНГ к этому добавляется ещё и произвол властей.
Интересно, у вас уже есть положительный опыт отстаивания своих интересов в судах РФ?
osipov_dv
23.10.2017 19:37-3Самому собирать самосбор, не разбираясь в железе — та еще авантюра. Допустим сейчас это все завелось и взлетело, вопрос насколько будет стабильно работать… У нормальных вендоров есть онлайн конфигураторы серверов, где просто не получиться поставить несовместимые комплектующие. Одним словом колхоз… не одобряю :)
anlide Автор
23.10.2017 20:16Уверяю вас, если бы вы прочитали статью — вы бы заметили, что я рассмотрел вариант самосбора сервера и подчеркнул проблемы с этим связанные.
osipov_dv
23.10.2017 20:39Производителей HP и Dell — я рассматривать не буду по причине чудовищной переплаты непонятно за что.
Если бы пользовались, тогда бы знали за что. Я один год пользовался Supermicro — больше не хочу… До этого был опыт HP, IBM, Dell, и когда-то давно самосборов.
У серверов ведущей тройки, есть внутренний мониторинг работы компонентов. А тут купили в компанию штук 30 серверов supermicro 2-3 моделей, почти каждый отметился проблемами и нестабильностью работы. Что именно сбоит, вычисляется методом перебора, в то время как на нормальном железе к логах пишется — битая память, сбой процессора и тп.
При размещении на удаленной площадке, важная фишка — удаленная консоль (IPMI, ILO, DRAC,RSA и т.п.).
Другая фишка — обновление системного ПО, прошивок, драйверов — на самосборе этого нет.anlide Автор
23.10.2017 20:55Не очень хочется вас огорчать, но в данном экземпляре платформы R1304WTTGSR есть IPMI, за 750 рублей в месяц я могу начать им пользоваться, если захочу или понадобится.
Я уже писал, что для офисов DELL — понятно за что переплата, а вот для ЦОД — нет. Чем плоха выбранная платформа Intel?osipov_dv
23.10.2017 21:06Вы сравниваете автомобиль сделанный ведущим производителем, с автомобилем гаражного кулибина. Только вот Кулибин может быть не совсем в курсе того, как надо собирать автомобили, потому как его работа заключается не в этом, а собрал он развлечения ради…
anlide Автор
23.10.2017 21:20Intel — это не ведущий производитель?
osipov_dv
23.10.2017 21:26Сервер это не только процессор и чипсет. Даже на одних и тех же чипсетах, для обычных компьютеров, разные производители умудряются делать плохие материнские платы и хорошие. Да и платы у интела не лучшие, и никогда такими не были.
KorP
23.10.2017 21:26По части серверов — нет. Я больше скажу — Intel не производит (официально) серверы, он выпускает только платформы и процессоры — конструкторы. мы, «счастливые» обладатели нескольких серверов от Intel, проблемы с памятью на 3-х из 7 серверов получили в первый же месяц, и ждали замены по 2-3 недели…
Oleg_Shi
24.10.2017 05:04+1Да ладно, от Интела можно получить как платформу, так и систему в сборе ( L9 уровень сборки (память, ссд и тестирование на заводе). И чего интересно Вы ждали замену 2-3 недели? Модуля памяти? Платформы? Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)
KorP
24.10.2017 06:42Даже если у Вас нет гарантии от местного сборщика- то AWR за неделю (а зачастую на следующий день) с помощью DHL присылает замену (или с локального склада или из Европы)
Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца
Вы сами себе противоречите, не считаете? От интела нам месяц ехала память из европы, типа ddr 4 у них кончилась…Oleg_Shi
24.10.2017 10:00+3Вы сборщик или конечник? Я отвечаю за сервера, которые продаю клиентам. И их МОИ проблемы во взаимоотношении с Интелом не волнуют и я обеспечиваю быструю гарантийную замену. Поэтому проблем у моих клиентов с отсутствием памяти нет.
maksasila
24.10.2017 09:54+1Как-то купили 4 новеньких IBM, через месяц на двух умерли материнские платы.
SuperMicro делают нормальные сервера. С ними всегда было минимум проблем. Особенно, если нужно установить что-то экзотическое. У SuperMicro проще и дешевле дизайн (механический, к примеру), но сейчас 1U сервера на много лучше, чем были 3 года назад.
У всех производителей свои проблемы, например, попробуйте поставить M.2 SSD в DELL.osipov_dv
24.10.2017 10:09supermicro брали именно под изврат — соболя в нормальные сервера не воткнуть, плюс заказчик под санкциями… сервера якобы собраны в США, на одном не работала память, открыл — вставлена планка памяти так, что раздавлен слот DIMM. Представительства в России нет, есть пара поставщиков непонятной адекватности. Общался с обоими по лицензированию IPMI, оба не смогли ответить на вопрос активации ключей (что дают, и как получить нужный нам функционал).
С контроллерами тоже все очень забавно, есть ограничения по максимальному числу дисков, сейчас деталей не помню. (помоему RAID10 не более 8-10 дисков, на шасси где 24 диска можно установить). Каждый сервер почему-то имеет свой внешний вид IPMI и BIOS, отличный от других, пришлось писать документацию заказчику под каждую модель. RAID контроллеры тоже каждый по своему конфигурится, создать RAID10 это куча кликов по невнятным меню.
Как раз пользовались 1-2 юнитовыми серверами 50\50…
Ну и с качеством проблемы, да, виснут в процессе работы, или просто перестают отвечать на внешние раздражители (клава, монитор, мышь и сеть не работает, но система живет). Под проект купили больше сотни, я успел пощупать штук 30, очень много брака, причем много вылазит в процессе экплуатации. А так, да, дешево…
knutov
25.10.2017 02:28Что именно сбоит, вычисляется методом перебора
Откройте для себя
mcelog, например.osipov_dv
25.10.2017 12:02Спасибо, а под винду что-то подобное есть? А то гугл не помог… а bsod-ы не всегда возникают
knutov
25.10.2017 14:39Под винду не знаю. Подозреваю, что можно загрузиться с линуксом и mcelog все покажет, ибо, кажется, пишется все это биосом куда-то в районе nvram или еще как-то, независимо от операционной системы.
KorP
23.10.2017 20:15однозначно лучше pci-ssd
Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
Итого выбор: 2шт 6Tb HGST HDD.
И неделя ребилда? И при этом бекапы будут литься ооооочень медленно.
Просто ради интереса накидал, без учёта каких-либо скидок:
Dell PowerEdge R430 rack 1U up to 4 x 3.5? SAS/SATA HDD / 2 x Intel Xeon E5-2630v4 (2.2GHz, 10C, 25MB, 8.0GT/s QPI, 85W) / 8 x 16Gb PC4-19200(2400MHz) DDR4 ECC Registered DIMM / 2 x 200GB SSD SATA Mix Use MLC, 6Gbps HS 2.5? in 3.5? Carrier / 2 x 6TB 7.2k Near Line SAS 12Gbps HDD HS 3.5? / PERC H730 RAID(0,1,5,6,10,50,60) Controller 1Gb NV Cache 12Gb/s with battery / no DVD / iDRAC 8 Enterprise 8GB SD card / Broadcom 5720 4x1Gb Integrated card / 2 x Power Supply, 550W, Hot Plug / no OS / 3Y NBD
441766 руб. (по сегодняшнему курсу — 7683$)anlide Автор
23.10.2017 20:41Ага, в качестве единой точки отказа, бекапы восстанавливать будете куда? Даже пара SATA SSD будет надёжнее. В рейде естественно.
Извините бюджет не резиновый. А задача сервера — не работать под нагрузкой 5 лет, а выдержать заявленную выносливость в течении 3-5 месяцев, когда прийдёт время.
Да, единая точка отказа. Я вроде подробно расписал, почему я осознанно пошёл на такой риск. В конце-концов сервер должен решать бизнес задачу, а не просто быть купленным для галочки.
Судя по статистике zabbix ребилд будет… 8 дней. Ну а какие есть варианты по этому вопросу?
200GB SSD SATA Mix Use MLC
Убрали железку стоимостью 120к рублей и добавили 2 железки стоимостью 20к рублей.
Убрали 10 гигабитные порты за 10к рублей.
Я считаю получился прекрасный пример непонятной переплаты в 90к рублей за оборудование DELL.KorP
23.10.2017 20:54Я вроде подробно расписал, почему я осознанно пошёл на такой риск.
Видимо я этого или не увидел, или не посчитал аргументом. Да, у вас будет пара простых SATA SSD в RAID1 и при этом 3 года гарантии их замены! При этом, это полноценный рэйд, и потери данных в случае выхода из строя одной железки не произойдёт. Уж я то PCI-E SSD насмотрелся. habrahabr.ru/search/?q=PCI-E+SSD#h (то, что Блог компании ADVANSERV — моё творчество). Конкретных требований по IOPS у вас в тексте я не вижу, кроме «вау, архив распокавался за секунды!» — сервер не для этого, тем более продуктивный под приклад), по этому на мой взгляд можно было ограничиться и 3x200Gb SATA SSD raid1 + spare, если уж таких требований нет и не описан характер нагрузки на сервер приложением.
Я уж молчу про аргументацию за 128Gb… на сколько микросекунд оно будет медленнее и в каких именно операциях? И какие сотые процента разницы вы получите на своём приложении?
Ну а какие есть варианты по этому вопросу?
4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд
Убрали 10 гигабитные порты
Их просто не заметил, каюсь, уж больно много текста
пример непонятной переплаты
За эти деньги, вы получаете не кучу железа в рассыпухе, а готовое решение, а 3-х летней гарантией работоспособности всех компонентов на протяжении 3-х лет.anlide Автор
23.10.2017 21:39если уж таких требований нет и не описан характер нагрузки на сервер приложением
По статье разбросано много требований к ssd. 1-2tb перезаписей в сутки. Про iops каюсь, надо было указать, что надо было примерно 50000iops на запись гарантированно иметь (разумеется это не линейно, что 1 игрок требует 1 iops всё время, но очень примерно). Чем быстрее перезапись — тем лучше. И т.д. Основная нагрузка — от БД. Но мне её сейчас нечем нагрузить. Только синтетические тесты. Открыт для предложений по оным.
На тему памяти — надо было купить 64 сейчас и возможно 64 потом? Сэкономить на этом 500$. Я ж описал, что недостаток памяти для этого проекта — это маленькая катастрофа. Вот, и получается — на одной чаше весов риск+500$, а на другой без риска, но без 500$. Я выбрал сразу установку 128Gb. Или речь про задержки? Ну какая мне разница? Ковыряние памяти — основная задача данного приложения, поэтому я выбрал максимально хороший вариант в рамках моего бюджета по памяти.
4x2Tb raid5, меньше объём, больше шпинделей = быстрее ребилд
Понял, согласен, спасибо.
готовое решение
А у меня получилось не готовое решение?KorP
23.10.2017 22:011-2tb перезаписей в сутки
Это не просто много, это безумные объёмы, и даже PCI-E SSD на 400Gb тут жить будет очень плохо и скорее всего не долго. Вы, с точки зрения дисковой подсистемы учитываете требования к нагрузке, говорите про количество перезаписей, выбираете самую дорогую модель, но одну! Поймите — никто не даст гарантию, что он не умрёт через неделю после покупки при 100 раз меньше нагрузке. И что тогда вы будете делать? Ехать в цод, вынимать, везти продавцу, отдавать в СЦ, это минимум неделя простоя, боюсь к тому времени у вас пользователей не останется. Да, покупать 2 таких карточки хотя бы в софт-рейд — дорого, в таком случае нужно искать золотую середину между отказоустойчивостью и производительностью.
надо было купить 64 сейчас и возможно 64 потом?
А может быть было достаточно пока взять 12х8Гб? Получить память с запасом, место для дальнейшего расширения и при этом ставить более дешёвые модули, что помогло бы сэкономить бюджет?
Опять-таки, я не увидел аргументов в пользу выбора E5 процессоров, кроме экономического
слишком слабые процессоры: E5-2603, E5-2609, потому что денег точно хватит на 2шт E5-2620
вы считаете это правильным подходом? При том, что в камментах я увидел лишь рассказ о том, как приложение сжирало память, при низкой утилизации процессора, так нужно ли вам на самом деле 40 потоков? Или опять-таки — можно было сэкономить, и взять тот же второй P3700? Железо — не лучшее решение для простого вложения денег.
А у меня получилось не готовое решение?
Да, но за работы этого решения — отвечаете вы. Выходит из строя любой из компонентов, вы едете в цод, вынимаете его, сдаёте в СЦ, ждёте его решения, возможно (в случае если это признаётся гарантийным случаем) получаете новую железку (через пару недель) затем едете ставить её обратно. Гарантия вендора на сервер работает иначе. В случае выхода из строя любого компонента, вы создаёте онлайн заявку, прикладываете логи с сервера, а 3NBD говорит о том, что в течении 3-х лет вы получаете замену на следующий (ну порой 2-3) рабочий день, и вы не должны ничего объяснять, как вы ей пользовались, по какой причине она вышла из строя и тд. В этом то и разница, за это и переплата, и поверьте моему опыту — она того стоит.
Я не пытаюсь убедить вас, что вы сделали что то не так, в любом случае это ваш опыт и деньги уже заплачены, оборудование установлено и работает, я просто надеюсь, что когда ваш проект разовьётся (а я вам этого желаю без сарказма) и вы решите расширять свою систему, вы уже будете понимать, чем отличается сервер от «большой тройки», от самосбора на интеле, супермирке или асусе.anlide Автор
23.10.2017 23:49+1Спасибо за развёрнутый коммент. Тиском заявил, что они поменяют любую детальку в течении этого-следующего рабочего дня. А потом мы с ним спокойно разберём это был гарантийный или не гарантийный случай. Разумеется не за бесплатно. Но суть я уловил, спасибо.
Что будет если выйдет из строя раньше времени данный NVMe? Видимо будет downtime около недели и море потерянного времени. Ну и тут появится новая статья полная боли и ненависти к Intel. Надеюсь этого не будет.
На тему подхода — я думаю вот чего. У меня будет ровно одна попытка, чтобы мою игру увидели миллионы игроков. Все площадки с играми имеют раздел с играми-новинками. Одна игра может только один раз туда попасть. Только один шанс. Взвесив все варианты развития игры я выбрал этот путь, именно поэтому все важные показали железа берутся с запасом насколько позволил бюджет. После момента старта нельзя будет выключать сервер и чего-то туда устанавливать, иначе ломается вся бизнес модель. А я хочу иметь хотя-бы шанс на успех. И после этой попытки есть ровно 2 варианта развития событий, либо игра успешная и как можно быстрее собираются деньги на кластер серверов — и строится полноценная инфраструктура для полноценного бизнеса. Или игра не успешная — и ей место в моём портфолио, и тогда надёжность и возможный downtime через 5 лет в неделю не страшен.Oleg_Shi
24.10.2017 05:09+2Я готов подтвердить эти слова. Причем NVMe меняется так же NBD. В ЗИП они есть.
Oleg_Shi
24.10.2017 05:11+3Конечно у Вас не было опыта видать с серверами большой тройки когда оборудование с уровнем сервиса " 4 часа восстановления " везли неделю. А оборудование со стандартным сервисом NBD (реакция) заменяли в течении месяца. :-)
Oleg_Shi
24.10.2017 05:07А кто Вам сказал что здесь куча рассыпухи? Здесь так же готовое решение, за которое мы несем ответственность на протяжении 3-х лет. Склад ЗИП у нас полон, даже Optane (P4800x) мы готовы менять NBD (на данный момент их 4 в ЗИП).
KorP
24.10.2017 06:45Готовое решение, которое собирал покупатель? И вы за него несёте ответственность? Видимо с такой моделью бизнеса я ещё не сталкивался у нас. А если он ножки погнёт на сокете при установке проца или планку памяти повредит при неправильной установке — то же замените?
Oleg_Shi
24.10.2017 10:02Решение собирали мы. Соотвественно кучи рассыпухи нет. А если вы у делл погнете сокет- заменят?:-)
Oleg_Shi
24.10.2017 10:04Погнутый сокет — это естественно негарантийный случай. В 90 % случаев сможем выправить ноги.
KorP
24.10.2017 10:10Успокойтесь, не надо так много писать. Как работаю компании, подобные вашей — я знаю, сам когда то работал. Лишь ошибся в понимании того, что же автор всё-таки в итоге купил.
KorP
24.10.2017 06:57Или на фотография вовсе не руки автора, а вашего инженера и вы поставляли всё-таки уже готовое решение? Исходя из фоток и подробного текста о выборе комплектующих я сделал вывод о первом, видимо я был не прав? Тогда извиняюсь.
Oleg_Shi
24.10.2017 10:03+1Руки нашего инженера. Автор просил сделать фото, публикацию на хабре мы не просили.
KorP
24.10.2017 10:05те ему даже за рекламу скидка не перепала? какая печаль
Oleg_Shi
24.10.2017 10:08Нет, не перепала:-) и о таком развитии событий на я хабре я подозревал)
anlide Автор
24.10.2017 10:55+1И так цена хорошая, даже в самый последний момент (за неделю до собственно покупки) Server-city связались со мной и сказала «а давайте мы дешевле предложим и конфигурацию буква-в-букву». И оказалось дороже.
osipov_dv
23.10.2017 20:44во-во, с гарантией на железо 3 года, и гарантией работоспособности решения… Причем Dell в России не самый дешевый вариант.
Oleg_Shi
24.10.2017 05:14+1А кто сказал что здесь нет гарантии работоспособности решения? Моя компании отвечает за это. И отвечает более 20 лет уже. Поверьте, к нам бы клиенты не возвращались, если это было бы не так.
tima-fey
23.10.2017 20:43Планируете хранить бекапы на самом сервере? Не самое лучшее решение
А почему не облачное решение? За довольно большие деньги для стартапа, вы получили риски отказа железа, геморой с мониторингом железа,, геморрой с восстановлением железа в случае проблем, отсутствие резервной площадки в случае проблем с основной, и как все было бы просто, если б вы арендовали себе кусочек облака?anlide Автор
23.10.2017 21:18Ну ок. Предположим, я беру в облаке — предположим игра оказывается финансово несостоятельной. Всё, закрываем проект полностью. И в портфолио я смогу положить только дырку от бублика. Я уже ловил такую проблему в прошлом и об этом в статье написал. А сейчас получается даже если приносить будет 50$ в месяц — уже финансово состоятельная и у меня уже есть оборудование для следующей попытки чего-то сваять.
Предположим игра оказалась успешной и при запуске она примерно соответствует максимальным ожиданиям — это мне за хостинг надо будет платить 1000$ в месяц. А работающий продакшн трогать — себе опаснее и переносить на свой сервер. Тьма времени и сил и денег. Было уже так, не хочу повторения.
На тему бэкапов — соглашусь.
overflow
23.10.2017 20:44А в чем смысл вообще всех этих действий?
Сейчас он у вас не нагружен, то есть оборудование будет загружено, дай бог на 5%, в течение года. По моему просто выброшенные деньги. Да и устареет он через год.
Да и «нЬюансы» и «нвИстиции» в статье как-то напрягают.
FeNUMe
23.10.2017 20:53Судя по всему человеку захотелось поиграть в админа, вот на это деньги и выброшены. Облачное решение как минимум до старта релизной версии игры было бы намного разумнее.
sizziff
24.10.2017 08:19+3А почему оборудование устареет за год?
За последних 2-3 года производительность E5-2xxx выросла на проценты, а не в разы.
Выбранная материнка поддерживает до 1.5ТБ ОЗУ.
Единственное узкое место на мой взгляд — корзина на 4 диска. Но это зависит от задач.
Обычный сервер в цод (под виртуалки).
Как я понял, если проект не взлетит — автор будет пробовать еще что то и для этого что то нужно будет железо.
И даже через 3-5 лет это сервак будет вполне актуальным для второстепенных задач.
dmitry_dvm
23.10.2017 22:28А мне статья понравилась, этакий гик-порн. С удовольствием бы поковырялся со сборкой и настройкой такой железки. Автор, уверен — железка будет хорошо и долго работать, удачи с запуском игры! А то набежали тут энтерпрайзники со своими страхами.
anlide Автор
24.10.2017 00:09Спасибо большое! Очень приятно, для таких как вы я и старался. С подробностями, как всё было, ход мыслей, с фотками.
mickvav
23.10.2017 23:08А блок питания задублирован?
smart-атрибуты с NVMe с его «моторесурсом» снимаете? А то при ошибке какой этот шустрый диск выжрет свой ресурс за неделю — будет обидно.anlide Автор
23.10.2017 23:54Покупка второго БП запланирована за пару месяцев до планируемого старта. Так-то да, бага в коде и оп-оп подавай новый p4800x, iops мониторю через zabbix, состояние hdd-raid смотрю через спец команду кучерявую.
Iaroslav_Olegovich
23.10.2017 23:20Интересный кейс. Вероятно, отправной точкой все же послужил солидный бюджет на такую затею? ТС очень скрупулезно подошел к выбору всего чего только можно, пусть и в рамках субъективного взгляда на все тонкости выбора и покупки. Очень даже хорошо получилось, если закрыть глаза на стоимость.
Админы компаний, где серверная инфраструктура огромна и в приоритете максимальное удобство взаимодействия с железками, качественная и оперативная поддержка со стороны вендора будут советовать альфа бренды. Те же, у кого неоправданно высокая стоимость оборудования съест большую часть профита, а железо так или иначе через пару лет станет неактуальным — будут защищать золотую середину или на худой конец «самосбор».
Мы, скорее попадая во вторую группу, попробовали и альфа-бренды, и интелы и супермикро.
Да, новые HP, Dell — круто, стильно, модно. И очень дорого. Может быть для кого-то удобно и целесообразно менять платформы раз в 1-2 года. Для нашей модели работы оказалось совсем неприемлемо.
Интел — хороший средний вариант, ничего плохого не скажешь (у нас стабильно работают еще с 10 платформ на S5520), но и похвалить особо не за что. Пример — было несколько серверов SR1625URSASR — все работало отлично, ровно до того момента, когда мы захотели сменить HDD на SSD — половина работали, половина нет, саппортед лист — кот наплакал. Ну и в довершение — все завязано на весьма старый SAS-контроллер+бекплейн, 3Гбит/с. Приехали, меняйте платформу.
У супермикро, на котором мы и остановились, бекплейны 10+ летней давности без проблем работают на 6Гбит/с. Экспандируемые решения — имеют ограничения, но нет проблем заменить SCSI на SAS2 или SAS на SAS3 — все унифицировано. То же касается и замены какой-то древней платформы на Х10/Х11.
Касательно надежности — даже не припомню проблем по вине именно оборудования вышеупомянутого вендора — или партия винчестеров плохая попадалась, или модули БП от старости вылетали.
PS: Честно, поддержу мысль что ТС похоже слишком много внимания уделил серверу. Ведь это лишь инструмент. Если речь идет об игре, которая может привлечь тысячи, десятки тысяч игроков — да этот сервер отойдет на 10 план!
navion
23.10.2017 23:51У Intel лучше гарантия в РФ, поэтому сервер в сборе с пятилетней гарантией (от местных «вендоров») выходит существенно дешевле Супермикры.
anlide Автор
24.10.2017 00:26Спасибо за хороший коммент.
Деньги свои и для меня это огромная сумма. Даже больше скажу: самая дорогая покупка в моей жизни. Поэтому уж извините, в такой покупке я хочу быть уверенным, что каждая копейка вложена правильно.
На тему внимания к серверу — согласно бухгалтерии, это не самые большая часть расходов проекта (самая большая — это графика, и внезапно юридические вопросы тоже значительно денег кушают). По времени — ну если очень примерно считать в процентах из общего числа потраченных часов, наверное меньше 5% времени на проект в этом направлении ушло (на сервер).
SilverSlk
23.10.2017 23:21Скажу откровенно, статья так себе, как и муки выбора оборудования, не смог дочитать до конца. Обратитесь к нормальному системному интегратору, и Вам объяснят на пальцах что лучше и почему. Кстати у процессора E5-2620v4 частота 2.1, а у процессора E5-2630v4 2.2, о каких 10% разница в частоте? Далее память LRDIMM, это не обычная регистровая память, прочитайте хоть в чем суть и плюсы данной памяти.
Сравнивать самосбор с самосбором можно, но для реально важных задач стоит, однозначно, выбирать А Бренд и ещё с дополнительным сервисом, и если сервер будет уже в продуктивнее, то время простоя может стоить Вам не только потери репутации, но и бизнеса в целом, этим и отличаются, в частности, серверы именитых производителей, firmware постоянно допиливается, баги фиксят. По поводу выбора рейда, это жесть вообще: например, raid 1, Вам и вправду нужен для БД игры, это самый быстрый рейд, а вот для бекап в используется raid 5 or raid 6, для увеличения объёма, но эти рейд группы являются достаточно медленными, то есть не для всех задач подойдут. Вообще замечаний много, а хотелка секономить, очень часто оборачивается полным провалом и огромными затратами позже. Если возникнут кнут техн чешские вопросы касательно северного оборудования и схд, обращайтесь, проконсультирую :)algotrader2013
24.10.2017 00:43Интересно, системные интеграторы и прочие прослойки между вендором и покупателем готовы работать с покупателем одного сервера?
Скорее наоборот, у меня остались вопросы, почему автор не попробовал распараллелить игру шардингом на нескольких серверах, и тогда открываются возможности
1) несколько самосборов на i7/ryzen
2) несколько б/у серверов без ddr4
не сильно понятно желание работать только с ddr4. Если, скажем, можно было бы раздобыть б/у систему с новыми дисками за $4000, но с ddr3, то реально ли прирост от ddr4 стоит $3680. Проводились ли тесты? Все таки, если цель делать бизнес, то надо точно понимать, за что платятся деньги.
PS не знаком с российскими ценами, но если бы бралось в Германии, и там же бы размещалось в серьезном ЦОД, было бы дешевле. $7680 за 20*2.2 ядер + 50 ГБ памяти это на первый взгляд много.SilverSlk
24.10.2017 08:02В Украине, системные интегратор, работают с теми кто спрашивает, так же предоставляют консультацию по многим вопросам и проводят полную настройку оборудования под задачи заказчика.
anlide Автор
24.10.2017 11:14Ну ок, игра прекрасно паралелится между несколькими железками. Собираем десяток «несколько самосборов на i7/ryzen» и «несколько б/у серверов без ddr4». Разумеется это будет значительно дешевле $7680.
Но какая внезапность: место в стойке ЦОД стоит денег. И такая радость будет кушать в лучшем случае 500$ в месяц, даже в Германии. А за данный агрегат оплата чуть больше 50$ в месяц, потому что он 1U.
На тему тестов сравнения ddr3-ddr4 как мне надо было поступить? Арендовать на месяц сервер с ddr3 и арендовать на месяц сервер с ddr4, заранее подготовить тесты — запустить на сервере. Итого часов 20 возни и около 300$.
Я вроде в статье написал, что планирую пользоваться данным девайсом 15 лет — зачем вообще с такими планами делать подобный замер?
Почему для выбранной бизнес-модели неприемлемо постепенное наращивание я где-то писал в камментах. И да, если бы я выбрал постепенное наращивание — то гораздо дешевле было бы использовать облако, чем рой дешёвых серверов.alsii
24.10.2017 12:45планирую пользоваться данным девайсом 15 лет
Это очень большой срок. ЕМНИП даже топ-ведноры не обеспечивают поддержку более 10 лет, по крайней мере с приемлемыми SLA. Oleg_Shi, ваша компания готова обеспечить наличие в ЗИП компонентов выпущенных 15 лет назад? Тогда снимаю шляпу, вы круче топов!
Oleg_Shi
27.10.2017 09:0010 лет вендор не бесплатно же предоставляет? Наличие ЗИПа гарантировано в течении гарантийного (или сервисного)периода у меня на складе. Будет запрос на 15 лет-будет ЗИП. Стандартный срок жизни (выпуска) 5 лет для стандартных компонентов, 7 лет для индустриальных решений.
algotrader2013
24.10.2017 21:42Почему десяток? Выбранный процессор со частотой в 2.2 перекрывается по перфомансу далеко не топовыми процессорами (AMD Ryzen 7 1700 например). Да, процессора 2, а райзен поместится 1 на плате, поэтому надо 2 сервера, но далеко не 10.
планирую пользоваться данным девайсом 15 лет
это не выгодно. 15 летнее оборудование сейчас потребляет столько энергии и места в стойках, что дешевле его выкинуть, и на освободившиеся платежи взять виртуалку с бОльшей производительностью (если, конечно, сервер не стоит в самодельной серверной, охлаждаемой сплит системой, и оснащенной домашним интернетом)
yuklimov
23.10.2017 23:59А при таких требованиях к SSD не рассматривали вариант хранить всё в оперативной памяти? А сливать данные на диск/SSD изредка для backup'а и при сигнале от UPS'ы?
anlide Автор
24.10.2017 00:15Рассматривался и ещё запланирована работа по подобной оптимизации. Но всё-же было принято решение сделать ставку на возможность падения сервиса игры в любом месте без потери целостности данных и без потери данных пользователя. Поэтому получается, что каждое «активное» действие пользователя должно сбрасываться на диск со всеми причастными данными, в рамках одной транзакции.
algotrader2013
24.10.2017 21:47Классический патерн использования очерей с персистенсом (к примеру, кафки). Насколько знаю, такие решения ни разу не требуют hi-end дисков (так, как делают линейную запись, которая под силу и очень слабым дискам). Могу предположить, что все таки random write частый идет, не нужный для данного паттерна.
anlide Автор
24.10.2017 23:26У меня реализована самодельная ORM система, которая при задаче сброса на диск изменений куска игрового мира — формирует множество INSERT, UPDATE, DELETE и выполняет всё это в транзакции. Как это переделать в потоковую запись — весь во внимании.
rtzra
25.10.2017 06:24Тут недавно на Хабре была статья про Tarantool: За счет чего Tarantool такой оптимальный — может какие иди возникнут.
anlide Автор
25.10.2017 12:58Спасибо, бегло прочитал — суть понял, но переделывать наверное уже ничего не буду. Есть реализованный и проверенный механизм без багов, под него куплена специальная железка.
Fractalzombie
24.10.2017 00:39А ссыль на игру можно уже?)
anlide Автор
24.10.2017 10:58Такой вопрос уже был. Как только игра будет доделана — обязательно опубликую ссылку.
onyxmaster
24.10.2017 00:43Хоть меня никто и не просил, приложу пару ссылок из нашей внутренней вики, из раздела про выбор процессоров:
www.microway.com/knowledge-center-articles/detailed-specifications-of-the-intel-xeon-e5-2600v4-broadwell-ep-processors
www.pugetsystems.com/labs/hpc/Intel-Xeon-E5-v4-Broadwell-Buyers-Guide-Parallel-Performance-820
Ну и да, по базовой внутренней метрике (не учитывая всякие штуки типа вред от NUMA или минимальную требуемую ширину шины памяти), E5-2630v4 лучший по соотношению цены/производительности. На пятки по этому соотношению ему наступает E5-2680v4 (он существенно дороже но и существенно мощнее). Среди односокетных с полной шиной — оптимальный вариант E5-1650v4, с «обрезанной» — E3-1270v6.
amaksr
24.10.2017 02:06Я вот тоже недавно прикупил сервер домой. Сейчас с удовольствием с ним копаюсь. В 2009-м он стоил как приличное авто (HP Proliant G5 на E5450, 16ГБ RAM), а сейчас — 90 дол. Докупил в него 16ГБ DDR2 за 20 дол. Получился вполне приличный комп. Как выяснилось, мой комп на базе i7-4790k всего лишь в 2.5 раза быстрее по CPU, а на интенсивном IO так вроде даже и не быстрее.
pprometey
24.10.2017 06:00Спасибо, полезный материал, особенно краткая аналитика по железу, надо тонны материала проанализировать, чтобы понять что по чем и в чем различие. Плохо что нет каких-то единых маркетинговых стандартов
SilverSlk
24.10.2017 08:10Стандарты есть, возможно не все на поверхности, но есть. Например, касательно SSD, есть общих три типа RI, MU, WI — рассчитанные на чтение, смешанные нагрузку или максимальную запись. Плюс важен параметр DWPD, и на сколько он рассчитан лет, в основном это 5 лет.
anlide Автор
24.10.2017 11:02Согласен, что плохо, что нет стандартов ssd адекватных и безумно сложно разобраться. Но зато мы не переплачиваем за подгон чипов под стандарты, а платим за то, что реально есть. К сожалению всё не так просто как «RI, MU, WI + DWPD».
SilverSlk
24.10.2017 18:52+1Это самое простое на что стоит обращать внимание при выборе SSD. Вы правы, что все сложно, для этого и существуют люди, которые постоянно учатся и получают подтверждение своих знаний и навыков, сдачей экзаменов и участием в реальных проектах и закрытием определённых кейсов…
JohnnyL
24.10.2017 10:37Не боитесь в открытом виде публиковать ссылку на потенциально дырявый KVM?
anlide Автор
24.10.2017 10:51Сразу после завершения использования IPKVM по моей отдельной просьбе был отключён. В логах linux увидел факт отключения. Вроде достаточно, чтобы не беспокоится по этому вопросу?
firk
24.10.2017 13:29Забавно наблюдать сначала "отчёт о том как я вставлял память в материнку" а потом — муки "какую же память выбрать".
Так же странно видеть подряд утверждения "много занятых слотов — меньше скорость, поставлю ка лучше одну планку большого объёма" а потом "поставлю планки во все слоты поровну, так лучше". Дело даже не в том, что первое утверждение неверное (этого автор мог просто не знать), а в том, что первое и второе утверждения прямо друг другу противоречат и автора это кажется не смущает.
iamsens
24.10.2017 13:30Как писали, выше, мне кажется автор сделал рискованый и не совсем правильный выбор
сейчас сервер 2xE5-2670 / 128GB / 8x4TB + 2x480GB SSD стоит 250$ в месяц или дешевле в нормальном ДЦ и нормальным каналом, причем все проблемы с дисками, ложатся на хостера
я не понимаю в чем тут экономия…
lolhunter
24.10.2017 13:55+2Честно скажу. По прочтению статьи у меня от лица рука не отлипала.
Во-первых мотивация. Я куплю сервер за 7800$, размещу его в ЦОД за 50$ (3000р примерно с учетом канала) в месяц для того, что бы «стартап не загнулся от отсутствия средств.»
Сервер стоит ~436800 рублей. Экономия в месяц, по сравнению с тем же Selectel (прям такой конфигурации нет, но есть похожее PL11-SSD 2 ? Intel Xeon Silver 4114 2.2 ГГц, 20 ядер 2 ? 480 ГБ SSD + 2 ? 4 ТБ SATA 96 ГБ DDR4 19000р в месяц) — 16000р в месяц или 192 тысячи в год. Если платить за год/два года там еще скидка.
Причем такие мощности вот прям щас не нужны и в принципе не думаю, что большая проблема будет иметь что-то вроде 2 ? Intel Xeon 5645 2.4 ГГц, 12 ядер 2 ? 2ТБ SATA + 2 ? 240 ГБ SSD 96 ГБ DDR3 за 7000 ?!!! в месяц на старте. Денег за сервер хватит лет на 10?..
Вторая проблема менее очевидная.
Сервер обслуживаете вы. Сгорел SSD, а с деньгами проблемы? Это ваши проблемы. Да — первые 2 года есть гарантия, а дальше?
В-третьих про программный и аппаратный рейд это прям с точностью до наоборот. Добавить диск в программный рейд — 1 команда. Удалить — 1 команда. Собрать массив из SSD — 1 команда. Без перезагрузки. Аппаратный рейд без батарейки по всем характеристикам = программный.
В-четвертых. Железо быстро устаревает и дешевеет. Взять б/у сервер с аналогичными характеристиками + новые диски обойдется примерно в 2-3 раза дешевле.
anlide Автор
24.10.2017 14:24Я в начале статьи чётко написал о причинах покупки, а не аренды. Удивительно, что так много комментариев от людей, которые не могут планировать чего-то дальше 2х лет.
192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.
А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд. И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат. В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет? Я не готов столько платить из личных денег. Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.
Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?lolhunter
24.10.2017 15:25+1Я в начале статьи чётко написал о причинах покупки, а не аренды. Удивительно, что так много комментариев от людей, которые не могут планировать чего-то дальше 2х лет.
Я могу планировать дальше 2х лет, но это точно не покупка сервера.
192 тысячи в год? Вы серьёзно считаете это лучшим выбором, что тот что сделал я?? То есть на одной чаше весов 3 года пользования раза в 2 слабее сервером, а на другой чаше весов 15 лет (включая стоимость места в стойке) пользования сервером в 2 раза сильнее.
Эмм. Я специально брал вариант максимально похожий на ваш. Слабость там в виде 96GB памяти вместо 128 и 4Тб дисках вместо 6Тб?
За 18000 там был сервер с 128Гб памяти, но не было дисков для бекапа.
Вы очень странно считаете.
Если оплатить сервер на 2 года экономия будет 30%, так что грубо 3 за два.
% с 500 тысяч за 3 года считать будем?
Итого на одной чаше весов лет 4,5-5 минимум пользования сервером БЕЗ дополнительных затрат с возможностью как даунгрейда так и апгрейда сервера в ЛЮБОЙ момент времени против 2х лет гарантии и дальше как повезет с очень дорогим апгрейдом и без возможности даунгрейда и высвобождения средств.
Опять же — я просто оставлю тут:
Причем такие мощности вот прям щас не нужны и в принципе не думаю, что большая проблема будет иметь что-то вроде 2 ? Intel Xeon 5645 2.4 ГГц, 12 ядер 2 ? 2ТБ SATA + 2 ? 240 ГБ SSD 96 ГБ DDR3 за 7000 ?!!! в месяц на старте. Денег за сервер хватит лет на 10?..
Такой вариант с переплатой 4000р в месяц не рассматривается? А с учетом процентов по вкладу на 5000р — вообще без переплат.
А ещё у меня есть опыт поднятия стартапа: хостинг за 5$ потом 20$, потом 100$ потом 600$. Внезапно переезды между серверами — это время, много времени. Вместо того, чтобы сделать очередную полезную фичу — время тратится на переезд.
Я слабо представляю что там за много времени. Переезжал своим маленьким проектом в 5 виртуалок + пара тестовых. БОльшую часть времени заняла синхронизация массива. Пару дней по 1-2 часа вечером и все переехало.
И аренда дорогая выедает часть дохода от проекта. Вы уж извините, но не всем удаётся заработать миллионы, даже 1000$ доход в месяц — это тоже результат.
В данном проекте хостинг-аренда легко достигнет 1000-3000$, хорошо ещё если проект будет окупать такой хостинг. А если нет?
Хмм. Я слабо представляю сколько вы будете иметь пользователей для кластера за 3000$ в месяц, но подозреваю, что у вас большие проблемы с монетизацией если вам не хватает доходов оплатить хостинг проекта. Свою зарплату тогда из чего платить будете?
Я не готов столько платить из личных денег.
Уже заплатили.
Вытереть из своей истории эту попытку поднять стартап? Я ж чётко написал — у меня есть такой опыт и это нанесло чудовищный урон моему благосостоянию вцелом, речь идёт о упущенном размере зарплаты, как специалиста — речь идёт примерно о 20000$-30000$, потому что я не мог предъявить выполненный проект в прошлом — у работодателей по факту есть непонимание: «как это, сайт с миллионной аудиторией закрылся?». И они правы в своём непонимании. Извините сразу эти суммы в статье не написал, думал «чудовищная сумма» будет достаточно.
Решение принимается с учётом всех факторов, а не с учётом одной грани. Неужели это не очевидно!?
Ну есть резонный вопрос. Как сайт с миллионной аудиторией закрылся не окупая даже хостинга. Я почитал ваши комментарии. Не проще было взять в аренду несколько серверов в разных локациях (минимальный пинг) и спокойно масштабировать? Ваш сервер сейчас — единая точка отказа.anlide Автор
24.10.2017 16:35Мы обсуждаем тему аренда vs покупка. Я привёл весомый аргумент, почему именно в моём случае выгоднее купить, а не арендовать. Вы его проигнорировали и стали о других деталях говорить — затрудняюсь вести беседу в такой ситуации.
Разумеется в сферической ситуации в вакууме для пяти активных пользователей правильнее было бы взять сервер в облаке и увеличивать по мере развития проекта. Тут нечего обсуждать.lolhunter
24.10.2017 18:44Мы обсуждаем тему аренда vs покупка. Я привёл весомый аргумент, почему именно в моём случае выгоднее купить, а не арендовать. Вы его проигнорировали и стали о других деталях говорить — затрудняюсь вести беседу в такой ситуации.
Именно так. Единственные варианты, которые реально окупают себя в таких кейсах это dual server от SuperMicro или Б/У блейды. Через 10 лет размещения сервера цена юнита будет примерно такой же как аренда аналогичного сервера.
Когда я болел идеей купить сервер — считал много вариантов. На данный момент что-то интересное это б/у с 2xE5-26XX тысяч за 100 в РФ или за 80 за бугром без дисков. Но проще оказалось арендовать и не парить голову.
Это как с покупкой/арендой квартиры. Математически арендовать выгоднее, но все хотят купить ибо СВОЕ. Но если с жильем ты можешь банально не потянуть и остаться на улице, то с сервером если не тянешь — закрываем бизнес и гудбай.
Разумеется в сферической ситуации в вакууме для пяти активных пользователей правильнее было бы взять сервер в облаке и увеличивать по мере развития проекта. Тут нечего обсуждать.
Если бы сервер в облаке стоил хотя бы x2 к выделенному за ресурсы — да. Сейчас эта цифра x10-20 и смысла ноль. Банальная машинка типа 4 ядра 8 гигов и 250 гигов места стоит как выделенный сервер на 4 ядра, 16 оперативки и 2х240 SSD, который работает на порядок быстрее и стабильнее.
CherryPah
25.10.2017 12:23Это как с покупкой/арендой квартиры. Математически арендовать выгоднее, но все хотят купить ибо СВОЕ.
Не совсем корректное сравнение.
Арендовать выгоднее, но квартира это актив цена которого через 10 лет владения не сильно изменится. А сервер через 10 лет превратится в кучу неликвидного железа.
У меня на работе валяется целое делловское шасси укомплектованное блейдами, которое нафиг никому не нужно сейчас даже по цене металлолома, несмотря на 20 процов/сотни гигов оперативы, прочие красивые цифры да еще и ящик зипов в придачу.lolhunter
26.10.2017 10:34У меня на работе валяется целое делловское шасси укомплектованное блейдами, которое нафиг никому не нужно сейчас даже по цене металлолома, несмотря на 20 процов/сотни гигов оперативы, прочие красивые цифры да еще и ящик зипов в придачу.
С этого места поподробнее?)
playaaa
24.10.2017 19:39Меня вот тоже, если честно, несколько смущает оправданность и адекватность сего мероприятия, в первую очередь, для самого его автора:
- вроде и сэкономить пытается, намеренно отказываясь от альфа-брендов с их кошерным суппортом, но при этом с ходу тратит 7.5 тонн «на вырост» проекта, который еще может и не выстрелит;
- отказывается от того же финансово более оптимального клауда, ради сомнительной доступности, в случае чего, нереализовавшегося проекта как «демо для портфолио», в то время как последнюю уж можно вообще на бесплатном сервере крутить, как говорится, on demand (иначе дороговато для портфолио получается);
- «готов рассмотреть варианты с инвестициями в саму игру, от 100000$», но при этом совершенно не исключает возможности неуспеха проекта (именно игры, а не сервера), многократно упоминая вероятность снова вернуться «работать на дядю» (ага, то самое портфолио).
Помимо же этого статья и материал в целом вышли очень интересными — упомянуто много нюансов, мне ранее попросту неизвестных. Автору всех благ и успехов с реализацией игры — очень бы хотелось увидеть как она выстрелит :)
P.S. Я так понимаю, краудфандинг именно игры не рассматривался в принципе?anlide Автор
24.10.2017 21:30Спасибо за хороший комментарий.
краудфандинг именно игры
Можно чуть подробнее?playaaa
25.10.2017 12:17Ну как: импортный Kickstarter или же российские Boomstarter и Planeta. Учитывая, что игра уже в рабочем состоянии, и предполагая, что она таки должна быть как минимум любопытной, собрать инвестиций на завершение проекта и к тому же заранее найти свою аудиторию не должно составить труда.
anlide Автор
25.10.2017 12:23Большое спасибо за совет, когда придёт время — попробую.
playaaa
25.10.2017 12:27Кстати, только вспомнил пример довольно успешного проекта, конкретно онлайн-игры на Планете.
anlide Автор
25.10.2017 13:16Не могу назвать это успехом. 90к собранных средств, ну и возьмём оптимистический вариант 200к на steam. Итого 300к дохода за всё время — по оптимистическим оценкам.
Плюс выглядит как не завершённый проект. Я бы себе такого завершения не хотел.
Уж лучше сделать готовый продукт и с чистой совестью забить на него, если денег не приносит. А игроки бы радовались игрушке без багов и интересным ДОДЕЛАННЫМ геймплеем, пусть даже 100 часов хорошего геймплея. Вот это минимальный результат, который я хотел бы получить.
Пожалуй я получил подтверждение, что моя выбранная бизнес-стратегия правильная.
n2j7
24.10.2017 14:34+2Все таки, хотелось бы услышать от автора размышления на тему «горизонтального масштабирования», «распределенных систем» и «микросервисов» потому как выбор в сторону дорогущего железа ну прям вообще не очевидный! С пачкой микроинстансов нагрузку можно размазать как угодно, всегда будет возможность «вырасти в 2 раза» по любому показателю, будь это IOPS или трафик! Про всякие хардварные оптимизации вообще можно не трогать, ведь какой-то части проекта нужен быстрый диск, какой-то много оперативы, а какой-то проц, в случае с дорогим железом все части проекта получают всё и это ни разу НЕ оптимально/эффективно/(любое другое слово, которое вы для себя придумаете, чтобы доказать ущербность выбора)
Поиграться в железячки — да, круто! Челендж по типу «а смогу ли я» — тож норм тема! Всегда хотелось иметь и вот я решился — молодец, получилось, снмаем шляпу! Но, блин, «под проект» с 500 чел онлайн? Риали o_O? В бородатом 2008 делали игрульки для ВК-шечки, там VDS в 1000 раз тормознее справлялся при онлайне в 2к юзеров и был не «в полке»! Поэтому, статья, без раскрытия «проекта» всех ставит в ступор! Хотябы без линка, опишите чё ж это там такое-эдакое, что ему такая железяка потенциально может понадобиться?
А еще, в догоночку, а когда на вас первый DdOS прилетит, вы себе тоже железо купите?anlide Автор
24.10.2017 15:09Спасибо за хороший комментарий.
Сервис игры сделан очень просто — php-master процесс, который отвечает за коммуникацию с клиентами и коммуникацию с php-worker. Эти вот php-worker могут быть легко на нескольких серверах, даже в разных ЦОД разных стран, это можно делать уже прямо сейчас. Да и по большому счёту можно допилить, чтобы мастеров было несколько.
Запас iops получился почти в 10 раз от расчётного. Если этого не хватит для старта — это жесть, прийдётся тогда как-то оптимизировать код. Благо есть куда разгуляться — реже сбрасывать на диск изменения игрового мира.
Трафик — в статье об этом не писал, но я взял сразу 2 канала, один для общего использования, а второй какраз для сервиса игры. Пришлось повозится с роутингом, но не стал об этом писать — всё легко гуглится как такое настраивать. Ну вот на время старта планирую проапгрэйдить этот канал до 10 гигабитного примерно за 20000р/месяц — на несколько месяцев, а там дальше видно будет. Если не хватит 10-гбит канала — это будет огонь. Трафик сокетов и так хорошо оптимизирован он очень маленький. Картинки и анимации — да, кушают трафика. Придётся ставить несколько CDN серверов.
500 чел онлайн — это был потолок старого сервера, далее до 1000 оно наверное будет работать, но сильно тормозить из-за использования swap. А дальше просто сервис упадёт и не захочет подыматься. А этот сервер берётся в расчёте на 50000 онлайн при 1000000 оффлайн. Такой онлайн сам по себе — очень приличный результат, как минимум рекламы даже скромной будет достаточно для окупаемости.
Раскрытие темы проекта тут-сейчас не будет, извините. Я об этом писал в статье. Я понимаю, что было бы интересно подумать «а хватит ли оперативы для такой задачи» или «iops в таких-вот случаях будет сильно большой» и т.д… Да, даже текущая версия игры очень приличная и играбельная — но игре нужно больше контента, нужно больше графики и других вещей. Я ж напоминаю — опубликовать игру в «новинках» я могу только один раз, потому очень не хочу её показывать раньше готовности. Да, платформ много можно публиковать по очереди — но взвесив все факторы, я решил не идти этим путём, а пойти путём публикации сразу в appStore (iPad, iPhone), GooglePlay (тоже телефоны и планшеты), Steam (win, mac, linux), web (native, vk, facebook, mailru, ok).
Ddos: сначала попробую самостоятельно решить. У меня был опыт отражения ddos 2 раза — насколько часов изучения трафика, потом аккуратные записи в firewall и проблема решена. Я понимаю, что могут быть и более сложные варианты — но пока такой опыт. В tech.ru есть услуга-сервис защиты от ddos. Возможно воспользуюсь ей. Если не поможет — буду думать.algotrader2013
24.10.2017 23:43Уверены, что с одного сервера сможете отдать 10 гигабит? И, притом, что отдача статики в 10Гб не помешает параллельной стабильной работе сокетов?
anlide Автор
25.10.2017 12:22Уверен, я ж описал, что такое проблемы очень мало вероятны, но если будут — как я их буду решать. Можно добавить, что iptables вроде можно подкрутить, чтобы он приоретизировал определённый тип пакетов.
Devd
24.10.2017 14:37+1Я тоже за аренду — для старта игры самый оптимальный вариант, тем более вы никогда точно не знаете сколько потребуется ресурсов, а брать на удачу с огромным запасом не оправданная роскошь. Все таки игровой бизнес очень рисковый.
Если проект провалится, то убытки на аренде минимальные.
А железо уж очень быстро устаревает, поэтому для себя был сделан выбор
в сторону soyoustart, ovh и hetzner.
Но за статью спасибо, всегда полезно знать из чего сейчас собирают сервера.
BoneFletcher
24.10.2017 15:51Кстати, hetzner собирает сервера из десктопных комплектующих, в итоге они стоят копейки, а производительность выдают большую. Я изучил комплектующие своего сервера на AMD 1700X (8x3.4Ггц) за 60 евро/мес. Там стоит самая дешевая мать от ASUS за 5000 руб и память без поддержки ECC. Но сам сервер работает быстро и без сбоев, нагрузка 24 часа в сутки почти на 100%. В чем подвох? Почему все так не делают?
AHTOH
24.10.2017 16:21+1Сам лет 10 назад собирал сервер для своего игрового проекта. Тогда на supertmicro обошлось примерно в $10k. И по чистой случайности размещал сервер в msm.ru, который теперь tech.ru
К слову, сервер уже не актуален, проект многократно окупился, но не взлетел. И до сих пор размещен там же. uptime года 3 (диск seagate в рейде менял) :) Просто стоит для карманного использования. Муки выбора 10 лет назад были намного меньше :)
ALexhha
24.10.2017 16:31Почему все так не делают?
Когда у вас час простоя будет стоить 10к$+, тогда вы поймете зачем брать память с ECC, и почему HDD/SSD enterprise уровня стоят намного дороже десктопных. Конечно никто вам не даст гарантию, что ваш enterprise SSD/HDD проработает 5 лет без единой поломки, но вероятность этого намного меньше. Ну и уровень саппорта у хецнера оставляет желать лучшего. Отсюда и цены, имхо.
Кстати, когда работал пару-тройку лет назад с Хецнером, то у них были сервера с ксеонами и ЕСС, в районе 60$, типа такого — www.hetzner.com/dedicated-rootserver/matrix-pxdevop-su
25.10.2017 12:20почему HDD/SSD enterprise уровня стоят намного дороже десктопных
— что именно имеется в виду под словомenterprise
?
Серверных линеек (высокие скорость и MTTF,
большое количетво оборотов и т.д.)
или всё же бренды?
Я лично утратил веру в бренды,
несколько раз обнаружив в серверах IBM диски,
на которых под фирменными наклейками IBM
были Fujitsu и другие диски
ProFfeSsoRr
25.10.2017 14:37Логично, что для «брендов» делают диски другие «бренды». Где-то могут быть отличия в прошивках, а где-то и нет никаких отличий, покупай сам да ставь. У автомобилей тоже самое, да и наверное много где такая ситуация. Можно «не париться» и купить в одном месте, а можно из желания сэкономить разобраться самому, что откуда растет. Но в любом случае в сервере условно IBM не будет десктопного диска условного WD, будет диск из серверной линейки.
silveruser
24.10.2017 16:47Также готов рассмотреть варианты с инвестициями в саму игру, от 100000$ и должным образом всё оформленым и тщательным образом всё оговоренным.
Как то у Вас эта фраза не очень-то коррелирует с фразой из начала поста:
Есть негативный опыт закрытия успешного стартапа из-за дорого хостинга. Ну то есть надо было платить 600$ в месяц за хостинг, а доход в какой-то момент стал меньше 600$ в месяц.
Вы «либо крестик снимите, либо трусы наденьте» (ну, или, «остера-то урежь!»). Игра, балансирующая на грани окупаемости сервиса, отнюдь не является «успешным стратапом», а, скорее, провальным хобби-проектом. При таком подходе, как я понимаю, $100K Вам надолго хватит — можно сразу будет писать еще одну статью про «успешный стартап» на хабре :)anlide Автор
24.10.2017 17:42Был бедным студентом, за ~100$ инвестиций и кучу времени поднял проектик приносящий в среднем 1000-2000$ дохода 2 года и требующий 600$ расходов. Не успешно? Потом доход стал уменьшаться, а расходы сохранились и пришлось закрыть проект. Что тут странного?
Теперь опыта гораздо больше, данный проект побольше и ожидаемый доход больше и ожидаемые расходы больше. Чего тут удивительного?silveruser
24.10.2017 21:04«Приносящий в среднем $1000-2000 дохода два года» — позвольте мне усомниться в этом, мой жизненный опыт позволяет мне не доверять оценкам, расходящимся в разы. Опять-таки, что-то мне подсказывает, что Ваш ежемесячный доход вряд ли исчисляется десятками тысяч долларов, чтобы разница в $1000 была на этом фоне незаметной ;)
Но, даже если и поверить Вашей верхней цифре, $2600 в месяц (т.е $2000 был чистый доход, без учёта затрат в $600), то даже в этом случае «стартапом» я бы, во-первых, такой проект не называл (максимум — успешный хобби-проект), а во-вторых, в чём выражается «успешность»? В том, что за 2 года проект скатился от приносящего худо-бедно какую-никакую прибыль до убыточного?
Учитывая изложенное выше, Ваши претензии на инвестиции «от $100K» выглядят… как бы помягче сказать… немного наивными. Впрочем, я не в курсе нынешних российских реалий — возможно, в России сейчас и есть странные идивидуумы, швыряющиеся суммами по $100K. В Штатах, к сожалению, таких людей нет; подобный капитал вкладывать в «чудесный самосборный сервер» и игру с 5 бета-тестерами, думаю, найдется немного желающих.anlide Автор
24.10.2017 21:28Спасибо за комментарий, согласен со своей наивностью.
не доверять оценкам, расходящимся в разы
Этого не понял.silveruser
25.10.2017 00:28Этого не понял
Ну, $2000 ровно в два раза больше $1000 :) Думаю, что Роман Абрамович, выписывая типсы в нью-йоркском ресторанчике, может ошибиться на тысчёнку-другую, невелика потеря. Но для обыкновенного человека подобная фраза смотрится… гмм… несколько странно (даже там, где «обыкновенный человек» зарабатывает в среднем $14300/month без учёта налогов).
Поймите меня правильно, я лично против Вас ничего не имею, и, даже более, желаю Вам удачи в запуске проекта и много доходов в будущем! Вообще, разработчиков, что-то реально делающих, а не сидящих на условном «хабре» днями и ночами, не так-то и много…
Просто мой слух резанула фраза про «инвестиции от 100000»; imho, так может писать лишь человек, никогда не имевший подобных сумм в распоряжении (кроме долгов по ипотеке). Скажу сразу, что $100K — это весьма значительная сумма, если, конечно, вы ее заработали, а не украли (и не «сверхудачный сын кристалльно честного папы из КГБ/ФСБ»). Если Вы рассчитываете на какие-то инвестиции, то лучше думать не о статьях на хабре, а о реальном, хорошо просчитанном бизнес-плане, а также о работающем проекте, с постоянно растущим числом клиентов.
P.S. Пишу, как разработчик приложений, заработавший за последние 5 лет около $75K total (это, в основном, moonlighting, притом в буквальном смысле слова, так как есть еще и семья, и daily job), но никогда не рассматривавший свои fun projects как «стартап» :)anlide Автор
25.10.2017 12:17Понятно. Возможно я сделаю открытие, но любой бизнес это не линейный доход, а кривая, в отличии от работы на дядю. И как мне надо было написать? Вот за месяц такой-то было получено 1800$, далее 1200$, далее 1900$…, ну и в среднем 1567$. Так? :)
Спасибо за добрые пожелания!silveruser
25.10.2017 23:56Боюсь прослыть «Капитаном Очевидностью», но, если бы Вы написали что-то вроде: «В моём портфолио есть положительный опыт запуска онлайн-игры с минимальными затратами (? $462), но принесший за два года $23675 прибыли (без учета налогов), закрывшийся по независимым от меня причинам», а про инвестиции упомянули без указания «минимальных сумм» (я бы на Вашем месте радовался бы любым инвестициям, даже в $5K), то пост выглядел бы более «адекватным».
P.S. Думаю, правда, что найти инвесторов на хабре у Вас не очень большой шанс…anlide Автор
26.10.2017 00:15Я в теме не разбираюсь, поэтому спасибо за любую инфу в этой теме.
У меня нет опыта привлечения инвестиций, написал хоть что-то для начала, никто ж не запрещал. В интернетах сайты по привлечению инвестиций это: kickstarter и ему подобные или платформы типа «поделитесь долей проекта и получи деньги».
Ну вот типа kickstarter — единицы получают существенный сбор средств. А времени потратить, чтобы оформить всё должным образом надо очень много.
Ну а отдавать 50% проекта за 5к$ — это глупость, потому что согласно бухгалтерии денежный вклад уже почти 11к$ в данный проект, и до старта скорей всего надо будет ещё ~7к$ потратить (почему я при этом написал про 100к$ — отдельная тема), а ещё около 3000-4000 часов потраченного времени.
Кто-то за просто так пожертвует 5к$? Не верю.
Почему я должен радоваться инвестициям 5к$? На каких условиях? Или чего я не понимаю?silveruser
26.10.2017 00:41Kickstarter это немного не то, это краудфандинг. Там есть свои ньюансы, и, зачастую, получают финансирование проекты с лучшей «медийной» подготовкой, нежели реально перспективные, но с плохой рекламой и publicity (все — сугубо IMHO).
Ну а отдавать 50% проекта за 5к$ — это глупость
А кто сказал про «отдавать 50%»?! Отдавать ведь можно гораздо меньшие доли (по сути, любые). Я бы сказал, что если есть нужда в инвестициях, важно привлечь, для начала, хоть какие-то инвестиции вообще (перефразируя другими словами, сделать так, чтобы в Вас и проект поверил хоть один человек).
Про «пожертвования» забудьте от слова «совсем». Мой очень длительный опыт говорит о том, что donateware тупо не работает. Предоставьте людям возможность не платить — и они с удовольствием этим воспользуются :) А заставьте платить мелкими порциями, но регулярно (in-app purchases), и «хомячки» с радостными криками нахлынут…
Если Вам не хватает средств на раскрутку проекта, то и $5K инвестиция (судя по цифрам Вашей бухгалтерии) будет весьма полезна (хе-хе, ведь это, как-никак, 45.5% от всех вложенных в проект денег, не считая Вашего времени). Как правильно посчитать долю, которую Вы можете предложить инвестору: посчитайте и оцените (разумно) свои временные затраты на проект, добавьте чуток «бочек печенья и банок варенья» для себя (но главное, не зарываться).
sanrega
25.10.2017 06:08Вспомнил один известный развлекательный портал, на котором пользователи периодически выкладывают фотоотчёты своих строек — от туалета до коттеджа. ИЧСХ практический каждый комментатор точно знает что автор отчёта мдк и всё сделал неправильно, но вот этот самый комментатор точно знает как должно быть правильно. Это как с шашлыком — у каждого, наверное, есть знакомый шашлычник, который точно знает как нужно готовить шашлык, а если по-другому — это неправильный шашлык. А я считаю, что каждый сам для себя определяет правильность готовки
шашлыкасервера, с удовольствием залип в статью, проследил за рассуждениями автора, полюбовалсяобнажёнкойфотками серверного железа.
KoMePcAHT
25.10.2017 12:19Также имеется https. Тоже добавляет очков в сторону выбора их компании.
странный критерий отбора, я бы не назвал SSL от Let's Encrypt показателем надежности компании, хотя безусловно наличие такого сертификата лучше чем вообще никакогоanlide Автор
25.10.2017 13:03Ничего странного не вижу. Просто если в бизнесе крутятся миллионы долларов, то найти 10$ на сертификат — это точно не проблема. Если нет сертификата — то это значит, что забили на это. Если забили на это — наверное ещё на что-то забили. Возможно на что-то важное именно для меня.
KoMePcAHT
25.10.2017 21:22Полностью согласен. Я написал это к тому, что любая 'шарашкина контора' может поставить себе бесплатно такой же сертификат
ProFfeSsoRr
25.10.2017 14:29Сертификат от Let's encrypt — это ж не что-то плохое, в самом деле. Понятно, что банк, допустим, платит деньги за репутацию, и покупает дорогой сертификат. Но всем остальным оно зачем? Тем более когда с технический точки зрения короткоживующие сертификаты Let's encrypt правильнее одного сертификата на, условно, 3 года.
FyvaOldj
26.10.2017 12:29Не только банк.
Серьезный интернет-магазин, продажа авиабилетов, услуги бухгалтерии типа Эльбы и прочия во многих числах.
Везде где вы через сайт работаете с чем то серьезным/дорогим.
ProFfeSsoRr
25.10.2017 14:26Вот когда-то и я так думал, закупал серверы на Intel такие же, собирал, ставил. В итоге оказалось, что Dell — дешевле. Во-первых Dell дешевле HP заметно, так что не надо их под одну гребенку. Во-вторых — Dell дешевле Intel. Потому что когда у тебя сервер выходит из строя внезапно, и так, как не должен (виснет на пустом месте и т.п.) — ты удивляешся и избавляешся нафиг от этого ужаса. IP KVM у Intel и Dell — небо и земля.
Да, я не буду умалчивать о том, что проблемы с Intel возникли после трех лет эксплуатации, но если серверы работают да работают, то почему бы не перевести на них менее критичные задачи? Перевёл. Ну а когда начались спонтанные проблемы — пришлось убирать с них всё.navion
25.10.2017 17:19Вот прямо каждый Intel после трёх лет превращается в тыкву? А у Dell/HPE/Cisco не бывает багов и брака?
Бренды удобнее в эксплуатации и есть интересные фичи — тут спору нет, но при нормальной набивке выходит в два раза (это со скидками) дороже Intel/SMC от местных вендоров.ProFfeSsoRr
26.10.2017 04:51Наши в тыкву превратились все. Супермикры пока живые, Dell еще трех лет не прошло, чтобы говорить, но пока — нравятся.
navion
26.10.2017 14:29Печально, хотя если производственный брак могли починить даже после истечения гарантии.
Oleg_Shi не подскажешь, для серверных железок такое бывает? Мне меняли обычные материнки с XLP и истёкшей гарантией.Oleg_Shi
27.10.2017 09:09с истекшей гарантией (контрактом) ни одного производителя серверного оборудования не знаю.
После того как Интел перестал пользоваться готовыми ODM решениями, а развил свое подразделение EPSD — все стало просто отлично. Это линейка E5 серверов. Ничего " в тыкву " не превращается. Да и гарантию можно официально купить на 5 лет.
ggreminder
25.10.2017 20:02+1Тоже есть мнение, что автор переплатил, но тут довольно скользкая аргументация.
Глянув хоть раз как себя ведет сервер под нагрузкой бывает легко сказать, что он не тянет, или наоборот слишком с большим запасом.
У всего (облако, аренда, колокейшен) можно найти недостатки, их много и они очень существенны. Нет (и не предвидится) «серебряной пули».
Я хотел бы обратить внимание на другое. Автор очень детально и внимательно рассматривает выбор сервера и хостера/ДЦ. Чувствуется, что ему это нравится, даже если это и не является его профилем — но что-то он однозначно понимает, не полный чукча. Что до комментариев «матёрых энтерпрайзников» — так они и между собой не могут договориться. Это не означает не то, что автор сделал все идеально и лучше было нельзя, а всего лишь то, что выбранный вариант имеет право на жизнь.
Меня же зацепил другой момент — там, где автор упоминает на сколько именно онлайна он рассчитывал сервер. То есть сейчас игра не готова и 5 человек онлайн, а должно быть 50к(!). Да, есть ремарка, что «не очень придирайтесь к цифрам», но на мой взгляд это и есть самое важное. В таких проектах важно постараться оценить риски не в тех областях, где есть компетенции (как то подбор комплектующих на сервер), а в тех, где их нет. Как именно будет происходить раскрутка игры? Сколько денег на это уйдет? За какой срок необходимо достичь показателя? Как удержать игроков, когда первичный бум проходит (график дохода, вероятно, не будет расти всё время)?
А по сравнению с этим выберете вы такой ссд или сякой — вообще не важно.
Бэкапы, да, очень важны. Если вам заплатили денег, а вы потеряли всё — путь даже это просто цифирки развития «персов» и картинки их оружия — всё равно обидятся, как за настоящее. А вот падения сервера и переезд на более новое и мощное — переживут (ну поворчат, конечно), можете поверить мне или спросить у тех, кто запускал игры у себя :)anlide Автор
25.10.2017 20:23Спасибо за развёрнутый комментарий.
Какраз на тему подбора комплектующих у меня не было компетенции. Если я приведу примеры глупых вопросов заданных тому же Тиском в самом начале переписки — меня тут выпорят публично.
А вот компетенция и опыт создания сайта с аудиторией в несколько миллионов пользователей — есть. Компетенция создания сервиса держащего нагрузку 50к соединений онлайн — есть.
Ещё могу добавить, что как именно будет происходить раскрутка игры — понимаю, уже есть опыт. Ну собственно что тут раскручивать — заранее подготовить много текстов, картинок и видео, оформить должным образом в соответствующих местах, вот и вся подготовка. Но так-то да, мне это обойдётся наверное в 500$ заказов художнику и часов 50 подготовки и настройки во всех платформах. На рекламу обычную не вижу смысла тратится. Или я не прав?
У моём случае к сожалению важно какой будет ssd диск. Пришлось разбираться.
За какой срок необходимо достичь показателя — компетенции нет, буду смотреть по ситуации. Ну то есть запуск игры как можно раньше по готовности. После старта — как показывает практика, не смотря на все тщательные тесты — всё равно будут пропущенные баги (порой сам себе удивляюсь «права купил, программировать не купил»), вот их править после старта и общаться с игроками насколько это будет возможно. Думаю будет ясно успешно или нет стартануло в течении 1-2 месяца после старта. Разумный подход?
Как удержать игроков на топ-контенте уже опыт есть.
На тему бэкапов — я ж тут где-то писал, что я из тех кто «уже делает бэкапы» :).
ggreminder
25.10.2017 20:11+1Да, и вот еще что — более слабый сервер для игры (именно сервер, а не ваш домашний комп) всё равно понадобится — для тестов, до того как всё лить «в продакшен». Так вот, первое время можно было бы играть на тестовом сервере, а потом осознав, что нужен рост — купить/арендовать гораздо более мощное железо и скопировать игру туда.
Как ни добивайтесь вы унификации, всё равно придётся приобрести опыт деплоя на сервера со слегка разными параметрами и версиями ПО. И хорошо, если вы до онлайна в 50к будете иметь представление, чем вам это грозит.
Тот же тестовый сервер и есть ваше портфолио, а боевой можно и убить, если проект провалился.anlide Автор
25.10.2017 20:29придётся приобрести опыт деплоя
Я ценю вашу заботу, спасибо. Некоторый опыт деплоя есть — последние 15 лет активно это практикую, и кое что в этом понимаю :)
Kutak
26.10.2017 11:11Начинал читать скептически из-за своеобразного слога, но где-то на 15% увлёкся и читал с огромным интересом. Если я правильно понял, автор разработчик и с железяками дела особо не имел. Тем более внушительным выглядит тот объём аналитической работы, который он проделал для выбора железа. Дотошность 82-го уровня! Благодаря статье узнал кое-что новое о характеристиках SSD, в частности DWPD. Желаю успеха с игрой, пусть «стартап перерастёт в бизнес» побыстрее.
P.S. И стало любопытно — а что за игра? Можно поиграть?
vanyamba-electronics
26.10.2017 11:11Н — надёжность. Допустим, у нас есть 1 игрок, который в среднем переключает одно реле раз в минуту, но пиковая нагрузка — 3 переключений в минуту. То есть мы имеем дело с величинами первого порядка. Чтобы было надёжно, должен быть запас по пиковой нагрузке, то есть величина на порядок бОльшая — реле должно нормально работать в режиме 10 переключений в минуту. А вот чтобы обеспечить ещё и запас по долговечности, реле должно обеспечивать максимум в 100 переключений в минуту. Это ж электроника, тут только китайцы предлагают эффективное решение, рассчитанное исходя из работы в максимальной нагрузке.
М — маркетинг. 7 раз человеку нужно показать рекламу, чтобы он таки заметил и кликнул на баннере.
А — автоматизация. Чтобы сайт приносил деньги, за ним должен стоять работающий бизнес. Сайт просто решает задачу автоматизации бизнес-процессов, которые приносят деньги, чтобы получать ещё больше денег. Это делается не из жадности, а потому что других вариантов нет. Конкуренция заставляет повышать качество услуг. Сайт повышает качество услуг.
В — вовлечение. Чтобы человек увлёкся игрой настолько, чтобы начать за это деньги платить, его нужно в игру вовлечь. Когда Вы сами последний раз платили за игру, которую увидели в рубрике Новые игры? Топ бесплатных работает гораздо лучше с точки зрения вовлечения.
М — мода. Сколько лет назад Вы сами играли в стратегию? Они были очень модным жанром во времена перед появлением первого Пентиума, на котором вышел первый Quake. Слабые компы диктовали моду на игры с условной графикой. Отсутствие Мультиплеера симулировалось управлением юнитами. Так родился жанр стратегии, который умер с появлением 3D и мультиплеера.
FyvaOldj
26.10.2017 12:24По моему девиз статьи таков
люблю возиться с техникой, имею для этого фин.возможности
Мне одному кажется что тут явное несоответствование планируемой нагрузки и железа?
vanyamba-electronics
26.10.2017 12:41Тут приведён пример попытки реализовать майнфреймовый проект, использовав вместо майнфрейма сервер СУБД на двух 6-ядерных процессорах с тактовой частотой 2.5 ГГц. При этом 50 тысяч пользователей будет обслуживаться в режиме реального времени.
Произведём подсчёт. 24 потока х 2.5е9 = 60е9 / 5е4 = 1.2е6 Гц. Разработчик предлагает устроить мультиплеер на симуляторах Радио86РК или БК-0010. За деньги.vlanko
26.10.2017 16:05Сервера Вова работали онлайн 800 на Кор2duo 6600, 8-9000 на новых 6-ядерниках(v4).
Для браузерных требования еще ниже.
Ugrum
26.10.2017 12:47Ничего не понимаю ни в разработке, ни в комплекткухне. Но статью и комментарии прочёл с удовольствием.
Интересно, как конвертируется пара-тройка десятков тысяч просмотров этой статьи в желание проверить, что у автора получилось, когда игра будет анонсирована здесь же, на Хабре?
saw_tooth
Шуточек ради, вы им обязательно лычки в игре выдайте «Nova Beta Testers»)
anlide Автор
Уже выдал =)
Ну и разумеется система выдачи таких лычек отработана.
wlbm_onizuka
Почему так много ресурсов на 5 человек? держу сервис с ботами для онлайн игры на хостинге за 300р, тестировал под нагрузкой около 100 клиентов, все летает.