Мы ежегодно делаем исследование рынка на предмет стоимости размещения серверов в дата-центрах и стоимости аренды стоек. Результаты предыдущих исследований мы представили в статьях:

  1. Сравнение услуг colocation.

  2. Ценообразование услуг размещения серверов в дата-центре отличное от конкурентов.

  3. Аренда стойки в дата-центре или как выбрать ЦОД.

  4. Где разместить оборудование для майнинга.

Тенденции и проблемы рынка

  1. Аварийность снижается. UPTIME (надёжность) растёт. Клиенты стали меньше обращать внимание на наличие сертификации Tier III.

  2. Разброс цен по рынку на услуги аренды серверных стоек доходит до трёх раз 50-150 тысяч рублей.

  3. Растут потребляемые мощности, тарифы на электричество, зарплаты персонала.

  4. Есть скрытые цены (наколки, хотя просится другое слово).

За последние 10 лет рынок дата-центров накопил опыт, и накопились вложения в инфраструктуру. Если в нулевые годы многие ЦОДы были буквально из говна и палок, то сейчас таковых становится всё меньше и меньше. Мы хорошо помним те времена 2005 года, когда мы арендовали открытые стойки на “девятке” (Бутлерова 7). Там не было ни фальш-полов, ни нормального охлаждения летом, ни нормальной поддержки (привет легендарный Паша Семенец и Толик Воронин).

В 2017 году сертификация по Tier III была существенным показателем качества.

И в то время не было различия в цене в три раза. Сертифицированные ЦОДы не были заполнены и цены там были выше максимум раза в 1.5-2 при том, что качество и надёжность были существенно выше, чем у несертифицированных дата-центров.

В прошлом году мы сделали попытку выпрямить рынок, сделав зависимость стоимости только от юнитов и мощности. 

Вообще забавно наблюдать, как некоторые конкуренты копировали наши идеи, не стесняясь даже передирая вёрстку HTML-кода со страницы Colocation нашего сайта. Недавно мы были первые на рынке, кто ввёл размещение ½ юнита, потом оно просто у всех появилось. Допрозетку,  доппорт и KVM за 300р продавать мы начали больше 10 лет назад. И тарифицировать мощность по ваттам, а не по 100 ватт. Но местами конкуренты зависают. Так случается, если копируешь других без понимания стратегии и отсутствия собственного креатива. Мы уже давно сделали все основные допы бесплатнами, а у некоторых они до сих пор по 300р.

На одном из выступлений Чичваркин сказал, что на любой рынок вход либо через чердак, либо через подвал. Так получилось, что мы изначально заходили через подвал с низкими ценами, предоставляя размещение в дешёвом дата-центре, потом волею судеб зашли через чердак, открыв предложения в самом крупном российском коммерческом дата-центре имеющим все три сертификата Tier III. 

По закону философии количество переходит в качество. В наш собственный дата-центр мы постоянно инвестировали, так как стояли перед выбором — либо закупать дорогое оборудование, либо иметь головную боль. В результате повышалось качество, накапливался опыт, менялось и наше позиционирование на рынке.  

Основные сегменты рынка

Можно выделить три основных сегмента:

  1. Начальный — до 65 000р за стойку 47U и до 3000р за сервер 1U 500Вт 2 розетки и 100Мбит.

  2. Средний — от 65 000р до 90 000р за стойку 47U и от 3000р до 4000р. за сервер 1U 500Вт 2 розетки и 100Мбит.

  3. Премиум — от 90 000р за стойку 47U и от 4000р за сервер 1U 500Вт 2 розетки и 100Мбит.

При этом надо понимать, что в части розничных цен на размещение серверов деление весьма условно. Дата-центры имеющие все три сертификата Tier III сами розницей не занимаются. И на розничных ценах играет существенную роль фактор скрытых цен. Очень у многих нет всех цен на сайте. Например, указана цена за сервер до 1000Вт, а что будет после 1000Вт вы как в той рекламе “после узнаете”.

Начальный уровень, как правило, характеризуется отсутствием ДГУ. Или ДГУ без автоматического запуска, открытыми стойками или стойками из фольги или короткими стойками, которые не подойдут для Machine learning серверов, отсутствием АВР (автоматического ввода резерва), ИБП отсутствует или совсем не EATON. 

Конечно, не всегда, например, у нас дата-центре Тушино цены начального уровня, но ДГУ с автоматическим запуском, а стойки закрытые и глубокие, и АВР есть и даже два ИБП ETON стоят, которые работают с резервом, что одну секцию батарей можно отключить для обслуживания.

Премиальный уровень характеризуется тем, что всё оборудование по высшему разряду, и оно присутствует. См. сравнение Tier II и Tier III. Наличие нескольких независимых подстанций. Резервирование ИБП по схеме 2N против N+1, резервирование ДГУ по схеме 2N+1 против N. 

Средний уровень — это те, кто по каким-либо причинам не может пройти сертификацию и имеет неявные недостатки из-за формирования скрытых цен из-за недостатков в резервировании, непрозрачных цен и условий по связи, поддержки и электричеству.  

Связь

Связь — как воздух, не почувствуешь пока не испортится. А радость от низкой цены, может длиться сильно короче, чем разочарование от низкого качества.

Про связь ни у кого на сайте почти ничего не сказано. Даже мы тут грешны. На рынке стоимость каналов связи колеблются в разы. Отличаются они видимостью, процентом потерь пакетов, резервированием. Мы проводили детальное исследование, когда выбирали точки обмена трафиком и аплинки — цену нужно приводить к параметрам качества. Гигабитный канал может быть дешевле, а вот трафика в него пролезает непропорционально меньше, чем в другой гигабитный канал.

Например, у нас каналы зарезервированы по схеме 2N + подключение к точке обмена трафиком MSK-IX. Просто канал без резервирования можно дать дешевле. 

Поддержка — вне сегментации рынка

Оперативная качественная поддержка в зарубежных ЦОДах стоит диких денег. Если у вас там не куплен какой-нибудь платиновый пакет поддержки, то к вашему серверу могут и на следующие сутки подойти или до понедельника он подождёт. В России пока почему-то не тарифицируют поддержку, и условно все дата-центры можно разделить на те, у которых есть оперативная умная поддержка, и те, у которых её нет. Знаем некоторых конкурентов, которые перепродают услуги дата-центров, при том, что в самих этих дата-центрах у них нет собственной поддержки с круглосуточным присутствием.

Стоимость электричества

Это проблема скрытых цен. Есть те, кто просят от 1 рубля за Вт мощности для блоков питания до 1000Вт, а сверх 1000Вт уже 6000р за 1000Вт. И та и та цена фейковая и компенсируется за счёт стоимости базового тарифа. В нашем исследовании год назад мы показали формулы грубого линейного приближения средних цен по рынку стоимость размещения сервера:

  • в дата-центре Tier III = 3000 + 6р.*мощность блока питания;

  • в несертифицированном дата-центре = 2000 + 4р.мощность блока питания.

За счёт капитальных вложений в основные средства и лучшего резервирования стоимость в сертифицированных Tier III ЦОДах выше.

Исключить из формул стоимость аренды юнита не получается. Хотя было бы проще иметь зависимость только от одного параметра. Мы пробовали работать много лет без платы за мощность, но тенденции рынка взяли своё и усреднять клиентов с маломощным оборудованием с “печками” оказалось плохим решением, так как притягивало менее прибыльных для нас клиентов, и отталкивало более прибыльных.

В Москве тариф на электроэнергию порядка 6р за кВт в час. 6р. 720часов = 4320р. за кВт в месяц. Но это себестоимость одного киловатта. На деле же, чтобы оборудование потребляло один киловатт электроэнергии, дата-центру нужно затратить в общей сложности до 1.5кВт. 33% тратится на кондиционеры, которые работают с коэффициентом 1 к 3 — на 1 киловатт потребляемой мощности дают 3 киловатта холода. Ещё 10% тратится на ИБП. Ну и 7% грубо и для ровного счёта освещение, потери на проводах и прочие нужды.

Более или менее честная цена за киловатт в месяц начинается от 10 800р. И дальше уже вопрос кто как тарифицирует. В основном все часть цены включают в абонентскую плату, которая покрывает аренду стойки или юнита и какую-то уже включённую мощность. Но цену в 1 рубль за Вт мощности в конечном итоге нигде получить нельзя, иначе бы там уже все криптовалюту майнили.

По-честному считать электричество невозможно. Счётчик на каждый сервер не поставишь. Но даже если бы можно было тарифицировать по счётчику, то такой тариф бы не работал. В дата-центре надо платить не столько за потребление, сколько за возможность потребить. Когда клиент размещает в дата-центре серверы или арендует серверную стойку, то дата-центр должен зарезервировать под клиента мощности. Клиент может их не выбирать, на серверах может не быть нагрузки или стойка клиента не забита серверами полностью, но резерв на ИБП и ДГУ надо держать, а ИБП и ДГУ должны окупаться.

Электричество как и связь может быть разного качества. Например, многие дают вторую розетку за дополнительные деньги. А дьявол в деталях. Это может быть грязное питание без ИБП и ДГУ или же вовсе не резервный луч, а тот же, что отрубится вместе с основным. Разный уровень резервирования даёт разную стоимость.

Неявные отличия в самих серверных стойках

Как уже было сказано выше телекоммуникационные стойки бывают открытыми. Соответственно, бывают закрытыми, а закрытые запираются на ключ. 

Ещё стойки бывают 42 юнита, а бывают 47-48 юнитов. Но и в тех, и в других стойках свободных юнитов может быть меньше из-за:

  1. Первый или последний юнит плохо пригодны для полноценного использования, например, там кабели мешают.

  2. Верхний юнит занят оборудованием провайдера: маршрутизатором, стоечным АВР или ИБП.

  3. В стойке смонтированы 4 блока горизонтальных розеток по 8 портов, которые фактически съели у вас 4 юнита. Блоки розеток PDU (Power Distribution Unit) должны быть вертикального крепления.

Стойки бывают разной глубины. Да, мы тут должны сказать, что у нас для GPU-серверов для машинного обучения стойки глубиной 1200мм, а бывают короче. В менее глубокие стойки многие GPU-серверы просто не поместятся. Меньше пространства — меньше удобства. Глубокие стойки особенно важны для GPU-серверов.

Стоимость застройки дата-центра в расчёте на одну серверную стойку

Если разделить сумму сметы на застройку дата-центра на количество стоек, то получится порядка 1 000 000 рублей на стойку. В реальности, конечно, значение может быть как меньше, так и больше, и зависит от конкретного дата-центра и его оборудования.

Раз в сколько-то лет нужно обновлять часть инфраструктуры, например, аккумуляторы для ИБП со временем требуют полной замены. Объёмы данных постоянно растут, поэтому нужно обновлять и маршрутизаторы.

ДГУ, системы охлаждения требуют регулярного обслуживания.

В зависимости от конкретных затрат и сроков окупаемости получается стоимость ежемесячной аренды стойки.

Конечно, сметы застройки ЦОДа, конкретные расчёты окупаемости — закрытая информация. Но вы можете поинтересоваться и даже приехав на экскурсию посмотреть какое оборудование стоит в дата-центре и сравнить его стоимость для понимания коррелирует ли оно с ценой аренды стойки.

Выводы

Выбирайте дата-центр исходя из стоимости минуты простоя ваших сервисов соотнесённой с разницей стоимости аренды стоек.

Распределяйте резервное оборудование в разных дата-центрах.

Если размещаете оборудование в дата-центре, где нет трёх сертификатов Tier III, то не доверяйте словам про уровень Tier III, убедитесь в наличие и в резервируемости ИБП и ДГУ. Вы удивитесь, но на М9 (“девятке”, Бутлерова 7) стойки сдают без ИБП и ДГУ. Кондиционеры тоже проверьте, а то в жару можно даже с промышленными кондиционерами локальный перегрев получить.

Разбираться нужно не столько в цене предложенных вам услуг, сколько в том, что в эту цену включено и какого качества. Цена услуг для многих наёмных сотрудников имеет не первостепенную роль. Деньги платит их работодатель. Но вот проблемы с качеством услуг — уже головная боль сотрудника.

Всем 100% UPTIME, качественной связи, поддержки, стабильных 23 градусов по Цельсию в холодных коридорах в Новом году!


Дата-центр ITSOFT — размещение и аренда серверов и стоек в двух дата-центрах в Москве. За последние годы UPTIME 100%. Размещение GPU-ферм и ASIC-майнеров, аренда GPU-серверов, лицензии связи, SSL-сертификаты, администрирование серверов и поддержка сайтов.

Комментарии (39)


  1. Javian
    22.12.2021 12:33
    +2

    К слову бывает еще услуга серверов на RPi https://habr.com/ru/company/selectel/blog/580398/

    Есть задачи, где больше чем RPi не надо, а экономия электричества на порядок.


    1. itsoft Автор
      22.12.2021 12:49
      +1

      Спасибо за идею. Поставил задачу коллегам. Подумаем за какую цену мы сможем это предложить.


  1. Amoled
    22.12.2021 16:47
    +1

    Вот бы в 2021 2022 году продавать мощность в ЦОД по номиналу блоков питания и рассказывать что-то про клиентоориентированный подход =)


    1. itsoft Автор
      22.12.2021 17:00

      Не понимаю, что вы хотите этим сказать. Если у вас есть идеи как надо, то готов обсудить.

      Проблема тарификации очень нетривиальная. Мощности у всех разные. Потребление во времени тоже меняется. Моделей много как это можно осметить. Ни одна из них не является единственно верной или справедливой для всех. Все имеют свои плюсы и минусы.

      Мы на этих тарифах собаку съели. Справедливо получается только на больших объёмах.


      1. Amoled
        22.12.2021 17:15
        +1

        Я хочу сказать что однопроцессорный 1U сервер с блоком питания 400Вт никогда их не сможет потребить, в лучшем случае 200, а деньги вы хотите за воздух. При этом даже при вашей цене за 1Вт в 3 рубля, если к вам прийти с блейдом на 2-4 кВт, вы внезапно откажетесь его размещать по цене с сайта. С чего бы это? Лишнее подтверждение тому, что вы сами прекрасно понимаете, что тут клиент с обычным сервером платит за воздух, а блейду придется реально подавать (и отводить тепло), а потому нужно еще сверху накинуть или отказаться.


        1. itsoft Автор
          22.12.2021 17:43

          Вы не правы.

          Деньги за воздух — это когда ваш сервер ничего не потребляет, а деньги с вас взяли. Сервер потребляет. Вы правильно указываете, что потребляет он меньше 200Вт. Реально в среднем в диапазоне от 100 до 200Вт. Вот за это потребление деньги и берём. В статье приведена формула. В Москве грязное электричество стоит 6р. за кВт в час. Плюс охлаждение и прочие нужды, плюс амортизация оборудования, ведь ИБП и ДГУ надо тоже окупать. Плюс резерв тоже не бесплатно. Так и набегает 10800р. за кВт в месяц реальной мощности. Теперь делим 4 и получаем 2.7р, у нас же 2.4р в Тушино. Ну а в Tier III 3р., но так там три сертификата и ещё больше резервов.

          Пока лишние подтверждение, что вы не понимаете, но бросаетесь голословными обвинениями.

          Про блейды у нас сказано и указан тариф для них. Нельзя считать по одной формуле оборудование, которое потребляет в разы меньше от номинала своего блока питания и блейды, которые, как вы правильно указали, потребляют почти максимальную мощность.

          Вы не предложили свой вариант ценообразования. Вы предложите. Пока мы видим, что наш наиболее справедливый из множества других. Всё же в сравнении познаётся.


          1. Amoled
            22.12.2021 20:17
            -1

            Мой вариант ценообразования простой как два рубля - для штучных размещений смотреть конфигурацию сервера и согласовывать адекватную цифру. Вы ж согласились, что "типовой сервер" это 200Вт максимум. Открыть и посмотреть что стоит, по комплектующим энергобюджет максимальный считается в легкую. Все равно в акте описывать конфигурацию. Так почему бы и нет? И у вас 300Вт включено. Значит доплат быть не должно в принципе - и это адекватно. А не: "Ой, а у вас тут процессор на 90Вт, но блок питания на 560, так что давайте доплачивайте" (c) itsoft. Ясно дело если сервер Dual Xeon Gold топовый с 512Гб памяти, GPU и кучей SSD - и это адекватно считать по номиналу блока питания.

            А для более крупных размещений своя PDU и по ней считать реальное потребление, по бёрсту допустим - вполне адекватный подход. А не придуряться в стиле "У вас тут 10 серверов с блоками по 400Вт, оплатите за 4кВт будьте добры сэр! Да, нам наплевать что там максимум 1кВт на всё!".

            Но это все варианты для честного бизнеса конечно. Не для всех то есть.

            P.s.: Я уж молчу про ситуацию что проект может только стартовать, нагрузки нет и потребление сервера в режиме энергосбережения 10-20Вт. Но извольте с сударь оплатить itsoft по блоку питания, у них ведь ДГУ ржавеет и ИБП надо амортизировать =)


            1. atd
              22.12.2021 23:18
              +3

              1. Каждый сервер рассматривать заколебёшься. Надо или в биос лазить или охлад снимать?

              2. Что делать со странными комплектующими? Как оценить вклад матплаты? Её расход на себя? Процент от мощности проца, который врм перегоняет в тепло?

              3. Что делать если клиент не согласен с озвученной оценкой? Как решать такой спор?

              Я вижу только одно решение: если клиент заявил, допустим, 200 ватт, то вешать ему на вход автомат на 10А (с неболшим запасом). Но на каждую мощность не запасёшь откалиброванных автоматов, да и клиенту, которому в самый неподходящий момент рубанёт сервер это тоже мало понравится...

              ---------------

              Disclaimer: у меня самого знатно подгорело, когда итсофт поменял тарификацию с плоского тарифа «до 1кВт» на оплату мощности. Мы как раз по такому случаю поставили БП про запас, теперь надо или менять или терпеть и платить... Но если правила озвучены заранее, то какие вопросы могут быть?


              1. itsoft Автор
                23.12.2021 00:04
                +1

                10А*220В=2200Вт

                И надо учитывать, что автоматы имеют погрешность. Это очень нетривиально всё. А главное — пожароопасно.


                1. atd
                  23.12.2021 13:24
                  +3

                  да, верно, 1А значит. но погрешность там огого, и на 300 ватт (1.5А) автомат найти будет сложно


                1. JerleShannara
                  23.12.2021 15:09
                  +3

                  Либо вешать каждый сервер клиента на metered pdu и рубить/штрафовать/требовать доплату по превышению потребления. Либо искать АВР с таким функционалом. Но это снизит надёжность и повысит цену.


                  1. itsoft Автор
                    23.12.2021 15:39
                    +1

                    Адок получится с администрированием. Поэтому и используем формулу, которая приблизительно моделирует потребление.

                    Про АВР не понял вашу мысль. АВР — это автоматический ввод резерва. Он перебрасывает питание на резервную линию, осмечивать АВР не умеет.


              1. Amoled
                23.12.2021 09:55
                -2

                Какие "странные" комплектующие могут быть в 1U сервере, расскажите пожалуйста! Процессор Intel или AMD, оперативная память потребляет по стандарту, SSD / SATA / SAS диски - потребление известно, материнская плата - ок, 50Вт заложить на "прочие расходы". Для "странного" вполне можно сделать минимальный порог вхождения (1/4 стойки например, с PDU), также как например, если хочешь жидкостное охлаждение - добро пожаловать на аренду стойки. Но с типовыми серверами зачем что-то выдумывать? Понятно зачем. Легкие деньги за несуществующие ватты.

                А оплата по блокам питания для размещений с десяток юнитов вообще бред.


            1. itsoft Автор
              22.12.2021 23:57
              +2

              Он сложный и непрозрачный. Я не соглашался, что типовой, я согласился, что сервер с БП 400Вт скорее всего так потребляет.

              У нас не включено 300Вт. Это как раз и есть деньги за воздух, если клиент размещает оборудование с БП до 300Вт.

              Вы в статье пропустили, что платить надо за резерв. Мы не можем распродать ИБП и ДГУ и получить оферсейлинг. Мы должны исходить из пиковой возможной нагрузки. Мы же не можем сказать: «ой, перегрузили, отрубилось всё».

              Если вы не хотите оплачивать ИБП и ДГУ, так не пользуйтесь. Приходите с запросом, что хотите на грязное питание.

              К вашей схеме вопросов ещё больше. И ваш честный бизнес рискует оказаться нечестным когда вы не сможете качественно выполнить взятые на себя обязательства распродав электричество по нереально низким ценам.


              1. Amoled
                23.12.2021 10:13
                -2

                Нет ничего сложного, можно даже калькулятор на сайте сделать: выберите модель и количество процессоров, количество и тип RAM, количество и тип дисков + 50Вт "на прочие расходы" = честная калькуляция питания. Продавать можно по честной рыночной цене в районе 8 рублей за Вт в Москве.

                Дальше о том, что у вас питание не входит в стоимось - ок. Тогда юнит должен стоить дешевле. Вы просите 3 тысячи рублей за юнит без питания, 3000 х 42 = 126 000 рублей со стойки. То есть вы уже в плюсе на 20-30% (стойка в Nord-4 в среднем за 100 000 рублей с 7кВт питания, и это без количественных скидок), для любого европейского честного бизнеса это космическая маржинальность. Но нет, itsoft может лучше, и поэтому теперь еще нужно продать эти 7кВт по номиналу блоков питания, то есть х 2 как минимум, итого 14 000 Вт х 3 рубля = 42 000 рублей. То есть уже 168 т.р. со стойки, маржинальность 68%. Отличный бизнес!

                И при всем при этом, у вас в Nord-4 том же даже дежурной смены нет. Все далется силами сотрудников ЦОД, т.е. никаких доп. расходов нет вообще.

                А рассказывать про то что "Мы не можем распродать ИБП и ДГУ" не нужно - это не ваши ИБП и ДГУ, они принадлежат ЦОД, и он уже вам их и так "сдал" по цене аренды стойки в Tier-3 ЦОД. Так что оставьте такие глупые аргументы пожалуйста при себе.

                Таким образом, размещаться в itsoft будет кто? Мне кажется с таким подходом скоро никто. Остаётся только пожелать вашим клиентам в Новом году, чтоб потребляли 100% номинала блока питания. Я бы даже специально performance везде включал, чтобы неповадно было таким компаниям существовать.


                1. snakers4
                  23.12.2021 10:23
                  -2

                  Вы просто читаете мои мысли из параллельного треда.
                  Насчет ИБП и ДГУ — могу добавить свои 5 копеек. Наблюдал 3 нештатных отключения питания в рамках месяца без предупреждения этим летом.
                  Видимо ИБП и ДГУ там были ни при чем.


                  1. itsoft Автор
                    23.12.2021 14:10

                    Где вы наблюдали, уточните, пожалуйста. Не пропадало питание в дата-центрах ни разу. А вы прям целых три раза зафиксировали.


                    1. snakers4
                      23.12.2021 14:11

                      Уточнил уже, в почте, со ссылками на тикеты в вашей системе техподдержки.


                      1. itsoft Автор
                        23.12.2021 14:30

                        Дату и время письма скажите. За сегодня от вас писем я не вижу.


                1. itsoft Автор
                  23.12.2021 14:08

                  И при всем при этом, у вас в Nord-4 том же даже дежурной смены нет. Все далется силами сотрудников ЦОД, т.е. никаких доп. расходов нет вообще.


                  Это клевета. Вы там вообще были? У нас везде своя круглосуточная дежурная смена. Приезжайте и убедитесь!

                  По 8р. за Вт в месяц вы предлагаете? Процессоры по-разному потребляют. Как вы предлагаете их осмечивать?

                  Вы почему-то очень агрессивны. Давайте без агрессии. Потому что формулы я готов обсуждать, а вот агрессию, что вы там специально сделаете не хочется.

                  Есть розничные цены, а есть оптовые. Они разные на всех рынках. И да, они могут и не на 68% отличаться, а на все 100%. Потому что есть в плане поддержки, бухгалтерских расходов, менеджерских расходов, разницы нет особой ставите вы 1 сервер или 1 стойку серверов.


        1. snakers4
          23.12.2021 09:37
          -1

          Внезапно недавно просил сделать расчет по цене с сайта для сервера 2 кВТ… и оказалось, что реальная цена в 2-3 раза выше цены с сайта, потому что "особые условия"!


          Причем я подумал, что что-то не так, поимел долгую переписку с отделом продаж, где показал КП от других компаний и указал, что цены как на размещение, так и аренду таких серверов завышены как минимум в 2 раза… и в ответ получил молчание. А как же политика "покажите где дешевле и мы сметчим оффер"?


          Видимо или нужно отбивать инвестиции, или тут конфетно-букетный период закончился.


          Если размещаете оборудование в дата-центре, где нет трёх сертификатов Tier III, то не доверяйте словам про уровень Tier III, убедитесь в наличие и в резервируемости ИБП и ДГУ. Вы удивитесь, но на М9 (“девятке”, Бутлерова 7) стойки сдают без ИБП и ДГУ. Кондиционеры тоже проверьте, а то в жару можно даже с промышленными кондиционерами локальный перегрев получить.

          Разбираться нужно не столько в цене предложенных вам услуг, сколько в том, что в эту цену включено и какого качества. Цена услуг для многих наёмных сотрудников имеет не первостепенную роль. Деньги платит их работодатель. Но вот проблемы с качеством услуг — уже головная боль сотрудника.


          Имел вот такую переписку. В ответ честно говоря не получил ничего вразумительного, кроме "сам дурак, у нас все круто, мы ничего никому не должны". Потом при общении с самим сотрудниками ДЦ я узнал, что там летом было очень много "интересного" как с железом, так и кадрами.


          Еще интересно. Где-то в конце августа-начале сентября я посещал ваш ДЦ для планового обслуживания серверов и увидел банальную избыточную грязь и клочья тополиного пуха на серверах. Как-то не сходится. На этот вопрос сотрудники развели руками и многозначительно ответили, мол кризис пройден и зимой будет лучше.


          Зимой действительно стало лучше, недавно продувал сервера, все было ± нормально, и внезапные отключения электричества прекратились. Надолго ли — практика подскажет.


          1. Amoled
            23.12.2021 10:24
            -1

            Ясное дело, когда спокойно получал с клиентов деньги за воздух, а тут внезапно нарисовался кто-то и стал потреблять 100% купленных ресурсов - это всегда "ой" для таких бизнесменов. Это ломает их бизнес-модель. Но не так, как можно было бы подумать, типа "Они такие клиенториентированные, сделали низкую цену для маленьких клиентов, а не 8 рублей за Вт, как по рынку, какие молодцы!". Нет. Тут скорее "Мы продавали 41 клиенту несуществующее питание, ведь у нас и так 7кВт на стойку, которые те оплатили в цене юнита, а 3 рубля за Вт было приятным бонусом, а тут приперлись вы и нам теперь придется докупать (!) за реальные деньги (!!) у ЦОД питание (!!!). Это особые условия, Карл!"


          1. itsoft Автор
            23.12.2021 14:26

            Внезапно недавно просил сделать расчет по цене с сайта для сервера 2 кВТ… и оказалось, что реальная цена в 2-3 раза выше цены с сайта, потому что «особые условия»!


            Да бы это опять не выглядело клеветой, то ссылку дайте на страницу сайта и давайте посмотрим, что же написано на сайте.

            Сударь, вы странности пишите. У вас есть КП где в два раза дешевле, зачем в этом случае вы долго с нами переписывались?

            Что за политика покажите где дешевле? У нас на сайте такой политики нет. Почему мы вам должны дать что-то дешевле в два раза? И главное куда в два раза, если это уже будет ниже тарифа не электричество в Москве.

            И по-моему мы с вами уже общались. Ни в вашем письме, ни от вас никакой конкретики добиться не удалось. Нет ни конкретного сервера, ни времени его отключения. Мне нечего ответить на сферическую претензию в вакууме, что в дата-центре 3 раза электричество пропадало. Оно не пропадало. Можем дать логи ИБП, запросить письма у клиентов, что не пропадало электричество ни разу.

            Сейчас посмотрел. Вы давно уже не являетесь нашим клиентом. Размещали вы печки двухкиловатные по 4000р. Ну да, нет таких цен и быть не может. Почему вам такие цены дали — не знаю. Запросил у коллег информацию.


            1. snakers4
              23.12.2021 14:38
              -3

              Вы что-то очень рьяно оскорбляете и обвиняете в клевете своих клиентов, что меня, что остальных здесь.


              Это никак не клиенториентированный сервис. Если разные люди пишут, значит они недовольны. Значит вы не смогли донести до них свои мысли. Значит, вы их где-то обидели.


              И по-моему мы с вами уже общались. Ни в вашем письме, ни от вас никакой конкретики добиться не удалось. Нет ни конкретного сервера, ни времени его отключения. Мне нечего ответить на сферическую претензию в вакууме, что в дата-центре 3 раза электричество пропадало. Оно не пропадало. Можем дать логи ИБП, запросить письма у клиентов, что не пропадало электричество ни разу.

              В первом же письме сразу были — три ссылки на заявки в ваш саппорт, где ваши люди мне отвечают. С конкретными датами, действиями, обращениями и перепиской.


              Сейчас посмотрел. Вы давно уже не являетесь нашим клиентом. Размещали вы печки двухкиловатные по 4000р. Ну да, нет таких цен и быть не может. Почему вам такие цены дали — не знаю.

              И тут вы искажаете факты. Именно тут оплата была базовой стоимости + электричество поверх. Потом переключили на фиксированный тариф.


              Причем обратите внимание, что вы опять искажете факты — я говорю про запрос КП на новый сервер, а вы мне про старый двухгодичной давности!


              1. itsoft Автор
                23.12.2021 15:19

                Вас тут двое. Остальные — один Amoled. Вы делаете утверждения и не подкрепляете их никакими доказательствами. Хотя ведь так легко дать ссылку на страницу нашего сайта и скрин. И всё. И сразу станет видно, кто из нас двоих искажает.

                А второй товарищ явно лжёт. И ведь я предлагаю приехать и убедиться, что он лжёт. Можно хоть в 3 часа ночи проверку устроить в любом дата-центре, что техподдержка там есть. И не какая-то чужая, а наша собственная. И офис техподдержки там наш собственный. Даже в ЕГРЮЛ это можно увидеть.

                Вот это из серии не делай людям добра. Вам пошли навстречу и заключили нестандартный договор. Это был косяк нашего менеджера. Не нужно заключать нестандартных договоров и не нужно идти на встречу. Проявили клиентоориентированность. А теперь я вижу в базе стоимость, но вот о том, что там электричество вы договорились платить отдельно — не отображается. Это в договор надо лезть. И мы правильно поступили, что предложили вам перейти на стандартные тарифы.

                Насчёт нового запроса, могу сказать, что рад, что вам предложили в два раза дешевле. Ответить вам нам действительно нечего, кроме формулы указанной в статье и повторенной тут в комментариях про стоимость электричества. Если нам снизят цены на электричество, то и мы готовы их будем снизить. Но судя потому, что вы так упорно пытаетесь из нас выбить цену ниже, то что-то вас не устраивает в тех, кто вам предложил в два раза дешевле. А у нас для всех цены одинаковые.

                Как раз к разговорам про плату за воздух. Скидки в 10-20% и есть плата за воздух. Раз кому-то скидку дают, значит есть те, кто платит без скидки. Если конкурировать качеством не получается, то остаётся конкурировать ценой. Это не про нас. Мы лучше поставим цену на 500-1000р выше в месяц, что ни о чём, но мы будем про качество, а не про скидки.

                Цены на электричество для бизнеса должны быть ниже, чем для физических лиц. А они выше. Бизнес создаёт рабочие места, платит налоги, а его ещё заставляют переплачивать. И бизнес потребляет в тысячи раз больше физических лиц, то есть цены должны быть оптовыми и с учётом того, что ниже расходы Мосэнергосбыта в пересчёте на кВт мощности — только на одних счётчиках, учёте и обслуживании какая экономия.


                1. Amoled
                  23.12.2021 15:57
                  -3

                  Вот о чем с вами разговаривать? На сайте же написано:

                  Размещение GPU и блэйд-серверов рассчитывается по индивидуальным условиям.

                  Они какое-то другое электричество потребляют? Нет, точно такое же. Просто ваши тарифы расчитаны на извлечение сверхприбыли за счет клиентов, которые не понимают за что именно они платят. А с теми, кто понимает, всегда будет происходить "Ой, нужно доплатить". И эти "другие" всегда будут злиться. Не потому что они такие плохие, а потому что вы такие алчные. Потому что вопрос "Нужно пересмотреть цены" возникает у вас только тогда, когда вы теряете свою сверхприбыль. И не возникает тогда, когда у человека в сервере с БП на 400Вт стоит 1 процессор на 90Вт, материнская плата, две планки памяти и 1 SSD. Такой сервер физически не может потребить больше 150Вт, даже если на нем биткойны майнить. Но вам наплевать. И сделать понятную и честную систему оплаты вы тоже не готовы. Ибо нужна сверхприбыль. Поэтому итог всегда будет один. И это - медленный путь к умиранию. И никакие рекламные статьи тут не помогут. Обзывать людей в комментариях - тоже.


                  1. itsoft Автор
                    23.12.2021 16:10
                    +2

                    Вы можете отвечать в ветке, где разговор идёт с вами? Ну или раз уж отвечаете в другой ветке, то хотя бы по теме. Вы признаёте, что солгали насчёт техподдержки нашей? Давайте, разберёмся сначала есть ли о чём с вами разговаривать.

                    У вас какой-то наброс. Ранее я вам писал, что потребление разное и формулы разные и детально обосновал что и как. Нет, вы опять продолжаете повторять то, что у нас на сайте написано.

                    Перечитайте то, что я вам уже отвечал. За сервер 400Вт, у нас надо платить 960р в месяц за мощность. Вы предлагаете брать 8р. 8р.*150Вт=1200р., то есть вы предлагаете брать больше. Вы хотите, чтобы мы больше брали?


                    1. Amoled
                      23.12.2021 16:32
                      -4

                      Это комментарии под статьей, а не ваша тикет-система, не надо мне указывать что и где писать, будьте добры уважаемый.

                      Под предложением честно тарифицировать мощность следующим же абзацем было сказано, что юниты в таком случае тоже нужно тарифицировать честно. И если убрать питание из этой истории, то стоимость аренды "пустой" стойки драматически упадет до ~40 т.р. И вот она - ваша себестоимость юнита без питания, ~1 тысяча рублей. Вы берете с клиента 3. Еще и питание, за которое он уже заплатил снимая 1/42 стойки, продаете ему второй раз, еще и в двойном объеме ибо по номинальной мощности БП. Так по вашему ведет дела честный бизнес? Назвался груздем, полезай в лукошко.


                      1. itsoft Автор
                        23.12.2021 16:51

                        То есть вы упорно не признаёте, что солгали.

                        Про цены я вам уже отвечал, что розничные цены выше оптовых. Вы там насчитали на 68%. Это вполне нормально. Да, они выше. Да, я считаю, что это честно. Берите стойку целиком и будет вам дешевле в персчёте на юнит.


                      1. Amoled
                        23.12.2021 18:53
                        -1

                        Это представитель такой компании как ваша упрекает меня во лжи. Серьезно? И из всего сказанного вы зацепились за отсутствие дежурной смены? Она у вас есть в NORD-4? Ну ок, простите, я не в курсе - не на столько глуп, чтобы пользоваться вашими услугами. А с остальным что? Или это единственное что вы можете ответить по всему вышесказанному.


                      1. itsoft Автор
                        23.12.2021 20:19
                        +1

                        Да, серьёзно! Хорошо, что вы это признали наконец.
                        Повторяю вам в очередной раз, да она есть. Можете в любое время проверить.

                        На что именно вы не получили ответ?


              1. itsoft Автор
                23.12.2021 16:46

                О!, да вы же майнер и стояли в майнинг-зале ваши печки. Майнинг на грязном электричестве. Нет там ИБП. И цена на электричество там ниже, а загрузка блоков питания там под 100% у оборудования.

                И кто факты искажает?


                1. Amoled
                  23.12.2021 18:56
                  -2

                  С вашего сайта цитата:

                  Дата-центр для майнинга в Москве

                  Размещение ASIC-майнеров и GPU-ферм в надежном и безопасном дата-центре в Москве у м. Сходненская. Мы предлагаем разместить ваши майнеры в специализированном дата-центре, а не в контейнере в поле. Для вашего оборудования у нас организовано бесперебойное электропитание (ДГУ), резервируемый интернет-канал, прецизионное охлаждение, отсутствие пыли и круглосуточная служба охраны. Обязательно заключаем договор ответственного хранения.

                  Человек вам пишет про 3 отключения питания, про тополиный пух в зале. "О! Да вы же майнер!" это все что вы можете сказать в ответ? Это многое объясняет.


                  1. itsoft Автор
                    23.12.2021 20:41
                    +1

                    Тут действительно косяк есть — слово «бесперебойное» лишнее. Устраним.
                    Спасибо вам.

                    Имеется в виду, что без питания в случае аварии майнеров не оставим переключим на ДГУ.

                    Но вы тоже не передёргивайте. Это не три отключения питания. Отключение
                    — это долговременное явление. Там же могли быть локальные переключения. Для оборудования майнинга это не критично. Всем майнерам пофиг на переключение. Нет там задач бесперебойности. Именно поэтому нет ИБП в майнинге, а электричество в дата-центре дороже на 20%, чем в майнинг-зале. Более того, господин Вейсов не даст мне соврать, что это были именно переключения, и что общее время простоя его оборудования за год не составило и близко допустимые 22 часа. Поди общее время трёх перезагрузок уложилось минут в 10. И опять же, не надо ставить серверы по тарифам предназначенные для майнинга. Господин Вейсов сэкономил зато 20% на том, что стоял без ИБП. По-моему это всё объясняет исчерпывающе.


                    1. snakers4
                      24.12.2021 08:03
                      -2

                      И опять идет так называемый "трампизм" и искажение фактов.
                      Давайте спокойно разложим все на составляющие.


                      Насчёт нового запроса, могу сказать, что рад, что вам предложили в два раза дешевле.

                      Суть в том, что для такого уровня ДЦ мне предложили как раз по рыночной цене и с доплатой за электричество, а не в 2 раза дешевле. Грубо говоря по листинговой цене за 4U + доплата электричество (причем по номинальной мощности блока питания, который конечно с резервом!).


                      А не в 2 раза дороже "потому что гладиолус".


                      Да, я сравнил много предложений и было два четких кластера — предложения примерно эффективно по 8-9 рублей за киловатт (если включить всякие "мелочи" и прочие "таксы") и предложения за 20+ рублей за киловатт. А у вас как-то странно, вроде качество в Тушино на троечку+, а цены как в ДЦ, где бахилы просят надевать и ненавязчиво делают аудит того, что принимают.


                      А как товарищ заметил, вы играете в какую странную игру с FOMO / FUD и 100500 желтых статей на Хабре. Я понимаю, что компания это сотрудники в первую очередь, и многие из них мне кажутся весьма адекватными технически подкованными людьми (собственно поэтому я веду этот диалог — так как я на месте вижу реальных адекватных людей кто делает качественную работу), но рыба гниет с головы.


                      И первый шаг к исправлению ошибок и их не повторению — публичное их признание. Ну или как минимум внимательное и аккуратное отношение к клиентам. Обратите внимание, что позиция "извините мы стараемся, сейчас идет стройка и мы сделаем для вас лучше, потерпите месяцок" очень сильно отличается от "клевета, ложь, мы белые и пушистые, а ты майнер агага". И да, писать неправду на сайте тоже не очень хорошо. Причем обратите внимание, что про наличие ИБП при первоначальном размещении я конечно же уточнял и в зале для "майнеров". Поднимать переписку не хочется, но скорее всего там ответ такой был, что ИБП есть, но больше инцидентов.


                      Позволю себе наблюдение со стороны, основанное на том, что я вижу при визитах ДЦ лично и при общении с другими клиентами и сотрудниками. Летом у вас были ЧП с системой охлаждения воздуха и фильрами на фоне кадровых проблем и перестройки системы питания. Но вы решили не уведомлять клиентов заранее о периоде нестабильности, повышенной грязи и "тополиного пуха", а просто подумали, что люди схавают.


                      Сейчас я вижу, что вроде ситуация стабилизировалась.


                      для вашего оборудования у нас организовано бесперебойное электропитание (ДГУ), резервируемый интернет-канал, прецизионное охлаждение, отсутствие пыли и круглосуточная служба охраны.

                      А теперь давайте теперь поможем Даше ответить на вопросы:


                      • Почему отключается электричество 3 раза подряд в течение нескольких недель без предупреждения?;
                      • Почему был тополиный пух и грязно (причем залы у вас не то чтобы сильно разделены, и не надо инсинуаций, я видел своими глазами, когда помогал таскать железки) в зале? Я раз в квартал приезжаю чистить железо и извините, один раз был пиздец. Остальные разы было вменяемо в соответсвии с уровнем цен;
                      • Почему тарифы, что на аренду инстансов с GPU (или любых других реальных печек), что на размещение в 2 раза выше рынка?

                      О!, да вы же майнер и стояли в майнинг-зале ваши печки. Майнинг на грязном электричестве.

                      Не надо лгать. Мы не занимаемся майнингом, о чем я писал в каждом N-ном письме вашей компании, и периодически получал в ответ вот такие "наезды" в духе "нувыжемайнер". Ну вы же майнер, значит плевать на наши обещания и можно давать плохого качества услуги.


                      Нет. Если вы говорите, что у вас даже майнинг (мы не занимаемся майнингом) имеет бесперебойное питание, то будьте добры соответствовать.


                      и что общее время простоя его оборудования за год не составило и близко допустимые 22 часа.

                      Да, вот только там еще были слова про количество инцидентов (ну типа пару раз в год) и "организовано бесперебойное электропитание (ДГУ)". И как-то лично у меня это не вяжется.


                      Причем внимание, раньше о таких вещах мне просто писали заранее, мол всю ночь делаем ремонт, пожалуйста потерпите, и это абсолютно нормально. Это было довольно много раз, но все стерто из памяти, потому что меня уведомляли условно за или сутки и мы просто все выключали на ночь и утром нам включали — вот и вся наука.


                      Цены на электричество для бизнеса должны быть ниже, чем для физических лиц.

                      Поэтому мой личный вам совет как предпринимателя к предпринимателю, будьте откровенный и честны, не переиначивайте правду и не скрывайте ее.


                      Если вас нагнуло мосэнерго по какой-то причине или у вас были факапы при стройке, так и скажите, вы удивитесь, многие люди склонны к пониманию и солидарности, даже если к ним проявили такое минимальное внимание. Люди адекватнее принимают позицию, что вы знаете об ошибках и работаете над ними, чем просто тупо позицию "вы все мудаки".


                      Только солидарность может помочь обычным людям в современном обществе, где начинают показывать свои уши всякие нехорошие тенденции. И неправильно момент солидарности превращать в срач и показывание пальцем.


                      1. itsoft Автор
                        24.12.2021 11:31
                        +2

                        Вы сами начали про политику. Прочитал про трампизм. Да, я трампист тогда. СМИ по всему миру занимаются пропагандой. Что Радио Свобода, что РашаТудей, что фесбук с твиттером. И если вы против трампизма, то я за!

                        Ну ок, давайте попытаемся теперь спокойно. Хотя, если вы против трампизма, то наверное, вы левый. А вот получится ли с левым спокойно — не знаю, но давайте попробуем.

                        Кажется, я сейчас начинаю понимать откуда все ваши претензии. А именно оттого, что вы левый. По-моему круг замкнулся.

                        Причем я подумал, что что-то не так, поимел долгую переписку с отделом продаж, где показал КП от других компаний и указал, что цены как на размещение, так и аренду таких серверов завышены как минимум в 2 раза…
                        — ой, а кто же выше написал это? Не вы ли?

                        Так вон товарищ признал клевету и даже написал, что ни разу у нас не был, и не наш клиент. Вы поймите, клевета — это уголовное преступление. Нет, я не пойду писать заявление в полицию или СК РФ, но я скажу, что это клевета!

                        И вот это:
                        Внезапно недавно просил сделать расчет по цене с сайта для сервера 2 кВТ… и оказалось, что реальная цена в 2-3 раза выше цены с сайта
                        — тоже клевета похоже. Я вам предложил привести ссылку на наш сайт и показать расчёт, который в 2-3 раза выше цен на нашем сайте. Вы не показываете.

                        Выше я признал, что слово бесперебойное питание в отношение майнинга у нас лишнее. Мы уточним формулировку. А вы уточните суммарное время простоя ваше в майнинг-зале.

                        Кто такая Даша?

                        Электричество не отключалось и не пропадало в серверных залах. Там всё зарезервировано и не раз. И АВР и ИБП и автоматически включаемый ДГУ. Но не было даже ни одного инцидента, чтобы ДГУ автоматически включился.

                        Работы по обслуживанию проводились. Происходило переключение между лучами. При этом серверы в стойках этого не заметили.

                        Майнеры тоже. Кроме вас.

                        Ставьте своё оборудование в серверных залах, там чисто. Залы для асиков чуть грязнее. Ну так и размещение там дешевле.

                        Погодите, вы можете определиться. То вы заявили в 2-3 раза выше рынка. Потом заявили, что не в 2-3. Теперь опять спрашиваете меня почему в два раза выше рынка. Я как антилевый вам отвечу уже, да просто потому что так хотим. Хотя, на самом деле, нет у нас цен в 2-3 раза выше рынка.

                        Вы поставили оборудование в самый дешёвый зал для майнинга. Значит по нашей классификации вы майнер. Если вы майнингом не занимаетесь, то оборудование надо ставить в стоечный зал.

                        Нас никто не нагибал. Давайте заканчивать с мутатой. Мы открыты и честны. Это вы хотите в зале для майнинга по самым низким ценам получить качество Tier III. Из всей болтовни так и осталось невыясненным:

                        1. Общее время простоя вашего оборудования в минутах.
                        2. Ссылка на страницу нашего сайта и расчёт, где мы вам дали цены в 2-3 раза выше.


                        Пожалуйста, давайте без политоты конкретные числа обсуждать.


                      1. snakers4
                        24.12.2021 13:16

                        Как-то вы бодро проигоровали тополиный пух, грязь и ремонт.

                        Общее время простоя составило где-то в районе суток (~22 часа).

                        И суть претензии вы опять делаете вид, что не видите. Еще раз для всей публики напишу - в понятие "бесперебойность" входит, что питание просто так не пропадает, раз за разом подряд в сжатые временные сроки.

                        Ну ок, давайте попытаемся теперь спокойно. Хотя, если вы против трампизма, то наверное, вы левый

                        Это умора просто. Вы так коллективное бессознательно хабра байтите на плюсики? Типа у нас не любят левых и геев, агага? Это уровень вашей аргументации? =)


                      1. Galperin_Mark
                        24.12.2021 13:51
                        +1

                        Про тополиный пух и не только.


                      1. itsoft Автор
                        24.12.2021 15:11
                        +1

                        Прочитайте внимательнее, я про пух, грязь ответил. Повторяю, в серверных залах стоимость электричества выше на 20%, пуха нет, грязи нет.

                        Про бесперебойность я вам тоже ответил, поправим на сайте.

                        Майнинг-зал — это не серверный стоечный зал, это даже не дата-центр уровня Tier II. На дата-центр уровня Tier II допустимая норма простоя 22 часа на каждый год! Вы у нас размещаетесь больше двух лет? То есть даже в майнинг-зале показатели бесперебойной работы для вашего оборудования уложились в допустимые нормы стандарта Tier II и простой составил меньше половины допустимого.

                        Вот реально не понимаю что вы от меня хотите. Вы купили услугу, вам её оказали в рамках допустимого качества, но вы упорно продолжаете нас клевать и докапываться. Цель у вас какая? Выбить цену ниже? Ну так вы уже долго переписывались. Выбивали. Не дали вам цену ниже. Вас это так сильно зацепило?

                        Про геев я ничего не говорил, это вы придумали. А левых есть за что не любить. Не надо в трампизме никого обвинять. Про Трампа я не особо в теме, но точно знаю что банить его в соцсетях и СМИ неправильно.