ХолодныйСинтез:
«Доброго времени суток форумчане. Действительно, не знал, где создать тему, но для таких как я сделали целый раздел, за это и спасибо.
Вкратце, живу в далекой глуши, где отбирают бизнес и не дают ничем спокойно заняться… и вот пришла ко мне идейка сделать сервер для услуг хостинга ну или чего-то прочего.
Интересуют такие вопросы:
*Что надо для старта, какое оборудование, программы и т.д
*Что нужно купить для начала
*В какой бюджет можно влезть
Может найдутся «знавцы» это темы. чтоб мне поведать что и как? …»
И конечно же в лучших традициях «серча» начался срач:
pavellift:
«ХолодныйСинтез, может лучше переехать?»
voltamper:
«ТС, не стоит суваться, если вообще в этом не понимаете.
Брутанут и вообще без штанов останетесь».
sladkydze:
«Автор, я поддерживаю товарищей, которые не советуют соваться.
Что-то тут можно поймать:
1. Имея знания в области и опыт.
2. Имея как минимум от 10.000$ на первоначальные вложения. А лучше от 50.000$. Остальное — бултыхание в луже».
[umka]:
«Это как начать автопрокатную компанию, имея в качестве «первоначального оборудования» ушатанный ВАЗ 2106. Ну и плюс сайт, конечно же».
И таких советчиков было много. Да, конечно, это могло быть желание задавить нового конкурента, так как большинство отметившихся с такими советами — существующие хостинг-провайдеры. Если бы не одно но… Эти люди были напрочь убеждены, что организовать хостинг-проект, не обладая специальными знаниями или большим бюджетом, невозможно, только лишь несколько людей дали советы по делу.
Сразу вспомнилось, как начинал я, и стало просто невыносимо грустно от таких советов, ведь люди заблуждались, все возможно и без бюджета, и без начальных знаний. Потому что именно так возник «ua-hosting». И далее я поведаю небольшую историю успеха и разочарований…
Цель была вовсе не в создании хостинг-проекта…
Интернет для себя я открыл в 2001-м году, еще в эпоху dial-up, когда скорости доступа составляли всего лишь до 28 Кбит / с и приходилось платить за Интернет и телефон огромные счета — порядка половины доллара за час днем и 10-20 центов ночью. Доступ к информации был крайне дорог и я мог позволить себе разве что 10-20 часов «онлайна» в месяц и небольшую страничку на бесплатном narod.ru, как первый опыт размещения информации в сети.
В 2003-м году, ставши студентом первого курса кафедры астрономии и физики космоса физического факультета Киевского Национального Университета им. Тараса Шевченко, по сути никогда до этого не сталкивавшись с веб-дизайном и понятием хостинга (narod.ru не в счет), мне захотелось создать научный познавательный проект, точнее я осознал необходимость этого. Ведь те же книги, изданные несколько десятилетий назад, но информация в которых была концептуально важной и актуальной, было найти невероятно сложно, не все имели доступ к хорошей библиотеке, особенно вдалеке от научных центров. К примеру, издание 1969-го года, посвященное теории переноса излучения в частотах спектральных линий, актуально и по сей день. Ведь решение ряда задач прикладной математической физики на физическом уровне строгости, является, пожалуй, базой для тех, кто желает полноценно заниматься наукой.
Получая стипендию в размере порядка 7 долларов в месяц, я мог позволить себе разве что регистрацию доменного имени, что и сделал весной 2004-го. Сам проект я смог запустить значительно позднее — только в 2006-м. Обычный хостинг не подходил, только электронных книг за 2 года было собрано и создано несколько сотен, а большинство хостинг-провайдеров того времени запрещали файловые архивы при размещении на shared-хостинге.
В результате был арендован виртуальный сервер:
Причем начального тарифного плана не хватило, так как тот же squirrelmail, почтовик с веб-интерфейсом, тупил очень заметно. Забавно, что я даже не знал в какую директорию нужно было залить файлы сайта (public_html) и как назначить индексную страницу. Разобраться в этом мне помог мой друг-однокурсник Кирилл, который на тот момент уже создал сайт о бесплатных доменных именах, что также было очень актуальным для многих веб-мастеров того времени. Более того, он по сути стал первым клиентом «хостинга», так как ресурсов на VDS было значительно больше, чем требовал проект в то время и содержание виртуального севера надо было как-то окупать.
Я был полным нулем в администрировании, но тем не менее уже тогда осознал, что значительно дешевле обратится к администратору с конкретной задачей (в то время цены на постоянное сопровождение были космические — от 100 долларов), чем подключать сопровождение на постоянно, ведь правильно настроенный сервер может работать долгое время без сбоев. Конечно я обучался и улучшал свои навыки. До сих пор помню фразу Валентина, администратора и владельца «HostBizUA», как оказалось:
— Если бы я поставил Вам FreeBSD, Вы бы уже застрелились, потому как чтобы поставить какой-то пакет в FreeBSD нужно знать его от а до я, я поставил Вам CentOS потому как любой пакет можно поставить командой:
yum install ЧТО*
-----------------
И он был прав, работать с CentOS было совсем не сложно.
А еще тогда я понял, что качественный саппорт возможен даже когда услуги предоставляет один человек, главное — вдохновение и правильное отношение к делу, ведь Валентину как-то чудом удавалось практически в любое время суток отвечать на тикет в течении 5-10 минут. Человек буквально жил в Интернете несмотря на то, что являлся владельцем довольно крупного дата-центра. Вскоре он продал свое детище, которое, к сожалению, не стало сколь-либо успешным без своего владельца-вдохновителя. Забавно, что до сих пор тарифные планы на сайте не изменились и даже стали во многом хуже по цене:
Первый выделенный сервер и неудачный опыт с каналом без учета трафика
С началом эпохи выделенных линий и более высоких скоростей доступа к сети Интернет в Украине и России VDS стало попросту не хватать, тот же медиа-архив требовал большего пространства и самое главное — канала более высокой пропускной способности. Назрела необходимость покупки выделенного сервера, а вместе с тем — поиска клиентов со стороны, так как проект некоммерческий и не имел достаточной прибыли с рекламы и продажи SEO-ссылок (тогда была очень популярная тема).
На то время я уже начал кое-что понимать и мог предоставить качественную услугу не только друзьям, но и посетителям сайта, ведь многим интересно было создать в Интернете собственную страничку:
Да, я знал не очень много, но я знал людей к которым можно было обратится за помощью для решения той или иной задачи при необходимости и мог правильно сформулировать суть проблемы, что в большинстве случаев уже являлось большей частью решения.
Вскоре, несмотря на то, что посещаемость сайта была невысока — до 300 человек в день, был найден первый десяток клиентов среди пользователей ресурса и со временем клиентская база только росла, так как посетители сайта доверяли мне, ведь их размещали там же, где и проект. В конце 2006-го года я смог позволить себе покупку выделенного сервера и размещение его на collocation в том же дата-центре, где арендовал виртуальный.
Тем более, что предложение на то время было очень выгодным, за 76,5 долларов в месяц обещали канал 100 Мбит / с без учета трафика, причем не только в украинский сегмент сети UA-IX, но и в зарубежный:
Был куплен E2160 c четырьмя жесткими дисками по 250 ГБ и 4 ГБ оперативной памяти, сервер обошелся почти в 1000 долларов, но зато не только окупал свое размещение, но и начал приносить хорошую прибыль (порядка 70 долларов в месяц). Однако счастье длилось не долго… Как только я добавил большой медиа-архив на веб-сайт и забил канал в полку, мне ограничили канал в мир до 5 мегабит и оставили всего 10 мегабит в Украину… Одновременно с этим Валентин изменил тарифную сетку на веб-сайте, мотивировав это тем, что рассчитывал на «честное» потребление и канал стоит дороже:
Медиа-архив пришлось очень лимитировать, а выделенный сервер потерял свою целесообразность в этом дата-центре. В тоже время переносить сервер куда-либо было попросту не выгодно, так как та же «Воля», один из крупнейших дата-центров Киева, начала предлагать выделенные серверы в аренду по цене размещения. Наконец-то в Украине начинала работать западная бизнес-модель, когда сервер предоставлялся в аренду фактически бесплатно, а оплачивался только канал.
Тем не менее что-либо подходящее на «Воле» стоило денег значительно больших, чем приносили клиенты и сайт, подходил лишь максимальный их тарифный план за 1399 гривен в месяц (порядка 280 долларов), так как нужен был гарантированный исходящий канал на скорости минимум 100 мегабит без учета трафика:
И для того, чтоб иметь возможность позволить себе это, нужно было увеличить прибыль в 4 раза, еще больше увеличить клиентскую базу, перенести клиентов временно на надежный виртуальный сервер и продать текущий физический. План действий прост и понятен, достаточно было только работать.
С сервером повезло, через пол года работы его посчастливилось продать за деньги большие, чем были отданы за него при покупке, но дешевле, чем он в среднем стоил на рынке. Так что довольны оказались все.
А вот с выбором нового хостинг-провайдера и скоростью роста клиентской базы повезло меньше.
Процессор и память — не самый важный ресурс виртуального сервера или почему дисковая квота стоит 0
В мае 2007-го вышел на рынок такой провайдер, как «vds64», специализирующийся на виртуальных серверах за вполне адекватные на то время деньги. Размещалось оборудование в дата-центре «DataGroup Incom» — весьма качественной киевской площадке, что было весьма кстати и я решил попробовать их услуги. Собственно, проанализировал потребление ресурсов, я пришел к выводу, что все мои клиенты могли всецело уместится на виртуальном сервере «Start» за 20 долларов в месяц:
Но я не привык экономить и решил взять «Optima» (ресурсы с резервом), за довольно не малые, как для виртуального сервера, деньги — 35 долларов в месяц. И каково же было мое удивление, когда клиенты в какой-то момент начали жаловаться, что их сайты тормозят… Проверил процессор и память, не используем и половины…
К слову, многие из провайдеров сегодня продолжают разводить marketing bullshit на тему малых ресурсов, убеждая клиентов, что виртуальный сервер с оперативной памятью менее 1 ГБ и ресурсами менее 1 ГГц — очень плохо и мало и недостаточно, ведь нужно продавать больше серверов. А тогда на этом виртуальном сервере весьма успешно работало порядка 30 сайтов и ресурсов хватало с запасом. Но сейчас речь не об этом.
Причина торможения сайтов заключалась не в нехватке ресурсов процессора или оперативной памяти, а в том, что дисковый массив стал перегружен. Это сейчас мне хорошо известно, что SATA-диск обеспечивает всего лишь порядка 70 операций ввода / вывода или чтения / записи в секунду (IOPS) в лучшем случае, а в то время для меня это было открытием, наверное, как и для создателей «vds64» ибо отзывы про торможение сайтов на их виртуальных серверах стали носить глобальный характер. RAID-массив не спасал ситуации. Хранилище, которое было не занято и на половину — было перегружено.
Осознав это, «попросил» перенести меня на другую ноду, менее нагруженную по IOPS, перейдя на еще более дорогой тарифный план «Portal» за 50 долларов в месяц, чтоб провайдеру было не так обидно. Помогло, на какое-то время. В то время, к сожалению, SSD накопителей, обеспечивающих десятки тысяч IOPS, в отличии от жестких дисков, за адекватные деньги попросту не существовало и разумеется, что «vds64» не решил бы проблему раз и навсегда. Это было более чем очевидно и я начал поиски выделенного сервера в аренду, ведь я не хотел разочаровать клиентов, которые мне доверяли, а проблемы и жалобы возникали все чаще.
Я хотел «Волю», ужасно хотел, так как это был наиболее оптимальный дата-центр для моих задач. Вот только 280 долларов не было… Можно конечно было бы протянуть 3-4 месяца на средства вырученные с продажи сервера, но что делать потом, если проект не достигнет окупаемости? Так рисковать было нельзя.
Индивидуальный подход меняет все: покупка услуг в дата-центре через партнера, а не напрямую
В феврале 2008-го года нашелся выход. Оказалось, что уже почти год с «Волей» успешно сотрудничает их партнер — компания «Дата-Хата», размещая там, как собственное оборудование, так и предлагая серверы дата-центра в аренду. И они являются одним из самых крупных их клиентов, плюс обладают куда большей гибкостью… К примеру, исходящий трафик неограничен даже для минимального тарифного плана, а не только для тарифа за 280 долларов (1399 грн) и предоставляется базовая настройка, сопровождение:
Размещение своего сервера стоит дешевле, нежели аренда сервера в дата-центре. Помимо этого предлагается уникальное решение — аренда сервера с выкупом, по истечению 12 месяцев сервер выкупается всего лишь за гривну и остается платить только за размещение и трафик:
В целом конечно эта схема неэффективна в долгосрочной перспективе — клиенты забывают о том, что оборудование устаревает и иногда выходит из строя. Но греет душу тем, кто хочет иметь оборудование в собственности и возможность мигрировать сервер между дата-центрами оперативно. Ребята наладили сервис настолько, что смогли обеспечить волшебную логистику с миграцией в течении часа (отключили сервер, погрузили, перевезли, подключили), при этом сотрудничали сразу с несколькими лучшими дата-центрами Киева.
Но самое важное — предлагали индивидуальный подход. Минимальный сервер стоил от 100 долларов в месяц (499 гривен) и к сожалению не удовлетворял моим требованиям, но было ясно указано, что в «Дата-Хате» готовы подобрать приемлемый вариант. Мне нужны были минимум 4 диска и 4 ГБ оперативной памяти, причем стоимость сервера не должна была превышать 90 долларов, именно столько средств приносил проект в тот момент. И я решил обсудить такую возможность, отправив заявку и объяснив подробно почему и что нужно.
Александр, директор «Дата-Хата», сделал так необходимую мне в то время скидку и пошел на встречу — временно уменьшил количество входящего зарубежного трафика с 30 до 20 ГБ, оставив при этом неограниченным исходящий, обеспечил необходимые параметры, помог с настройкой и даже переносом клиентов. А когда я из-за своей неопытности чуть не потерял данные (сервер настроили с RAID5 c целью экономии дискового пространства и я не заметил, как диск вышел из строя и массив начал работать в критическом режиме, в результате чего вышел из строя и второй диск), провел бессонную ночь в попытках спасти хоть что-то. И ему это удалось. Базы данных, к сожалению, было не спасти из бинарных логов — данные перемешались, файловая система была повреждена. Но вот файлы и скрипты спасти удалось, по большей части. К счастью большинство клиентов делали бэкапы баз данных, так как резервную копию было просто скачать из-за небольшого объема, а вот файлы из-за низкой пропускной способности домашнего Интернета резервировали не все. Некоторые хранили копии на том же сервере, а некоторые во все не делали бэкапы, полагаясь на RAID, так что люди были рады хоть такому исходу.
Этот случай научил меня и моих клиентов важному правилу: бывают люди, которые не делают бэкапы и те, которые уже делают.
Я был очень благодарен Александру и был настолько поражен такой заботе, что в тот же день оставил ему отзыв:
«Спасибо. Я просто поражен, в хорошем смысле этого слова, отношением Вашей компании и Вас, как руководителя, ко мне, как клиенту. + качество услуг у Вас действительно на высоте! Жалею только, что не наткнулся на Ваш сайт раньше…»
Этот отзыв размещен среди отзывов его клиентов и по сей день, с указанием на то, что я владелец такого-то портала, несмотря на то, что этот портал, к сожалению, прекратил развитие еще в 2009-м году, мне пришлось всецело посвятить себя хостингу, времени работать над порталом впоследствии не было.
Прощай, наука, здравствуй, бизнес?
Но тогда, осенью 2008-го, хостинг-проект совместно с научным ресурсом, был по сути хобби и далеко не основным направлением в работе. Окончив обучение я работал на кафедре и занимался распределением озона в атмосфере, исследованием циркум-полярного вихря и его влиянием на климат в Антарктиде. Появилась перспектива отправиться зимовать на украинскую станцию «Академик Вернадский» на пол года или даже год для проведения более подробных научных изысканий. Единственное, на нашей станции напрочь отсутствовал Интернет, а имея проект в сети и довольно много живых клиентов (на тот момент порядка сотни) — я не мог позволить себе такой роскоши, даже ради научных исследований и вполне неплохой перспективной заработной платы — до 2000 долларов в месяц. Правда в том, что наверное все-же больше я не любил холод и изоляцию и слишком любил своих клиентов и уже не мог жить без своего небольшого хобби.
За 2008-й год, не смотря на то, что работал один, я довел уровень сервиса до совершенства. Нет, проблемы конечно были, но они решались очень оперативно и к клиентам был максимально индивидуальный подход. Давались консультации даже за пределами заказанных услуг. Результатом этих усилий стали первые отзывы:
«Техподдержка на высшем уровне, устойчивость также, в комфорте небольшие недостатки с оплатой, но это терпимо».
«Отличная (оперативная!) служба поддержки.
+
хорошее сочетание цена/качество».
«Пользуюсь хостингом с июня 2008. За все время не было никаких к ним серьезных претензий. Уже и того сайта нет, с которым я тогда прихостился. Из позитивных сторон могу назвать хороший тарифный план, по низким ценам. Лучше я нигде не видел. Плюс ко всему хорошая служба поддержки, если что не ясно — все разложат по полочкам и помогут. Сервера действительно хорошие и скорость на высоте. Существенных недостатков в работе хостинга не заметил».
Люди реально думали, что работает целая команда. На деле же до 2009-го года кроме меня более никто не общался с клиентами. Впрочем, иногда случались и проколы:
«Три сайта у этого провайдера. Сегодня с утра обнаружил что сайты не работают. Страничка апача.(This page is used to test the proper operation of the Apache HTTP server after it has been installed. If you can read this page it means that the Apache HTTP server installed at this site is working properly.) Поддержка на мыло не отвечает, молчит и отдел продаж в аське, телефонов не нашел. Хостинг похоже поддерживается одним человеком и он же отдел продаж».
Забавно, что этот отзыв уже от 2010-го года, когда сервер хостинга был на мониторинге у администраторов и по сути хостинг уже поддерживался не только мной. А вот когда действительно приходилось заниматься всем одному — таких ситуаций удавалось избежать, хоть и дорогой ценой — иногда приходилось уделять работе свыше 18 часов в сутки, что было немного некомфортно.
В общем в Антарктику как-то не тянуло, там конечно стоит побывать хотя бы раз в жизни и исследования — интересно и круто, но в наших реалиях подразумевают наличие определенного уровня фанатизма, который у меня проявился совсем в иной сфере, отличной от исследований озона.
Я реально получал огромное удовольствие от своего хобби — предоставления хостинг-услуг и привлечения новых клиентов. Порой просто начинал консультировать людей на форумах в вопросах, в которых уже был хорошо осведомлен и чувствовал себя уверено, даже без мысли продать что-то, а порой и с мыслью :). Иногда вступал в интересные дискуссии с целью узнать что-то новое и проверить себя, либо просто разжечь метание … между участниками. Ведь только тогда можно видеть истинное лицо и уровень профессионализма, нужно разозлить…
Я не очень уж смышленый в физике и мне нужно прилагать больше усилий для решения тех или иных задач. Несмотря на то, что в программировании полный ноль, в свое время мне удалось сэкономить пол года работы коллег, автоматизировав обработку данных по озону. Так что я не был полностью бесполезным в науке, однако дальше так было нельзя. Я четко осознавал, что наука давно отошла на второй план и серьезно я ею заниматься не буду, так как я не могу уделять ей ни времени, ни средств. Да, крайне печально осознавать, но для того, чтоб заниматься наукой в Украине, нужны средства. И последнее можно реализовать двумя способами — уехать за рубеж и сделать там карьеру ученого, что занимает довольно много времени и сил (к тому же, не всегда есть смыл), либо построить успешный бизнес, что наверное было многим интересно, но не мне. Нужно осознавать, что строить и для чего… А строить что-то ради денег — мне скучно.
Оба варианта не подходили. Нас научили в университете самому главному, как мне казалось тогда — думать и обучаться самостоятельно. Нам так и сказали 31 августа 2003-го года, после зачисления на 1-й курс:
«Мы не научим Вас физике, мы научим Вас мыслить и уметь самообучаться. Физики — универсальные люди и осознав суть Вы сможете работать где-угодно».
Но осознанности не было. Я так и не нашел себя после получения диплома в 2008-м и работа на кафедре за 150 долларов в месяц, да еще с сомнительными перспективами загреметь в Антарктиду или пройти долгий путь ученого заграницей — явно не прельщала. Тем более я утратил фанатичность к науке еще за пару лет до этого, когда на семинаре профессора Шульмана нам 1,5 часа записывали уравнение движения пылинки в одноименной диффузионной модели плазменных хвостов комет. Да, невероятно круто, что человек всю жизнь посвятил науке, такие люди заслуживают глубокого уважения, но я не такой, я не мог просто сидеть и плыть по течению и тратить кучу сил на пылинки. Нужно было найти себя, а для этого поместить себя в неблагоприятную среду, ибо только тогда возможно побороть лень, заставить себя что-то делать и стать лучше. Правда, но факт, что люди меняются только тогда, когда страдания, причиняемые выходом из зоны комфорта, превышают страдания от изменений. Именно это я захотел сделать с собой.
Неблагоприятная среда может быть благоприятной
Я улетел практически без средств на возврат в случае неудачи. В начале был Египет, затем Индонезия, Англия. В теплых странах я пытался найти себя в дайвинге, как мне тогда казалось — райской профессии. Помню, проходя курс дайвмастера-гида, я обижался на своего инструктора за то, что она сваливала на меня всю самую «грязную» работу, а ведь таким образом мне она показывала тяжелые реалии и издержки профессии. Прикольно прилететь и понырять недельку, а вот когда ты гид для группы сертифицированных дайверов разного уровня, не всегда прошедших качественное обучение, но многие из которых считают, что все умеют (особенно выпить накануне) — совсем другое дело. Нужно собрать всех, подай-принеси, провести 3-4 погружения за день, а иногда и более, в весьма разных локациях и условиях и уследить за всеми. И так каждый день, практически без выходных и на протяжении многих недель, и чтоб все выжили…
А еще собственная несознательность и раздолбайство могут оказывать огромное негативное влияние, можно не выжить самому, убраться, сделав череду ошибок. Боже, спасибо моим инструкторам за то, что они мне встретились в моей жизни и вправили мне мозг. Большинству так не везет. Дайвинг поглотила коммерция и многие давно забыли о его предназначении, правильной философии. Я учился у Евгении Песковой (курс дайвмастера) и Андрея Чистякова (технический дайвинг, от начальных курсов до Trimix и пещерного дайвинга), делаю им рекламу :). Благодаря им я осознал многое и выжил, выработал правильное отношение ко многим вещам, научился строить логистику. Ведь в техническом дайвинге — погружениях с применением специального оборудования с целью расширения пределов любительского дайвинга, в том числе глубоких погружениях, что увеличивает риски, неправильное отношение может стоить жизни. Принципы и логистика, применяемая в дайвинге, справедливы и полезны в том числе и в повседневной жизни.
Да, нелегко было обучаться техническому дайвингу, в том числе финансово. Начальные курсы обошлись в пару тысяч евро, а далее просто нырять и обучаться мне было уже не за что. Но Андрей применил тот же индивидуальный подход, как и Александр из «Дата-Хаты», дал возможность выполнять дополнительные погружения по себестоимости — 50 евро за погружение в режиме декопроцедур. Да, это невероятно дешево, но для меня это были огромные деньги и я мог позволить себе нырять не чаще, чем раз в 1-2 недели. Все средства с хостинг-клиентов я тратил на обучение и совершенствование навыков, порой даже было проблематично купить еду.
Я понял, что нужно что-то менять и работать еще больше и эффективнее, когда в один из дней занес Андрею оплату за обучение (несколько сот евро) и Андрей сказал Але:
«Что мы с этими деньгами сделаем? Правильно, пропьем! :)»
Доходы в школе технического дайвинга измерялись десятками тысяч евро в месяц и, понятное дело, что они могли себе это позволить, заслужено позволить. Андрей прекрасно осознавал, что мое положение носило бедствующий характер и эта фраза послужила жутким стимулятором к изменениям. Нет, не потому, что я хотел пропить 400 евро, хотя порой и это тоже — не откажусь от хорошего вина, а просто, чтоб иметь возможность заниматься любимым делом, в том числе и дайвингом. И как только доход с моих веб-проектов стал больше, нежели потенциальный доход дайвинг-гида, я с большим усердием принялся за IT-cферу, решив оставить дайвингу место хобби, во всяком случае пока.
Я решился предлагать услуги публично, не будучи по сути хостинг-провайдером и не обладая штатом сотрудников, а имея лишь страничку на научном познавательном ресурсе. Консультировал людей на форумах и старался всегда подбирать индивидуальные решения, причем очень часто рекомендовал даже конкурентов, что вводило людей в прямой ступор. Ведь цель была не сколько в продаже, сколько в том, чтоб стать лучше, получить опыт.
Затем к проекту подключился мой друг, Дмитрий, сооснователь будущего «ua-hosting», и дело еще больше начало набирать оборот.
В июле 2009-го мы наконец-то «открыли» «ua-hosting»
Понимание того, что проект вышел за рамки хобби, появилось тогда, когда мы не смогли обеспечить запросы клиента с повышенными требованиями к аппаратным ресурсам. Инфраструктура должна была стать более отказоустойчивой и производительной, нужен был второй сервер.
Клиентка, написавшая запрос на форуме, не хотела чего-либо сверхъестественного, у нее был проект, посвященный латиноамериканским сериалам, рассчитанный на домохозяек. Средства с рекламы пока не позволяли оплачивать адекватные с запросом по ресурсах деньги. По-хорошему там нужен был выделенный сервер, ибо только дисковой квоты требовалось 700 ГБ, а канала — порядка 50-70 Мбит / с. Но проект нам показался перспективным и мы решили оказать помощь.
Нам нужен был второй сервер, но не нужно было сразу столько ресурсов. Мы предложили Лене индивидуальное решение, с нужными ей ресурсами, причем за смешные деньги, в себестоимость, а то и ниже, объяснив наш план.
В результате нами был арендован второй сервер, организованы отказоустойчивые DNS, и самое главное — открыт веб-сайт для предоставления исключительно хостинг-услуг, а уже через некоторое время мы заслужили хороший отзыв:
Достоинства: по мне так один из самых лучших хостингов. Наиболее выгодные тарифы, постоянные акции и скидки, возможность подобрать хостинг под свои нужды, и если форс-мажор договориться по условиям оплаты. А самое главное, ниже цен я не видела нигде, при том, что сервера все мощные и аптайм у них более, чем идеальный.
Недостатки: долго искала, но пока найти не могу. Хостинг более, чем лучший. Ну разве что, техподдержка изредка отвечает с небольшим опозданием (не мгновенно).
Автор отзыва: Елена — любительница латиноамериканских сериалов. По профессии экономист, по призванию — вебмастер. Хостюсь одновременно у трёх провайдеров: best-hoster.ru, kinghosting.net и вот у этих ребят. Так что сравнивать могу. По соотношению цена-услуги — ua-hosting — лучшие.
Выделенные серверы в аренду или как конкуренты могут быть партнерами
«Дата-Хата», компания, через которую мы арендовали серверы в дата-центре «Воля», в тот момент обладала всем: собственными администраторами, железом и была крупным партнером дата-центра. Мы же умели общаться с клиентами и продавать. По сути являлись весьма хорошими менеджерами, с собственным хостинг-проектом.
Нам не хватало опыта и желания для того, чтоб работать с дата-центром напрямую. Да и это было лишено смысла, регистрироваться юридически не хотелось — обороты были не те, а работая напрямую мы имели бы меньший уровень скидок, ведь мы были бы совсем незначительным клиентом для ЦОДа. Но самое важное — поддержка, вместе с «Дата-Хатой» мы были крупнее и дата-центр более оперативно и с большим энтузиазмом решал наши вопросы, а в случае задержки по оплате наш партнер всегда нам мог дать разумную отсрочку. Окончательный выбор в пользу совместной работы был сделан тогда, когда Александр предложил нам по сути тот же уровень скидок, что может предоставить дата-центр напрямую, оставив всю бюрократию и поддержку на себя. И он не ошибся.
В ноябре 2009-го у нас было уже 6 серверов в аренде, абонплата составляла около 6000 гривен в месяц (750 долларов) и мы достигли 10% уровня скидок от цен дата-центра. Причем 2 сервера уже успешно арендовала Елена, любительница латиноамериканских сериалов, которой мы пол года назад помогли, предоставив большую часть ресурсов из второй хостинг-ноды.
По сути мы начали использовать бизнес-модель выращивания клиентов. Ведь их успех — наш успех. Мы делали все для этого. Даже те клиенты, которым выделенный сервер был без надобности, уже всерьез думали об аренде:
Iv@nhoe: Прикупил один из максимальных пакетов виртуального хостинга. Радует работа сайта, работа техподдержки и отношение к безопасности у данного провайдера. Особую благодарность хочу выразить ТС за оказанную максимальную помощь в решении вопросов. Да при этом еще и в свое личное время. Хоть и не являюсь пока полным сторонником приобретения для себя сервера, но все больше и больше склоняюсь к этой мысли. И именно у этого провайдера. С такой техподдержкой должен справиться.
Нет, это не было попыткой продать людям то, что им не нужно, наоборот, это было стимулом к развитию их проектов, ведь когда выделенный сервер не используется полноценно — есть необходимость роста, хотя бы для того, чтоб окупать затраты, люди выходят из зоны комфорта… А после уже привыкаешь работать в таком темпе и проект становится успешным, ведь успех — это не там, где повезло, а где ты регулярно трудишься и в правильном направлении. Та же Елена впоследствии арендовала сервер с 10-гигабитным подключением под свой проект и её проект принес ей десятки тысяч долларов дохода, при этом человек занимался любимым делом, искреннее и для души, и впрямь — веб-мастер по призванию.
Впоследствии в дата-центре «Воля» мы смогли позволить себе уже собственные включения и просто добавляли серверы новых клиентов в стойки. Мы никогда не ограничивали канал клиентам, пытаясь сэкономить, а наоборот давали больше положенного. К тому же бизнес-модель с использованием общего включения была более эффективной, ведь в реальности неограниченный трафик — marketing bullshit. Людям удобно арендовать сервер и не думать о трафике, а вот используют клиенты зачастую далеко не всё, что не только позволяет повысить маржинальность, но и предложить услугу за меньшую стоимость, сделать её более доступной и увеличить спрос. Хотя с этим нужно быть предельно осторожным, порой бывают исключения, но об этом позднее.
Довольный клиент — хорошо, а очень довольный — еще лучше
А пока все шло волшебно, работала лучшая реклама — рекомендации. Мы заслужили самое главное — доверие, обрели репутацию. Порой приходилось общаться с клиентами на отвлеченные темы и просто давать советы в тех или иных ситуациях. Результатом работы стали отзывы в сети о нас:
Mantius: Начал пользоваться данным хостингом, прошло меньше суток, но уже отдано более 100 гигабайт и полёт пока нормальный, буду брать вариант за 127$. Отдельно хочу выделить автора, как отзывчивого человека, который несколько раз очень оперативно помог решить многие проблемы, которые, в общем-то, решать вовсе и не обязан. В общем, готов платить 127$ в месяц только за такую техподдержку, а сервер это так, можно сказать, в подарок =) .
Marts: Взял один из акционных серверов. Работает на ура, пользователи не жалуются, что долго грузится (раньше писали постоянно). Хостинг летает как пуля! Особенно радует, что сайты размещаются в ДЦ «Воля». Когда-то пробовал с ними работать — соединение по FTP открывается как на локальном компьютере. Скачивание или закачивание такое быстрое, что я не успеваю увидеть какой файл сейчас заливается + отличная поддержка. Я сервер никогда не пробовал в деле. Только ВДС. К тому же здесь шикарный канал. На ВДС то меня давили соседи, то я их. Здесь же такой канал, что всем хватит. Спасибо! Надеюсь, что так будет долго.
Количество арендованных серверов росло в геометрической прогрессии. Конечно были и негативные отзывы, но в основном от клиентов хостинга, когда возникало недопонимание в потреблении ресурсов и тарификации, что мы смогли разрешить лишь сравнительно недавно, предложив понятную схему учета — оплату только за просмотры сайта, трафик. Тем не менее мы пытались сгладить такие конфликты, объясняя свою позицию и в чем именно заблуждался клиент.
В начале 2010-го уровень услуг, оказываемый нами, еще более повысился. Теперь стала возможной установка нового сервера практически моментально. Мы всегда держали серверы в резерве. Что очень пригодилось, когда в марте 2010-го сгорел одесский Дата Центр «hosting.ua», в тот день мы получили сразу 3 новых крупных клиента, включая сеть аптек «Фетида» (piluli.ua) с посещаемостью до 100 000 уникальных пользователей в сутки, предоставив оперативно им сервер с моментальной активацией еще до того, как что-либо сумели предложить другие. Но самое главное — отношение, мы предложили помощь людям даже без оплаты. В результате они работают с нами и по сей день и уверены в нашей надежности, как их партнера, который никогда не оставит в беде.
Постоянное сопровождение и мониторинг: как мы начали сотрудничать с провайдером «SeCom»
Наш партнер еще год назад нам сказал, что поддерживать технически наших клиентов ему невыгодно — разовая оплата в 10-20 долларов в час не окупает зарплат, потому по услугам аутсорсинга мы сотрудничали в основном с фриланс-администраторами, передавая им запросы клиентов и решая проблемы с ними.
Но в мае 2010-го мы нашли лучшее решение — команду молодых специалистов из Винницы, которая как раз занималась поддержкой хостинг-провайдеров и, в частности, предоставляла выделенные серверы в аренду в том же дата-центре, что и мы. Нашли мы их случайно, благодаря инциденту с новой поставкой серверов, застрявших на границе. Нашему клиенту срочно потребовались серверы, а свободных серверов в дата-центре «Воля» не оказалось, нужные конфигурации закончились. Тогда коллеги из «KirHost», работающие с «Волей» через «SeCom», любезно согласились передать уже арендованные ими серверы нам в наш аккаунт, пошли на встречу. И мы подумали, почему бы не начать сотрудничать c «SeCom» более тесно. Они умели администрировать, а мы — продавать. К тому же их услугами уже успешно пользовались другие небольшие хостинг-провайдеры.
Так компания «SeCom» начала предоставлять услуги аутсорсинга для наших абонентов, а позднее, когда мы стали крупным их клиентом — вести непосредственное общение у нас в тикетнице. Вячеслав и Мирослав курируют деятельность тех. отдела и по сей день и мы очень благодарны им за столь тяжелый труд.
Юридическая регистрация и работа с юр. лицами
Обороты росли и летом 2010-го года назрела необходимость начать работать официально. Хотя мы большую часть года находились за рубежом (преимущества удаленной работы, можно работать откуда угодно), но вели деятельность на территории Украины, следовательно регистрация была необходима. Так было открыто сразу 2 субъекта предпринимательской деятельности. Благо бумажной волокиты было немного. Хоть за это спасибо нашей родине, хотя процесс регистрации деятельности оставлял желать лучшего. Украина — все еще не та страна, где можно открыть бизнес за 5 минут и сделать его успешным. К примеру, несмотря на регистрацию, с нами не хотели работать юр. лица, так как в таком случае было невозможно получить возврат НДС. Благо наш партнер обладал ООО и мы могли проводить таких клиентов через него, без лишних издержек на собственного бухгалтера и затрат времени на бюрократию. Все официально, платя все налоги. Вот только работать с юр. лицами с услугами на несколько сот гривен было попросту невыгодно даже при такой схеме, бюрократия закрывала такую возможность. Операционные расходы на бумаги и бюрократию превышали разумные пределы, приходилось отказывать таким абонентам, либо рекомендовать им работать в качестве физ. лиц, что не всегда было возможным уже с учетом бюрократических требований их стороны.
Тем не менее, к сентябрю 2010-го, наша инфраструктура состояла уже из 29 выделенных серверов, 4-х свитчей и одного роутера с 4 Гбит / с подключением в сеть Интернет:
*** netgear-2 ***
1-p --> гигабитное включение
2-p --> гигабитное включение
3-p --> гигабитное включение
4-p --> ovod-switch-12 (1 порт)
5-p --> switch-10 (8 порт)
6-p --> гигабитное включение
14-p --> ovod-switch-14 (24 порт)
22-p --> ovod-switch-17 (1 порт)
*** switch-10 ***
2-p --> ovod:ua-hosting-x21 (eth0)
4-p --> ovod:ua-hosting-x12
5-p --> ovod:ua-hosting-x
6-p --> ovod:ua-hosting-x11
7-p --> ovod:ua-hosting-x3
8-p --> netgear-2 (5 порт)
9-p --> ovod:ua-hosting-x4
10-p --> ovod:ua-hosting-x14
11-p --> ovod:ua-hosting-x6
12-p --> ovod:ua-hosting-x2
14-p --> ovod:ua-hosting-x20 (eth1)
15-p --> ovod:ua-hosting-x10
16-p --> ovod:ua-hosting-x8
17-p --> ovod:ua-hosting-x13
18-p --> ovod:ua-hosting-x9
19-p --> ovod:ua-hosting-x23 (eth0)
20-p --> ovod:ua-hosting-x7
21-p --> ovod:ua-hosting-x15
23-p --> ovod:ua-hosting-sua
24-p --> ovod:ua-hosting-x5
*** switch-12 ***
1-p --> netgear-2 (4 порт)
4-p --> ovod:ua-hosting-x24 (eth1)
5-p --> ovod:ua-hosting-x19 (eth1)
6-p --> ovod:ua-hosting-x22 (eth0)
9-p --> ovod:ua-hosting-x20 (eth0)
10-p --> ovod:ua-hosting-x21 (eth1)
11-p --> ovod:ua-hosting-x26 (eth1)
13-p --> ovod:ua-hosting-a2
17-p --> ovod:ua-hosting-a1
19-p --> ovod:ua-hosting-x22 (eth1)
21-p --> ovod:ua-hosting-x26 (eth0)
22-p --> ovod:ua-hosting-x23 (eth1)
23-p --> ovod:ua-hosting-x24 (eth0)
24-p --> ovod:ua-hosting-x19 (eth0)
*** switch-14 ***
8-p --> ovod:ua-hosting-x28
9-p --> ovod:ua-hosting-x32 (eth0)
11-p --> ovod:ua-hosting-x33 (eth1)
13-p --> ovod:ua-hosting-x33 (eth0)
14-p --> ovod:ua-hosting-x32 (eth1)
15-p --> ovod:ua-hosting-x34 (eth1)
16-p --> ovod:ua-hosting-x34 (eth0)
24-p --> netgear-2 (14 порт)
*** switch-17 ***
1-p --> netgear-2 (22 порт)
3-p --> ovod:ua-hosting-x29 (eth1)
4-p --> ovod:ua-hosting-x29 (eth0)
5-p --> ovod:ua-hosting-x30 (eth0)
6-p --> ovod:ua-hosting-x30 (eth1)
7-p --> ovod:ua-hosting-x31 (eth0)
Абонплата за услуги дата-центра, с учетом всех скидок, превысила 36 000 грн (4500 usd / месяц), количество абонентов только росло и приходило все больше и больше крупных клиентов, в том числе трафикогенераторов, которые занимались стриммингом видео.
Работа с крупными клиентами, Кинопоиск, кластерные проекты, работа с дата-центром «Utel», атаки в 10+ Гбит / с, стоило ли с ними бороться?
Несмотря на рост, у нас все еще не было собственных администраторов и сотрудников отдела продаж, помимо нас двоих. К тому же официально мы не могли нанять кого-либо. Неофициально — нам было это не нужно. В случае с sales support мы были уверены, что работаем лучше, чем десяток менеджеров какого-либо провайдера. Аутсорсинговые же запросы обрабатывались компанией «SeCom», согласно договору между двумя субъектами предпринимательской деятельности. Помимо прочего, для разных задач требовались специалисты различного уровня, мы умели находить их и правильно ставить задачи.
Так одному из крупных клиентов пришлось объединить порядка 17 выделенных серверов в кластер, кластер писался с 0, специалистом с многолетним опытом в этой сфере. В результате клиент получил отказоустойчивое решение, реализованное в сроки порядка месяца, причем за весьма небольшие деньги (менее 4000 долларов США). Содержать специалиста подобного уровня в своем штате на постоянной основе было бы затратно (уровень зар. платы порядка 2500 долларов в месяц), и тогда стоимость подобной услуги возросла бы в разы, так что мы экономили деньги прежде всего наших клиентов. Помимо прочего, специалисты подобного уровня должны рости и развиваться, обогащать опыт, а это невозможно, когда задачи возникают редко.
Люди нам доверяли и мы всегда находили решения для них. Причем нам доверяли очень крупные проекты, такие, как Кинопоиск. С Дмитрием Сухановым я связался через форум «Hostobzor», когда он искал надежного партнера для того, чтоб арендовать инфраструктуру в Украине. Увы, российские внешние каналы тупили, в итоге украинская аудитория не могла нормально смотреть трейлеры к фильмам на сайте kinopoisk.ru и требовалось локальное решение для украинцев. 16-го мая 2011-го года мы заключили договор с Тацием Виталием Сергеевичем на предоставление инфраструктуры для стримминга трейлеров к фильмам для украинской аудитории сайта Кинопоиск. А позднее, уже для всей аудитории, как только начали предоставлять услуги в нидерландском дата-центре «EvoSwitch». Сотрудничество было долгим, вплоть до октября 2013-го, когда, как оказалось, Дмитрий с Виталием продали проект Яндексу за $80 млн, о чем я узнал только в этом году, когда увидел ужасный дизайн нового «Кинопоиска», где Дмитрий в ответ на сообщение «наверное бывшие владельцы плюются, смотря на это» отписал «ну есть такое».
Но пока шел 2011-й год и клиентская база быстро росла. В ходе работы с крупными клиентами мы столкнулись с таким неприятным явлением, как DDOS-атаки. В дата-центре «Воля» не было аппаратных средств защиты, покупать такое оборудование мы не могли — слишком дорого, и мы начали сотрудничество с дата-центром «Utel», арендовав у них шкаф и Juniper Netscreen 5400 для обеспечения фильтрации атак на аппаратном уровне, хотя бы в пределах 2-х гигабит, куда укладывалось большинство атак того времени.
Мы защищали от следующих типов атак:
icmp-flood
udp-flood
port-scan
tear-drop
syn-flood
ip-spoofing
ping-death
land
ip-bad-option
icmp-fragment
icmp-large
syn-ack-ack-proxy
block-frag
icmp-id
icmp-flood threshold 100
udp-flood threshold 1500
syn-flood timeout 10
syn-flood attack-threshold 5000
syn-flood source-threshold 200
syn-flood destination-threshold 5000
И наивно полагали, что аппаратный firewall — лучшее решение. Но оказалось, что от некоторых атак все же следует защищаться только программно или вообще не следует защищаться, а дешевле переждать. Ведь для того, чтоб выдержало сетевое оборудование, нужно было применять распределенные дорогостоящие кластерные решения программной фильтрации.
Совсем скоро мы осознали фразу, из мануала к аппаратному firewall, на практике:
— Some DoS attacks are too complex for today's firewalls, e.g. if there is an attack on port 80 (web service), firewalls cannot prevent that attack because they cannot distinguish good traffic from DoS attack traffic.—
На клиента прилетел http get, DDOS на 80-й порт и это была не установка соединений. Единственное, что мы смогли сделать на аппаратной части, — ограничить кол-во сессий на 1 ip, что и было сделано. После этого нагрузка упала с 110 тыс. сессий до 10-12 тыс. При этом загрузка процессора Netscreen 5400 составила 88% (при нормальной работе — 2%). Поэтому во время атаки возникли проблемы со снятием SNMP, и мы могли сообщить лишь кол-во сессий (до включения лимита — 150 тыс.) и общее кол-во отфильтрованных пакетов.
ICMP flood protection 2177
UDP flood protection 1390
SYN flood protection 241528872
SYN Flood(same source) 31637861
SYN Flood(same destination) 968289628
TCP packet without flags protection 5207
Fragmented packet protection 21582144
—————————————————
На какое-то время это помогло, но не на долго, атака была усилена, на корневые маршрутизаторы дата-центра пришло более 10 гигабит и абонента пришлось временно отключить, так как атака начала создавать проблемы для других клиентов.
Увы, но в таких случаях дешевле всего было переждать. Ибо организация атаки также стоит денег, атакующий не может проводить атаку бесконечно. Порой куда больший урон могут принести попытки фильтрации, нежели сама атака, на что и рассчитывают атакующие. Именно такая рекомендация была дана клиенту и она сработала, сэкономив немало средств нашему абоненту. Позднее мы узнали, что от этого ботнэта пострадали и другие крупные проекты, а те, кто пытались бороться — все-равно не побороли, получив атаку мощностью свыше 100 гигабит, потратив при этом десятки тысяч долларов на попытки защиты и много нервов.
Переезд в дата-центр «Укртелекома» или как купить серверов на пол миллиона
Помните я говорил выше, что операторы продают каналы дешевле, из расчета честного потребления и что клиенты зачастую не используют весь выделенный им канал полноценно? А о том, что такие продажи нужно делать осторожно?
В дата-центре «Воля» не подумали об этом. Они предложили новый тарифный план «Медиа» для трафикогенераторов, где за каждые 100 мегабит исходящего трафика, дается бонусом бесплатный входящий мегабит в зарубеж, что позволяет генерировать зарубежный трафик в еще больших объемах, ведь исходящий трафик по условиям тарифа бесплатен, оплачиваются только входящие мегабиты и лишь небольшая плата за порт. Предложение было отличное и работало, как хороший маркетинг, пока к ним не пришла файлопомойка.
Она сгенерировала свыше сотни гигабит в Украину, получив таким образом огромный канал в зарубеж. Бесплатно, на шару. Дата-центр докупал зарубежный канал за огромные деньги и его резерв тут же кончался. Обычные клиенты не видели каких-либо значительных проблем, а вот стриминг-абоненты не могли не заметить этого. Скорость на поток в Россию снижалась в пиковые часы с 2 Мбит / с до 400 Кбит / с и менее. Такая ситуация приобрела регулярный характер, но самое главное, что дата-центр никак не мог найти причину, или не хотел ее искать.
Уже потом, когда они потеряли нас, как абонента (мы переехали в Укртелеком) и абонплату свыше 80 000 гривен (10 000 долларов в месяц), они обнаружили, что файлопомойка скупила около полусотни серверов по дата-центру и распределено генерировала трафик. Вероятно позднее они поняли в чем дело, но просто не хотели их терять, так как закупили серверы под них.
Но было поздно, в январе 2012-го мы начали перемещать всех постепенно в «Utel», арендовав 2 шкафа, купив хороший Cisco Catalyst WS-C2960G-48TC-L и 8 Гбит / с в сеть Интернет, ведь наши клиенты генерировали уже порядка 6 гигабит трафика в пиковые часы. А так, как у нас были в основном трафикогенераторы — мы не использовали больше половины пространства в шкафах, потому эту часть отдали нашему партнеру — «Хате», чтоб они могли разместить серверы своих абонентов за более выгодные деньги и у нас не пропадали ресурсы. Теперь наших серверов было больше, чем «Хаты», свыше 50.
Покупка железа — отдельная тема. Тут уже вариантов не было, как и денег на столько серверов сразу. Благо часть серверов принадлежала нашему партнеру и мы платили за аренду, постепенно выкупая, а для остальных мы нашли выход — предложили абонентам волшебные условия при долгосрочной оплате (на год, практически в себестоимость). Поставщик, в свою очередь, дал рассрочку на проведение оплаты на 3 месяца, так как закупка была оптовой. Клиенты, проработавшие с нами 2-3 года, нам доверяли, и потому большинство из них с радостью перешли в новый ЦОД и на новую схему работы с платежами раз в год. К тому же Укртелеком расширил внешние каналы в мир на 200 гигабит к предстоящему «ЕВРО 2012» и качество на поток было просто волшебным — до 20 Мбит / с и более (канал Укртелеком закупил для обеспечения стримминга матчей).
Проблемы в работе с «Укртелекомом» и в целом с Украиной
«Укртелеком» был хорош, но страдал жуткой бюрократией, порой невозможно было оперативно установить сервер абонента в шкаф или провести оперативную замену комплектующих, так как их менеджеры ушли на обед, ушли с работы в 5 вечера (рабочий день до 5) или просто выполнили план по установкам новых серверов сегодня и не желали напрягаться. Иногда просто не пускали наших людей на площадку, мотивируя отказ тем, что нужно получить дополнительное разрешение или доступ разрешен только на 1-го сотрудника, но не того, который приехал. Тем не менее адекватные люди там тоже работали и зачастую проблемные бюрократические моменты решались положительно, хоть и с затратой наших нервов и нервов наших клиентов. Ведь сложно объяснить клиенту, что мы не можем заменить ему диск, из-за того, что сотрудники дата-центра обедают, а инженер не проведет работу без акта, который оформляется менеджером.
Тем не менее многие из наших абонентов относились к таким ситуациям с пониманием, ибо цена была волшебна и количество наших серверов только росло. В марте мы захотели расширить канал, докупив дополнительные 8 гигабит, но нам отказали в подключении, мотивировав это тем, что канал резервирован под «ЕВРО» и продать его могут только с дополнительным шкафом, максимум 2 гигабита на шкаф, а не 8, что не устраивало нас. Потому часть абонентов нам пришлось какое-то время размещать на той же «Воле», решившей проблемы с качеством к тому времени.
В какой-то момент в Украине участились обыски, изъятия серверов спец. службами, приглашения владельцев в милицию и СБУ, и мы осознали, что складываются довольно неблагоприятные условия. Работать с очень крупными клиентами мы просто не могли, хотя заявки были. Ведь нужно было закупать сразу несколько десятков серверов под них и потом, если в течении года ничего не произойдет с каналами и серверы не изымут спец. службы по какой-то очередной надуманной причине, возможно было выйти в 0 и начать зарабатывать.
Риски стали несоизмеримы. Мы начали искать зарубежного партнера, тем более, что все больше наших клиентов интересовалось возможностью размещения сайтов для взрослых, в Украине считавшихся чуть ли не криминалом, хотя все смотрели, включая сотрудников правоохранительных органов. Именно так дебильное законодательство мешает развитию сетей, Украина могла стать меккой Интернета с бОльшим уровнем свободы Интернет-пространства, нежели в Европе, но не сложилось…
Поиски партнера за рубежом или как мы нашли «LeaseWeb» и «LeaseWeb» нашел нас
Была компания «NewTelco» с собственными дата-центрами в Киеве и Германии, с ними уже успешно сотрудничал наш партнер в Киеве, но по причине ограничений немецкого законодательства (те же сайты для взрослых возможны только в платном доступе) она нам не подошла, плюс нам требовалась хорошая связность с абонентами в России и Украине, что стоило там очень дорого. Мы не хотели закупать свое железо — амортизировать его в Европе самостоятельно практически бессмысленно и глупо, если только нет лишних денег, которые хочется выбросить и вложить со сроком окупаемости в 5 лет, получив устаревший парк серверов по итогу и проблему его замены на новое железо.
Обратив внимание на Нидерланды, как на наиболее либеральную страну, мы начали поиски надежного поставщика услуг среди множества операторов Амстердама. Нидерланды реально оказались меккой Интернета, тут сходились все каналы и была хорошая связность как с Америкой, так и Россией и Украиной, но самое главное — понятное и надежное либеральное законодательство.
Но с кем работать? Тут так много дата-центров… Нам нужен был по истине надежный партнер, ведь у нас так много клиентов, перенести их из Украины — не малый труд. А еще больший — не упустить качество и наоборот его повысить, иначе зачем переезжать? Как убедить клиентов в необходимости переезда, не потерять их и сделать еще более довольными, чем сейчас?
Один из самых крупных дата-центров в Нидерландах — «EvoSwitch», нам сразу приглянулся. В meet-me-room дата-центра были представлены все европейские магистральные провайдеры первого уровня, а также было много пирингов, в общей сложности несколько десятков, что для нас казалось чудом.
Для сравнения дата-центр «Воля» использовал лишь ДВА! аплинка второго уровня, которые в один прекрасный момент стали недоступны одновременно, когда слег магистральный провайдер первого уровня, предоставлявший услуги этим двум операторам.
Общая емкость включений «EvoSwitch» превышала 2 Тбит / с, против 60 гигабит в мир на «Воле», а точка обмена «AMS-IX» размещалась неподалеку. Вот только дата-центр работал только с крупными клиентами и только с colo. Наши несколько стоек там блекли, нужно было сразу покупать gage на 48 шкафов или работать не напрямую. Мы, к сожалению, не могли пока себе такого позволить, ведь наши серверы могли занять всего лишь около 10% пространства в лучшем случае.
«LeaseWeb» — компания, работающая с индивидуальными клиентами и небольшими хостинг-провайдерами, по сути являющаяся владельцем и создателем дата-центра, также входила в группу компаний «Ocom», но специализировалась в основном на услугах dedicated. Почитав в Интернете отзывы, сделали вывод, что они — не очень надежная компания, люди жаловались на очень частое изменение условий работы, трафик и серверы были довольно дорогими, цены — не ниже украинских. В чем преимущество? Вопрос пришлось отложить.
Но уже через месяц мы арендовали через одного из их партнеров сервер за $339 / месяц, так как «LeaseWeb» ввел выгодное предложение на трафик (серверы серии 100ТБ с каналом 1 Гбит / с) и снизил цены. Решено было организовать хостинг-ноду для клиентов, желающих размещать сайты за рубежом, в частности клиентов с проектами для взрослых. Так мы начали работу. Весьма успешно.
Но через 2 месяца дата-центр изменил условия (сразу вспомнился отзыв и предыдущий опыт с дешевым трафиком). Для новых заказов стриминг c подобных серверов стал запрещен, а некоторым текущим клиентам «LeaseWeb» во все отказал в обслуживании. Причина была банальна. Онлайн-кинотеатры, пришедшие в дата-центр, потребляли канал полноценно и на 100%, а не на 10-30%, как рассчитывалось, отличались неравномерностью этого потребления — ночью нагрузка была в несколько раз ниже или отсутствовала во все. По сути, потребляли гигабит, а платили лишь за треть, в этом была проблема. Так что дата-центр решил избавиться от всех таких неугодных клиентов, хотя гораздо разумнее было бы просто поставить ограничение в 330 Мбит / с, тем самым сделав показатели рентабельными, избежать отказов и негативных отзывов.
Вскоре после этого нам написал письмо Emrah Aydin, их менеджер по развитию, который нашел нас и заинтересовался возможностью развития их услуг в Украине, собирался прилететь в Киев и просил о встрече:
======
Hello,
My name is Emrah, I am business development manager of Leaseweb. I think you are a customer of Leaseweb with 100TB servers, however I couldn’t find your account in our system.
I will be in Kiev between 11 and 13 April next week and I would like to use the opportunity to meet with the owner of UA-Hosting to discuss further business opportunities. We are looking for a partner to grow in Ukraine. Would it be possible?
Emrah C. Aydin
Business Development Manager — Leaseweb B.V.
======
Хотя мы находились и не в Украине, но планировали как раз в то время быть в Киеве, потому сообщили, что встреча возможна. Я объяснил Эмраху кто мы и что мы, как мы работаем, рассказал о нашем сотрудничестве с другой компанией — «Дата-Хатой», что если мы и будем размещать у них что-то, то будем делать это совместно, так как мы не конкуренты, а в первую очередь партнеры, которые всегда успешно сотрудничают и вместе мы крупнее, имеем бОльший уровень скидок и преимуществ в дата-центрах, чем работая по отдельности. Он был рад слышать, что между нами, по сути конкурентами, сложилось такое весьма успешное партнерство.
Также я объяснил причину, по которой он не смог найти наш аккаунт, так как мы арендовали тот единственный сервер в «LeaseWeb» не напрямую. Описал ситуацию в Украине с каналами и серверами, что в Нидерландах по их ценам 100 ТБ серверы не для стримминга сейчас мало кому будут интересны, так как у них на это стал запрет. А гигабит за огромные деньги — в тот момент порядка 600 евро, против 200-300 долларов в Украине, возьмут разве что проекты для взрослых, ведь все остальное можно в Украине и за дешево и у нас пока таких клиентов нет, ввиду ограничений украинского и российского законодательств. Однако сообщил, что тем не менее их low-cost серверы могут заинтересовать наших текущих клиентов и может появится интерес, если будет special offer, ценник гораздо ниже, чем в Украине.
Я долго думал о том стоит ли идти на встречу вообще или отменить её. Стоит ли тратить наше время и время Эмраха, обсуждая сотрудничество, которое может и не состоятся, ведь «LeaseWeb» не очень гибкий. Не так давно «Хата» рассказала нам о том, что на запрос их крупного потенциального клиента, желающего взять сразу 25 гигабит, «LeaseWeb» так и не смог сделать достойного предложения. Цена все-равно оказалась намного выше, нежели в Украине, и не на много ниже, чем у них на вебсайте, при этом требовалось подписание контракта — дополнительное невыгодное условие.
Переговоры предстояло вести нам, представляя интересы сразу 2-х провайдеров, так как директор «Дата-Хаты» был в Таиланде, а его сотрудники не владели языком в полной мере или знали язык на уровне «английский понимает, а сказать ничего не может». Не обладая достаточными знаниями в юридических аспектах, мы подготовились заранее и составили примерный план нашей беседы.
Встреча
Мы договорись встретится в неформальной обстановке на завтраке в отеле, где остановился Эмрах. Буквально через 4 часа у Эмраха уже был забронирован перелет и он чуть не опоздал на него, вопросов оказалось гораздо больше, чем он ожидал услышать.
1). Конечно нужно было получить ответы, на какие цены и при каких объемах можно рассчитывать? Как на трафик, так и на аренду оборудования.
2). Рассмотреть возможность лизинга оборудования и его условия. Интересен ли им вообще колокейшн или они делают ставку на аренду?
3). Узнать каким образом они получают дешевый трафик, как долго это может продолжаться? Возможно есть варианты покупать трафик на стороне, а у них только арендовать транспорт до точки, где его покупать и где тогда арендовать/колокейтить серверы.
4). И пожалуй самое интересное — правовое регулирование деятельности хостеров в Нидерландах. Ведь в Украине среди основных рисков можно выделить отсутствие четких законов и соответственно произвол милиции. Например весь ДЦ можно вынести без суда — в качестве вещественного доказательства :). А какие риски по изъятию есть там?
— Нужно ли получать какую-то лицензию на услуги связи?
— Нужно ли сертифицировать узел связи, как в России?
— Какие вообще разрешительные документы нужны хостинг-компании?
— Какие данные клиента нужно хранить и сколько лет? Нужно ли проверять данные клиента? Получать копии паспорта и т.д.
— Какая процедура получения гос. органами данных о клиенте? О сайте? Данных сайта? Какие есть примеры?
— Кто такое может запрашивать? Местное МВД? СБУ? Кто еще?
— Как закрывают сайт/изымают сервер? Кто и как имеет право такое требовать?
— Как решается вопрос с авторским правом? Кто отвечает — провайдер или пользователь? Можно сразу подавать в суд или обязаны уведомить перед судом?
— Должен ли провайдер сам сообщать о пользователях, которые нарушают авторское право или другие законы (тот же спам или атаки)?
— Какой контент вне закона? Порно? Авторское право? Спам?
— Какие возможные санкции? Какой порядок их применения?
— Какие есть объединения хостеров (типа нашего ИНАУ), что они дают?
Также на встрече мы обсудили конфигурацию оборудования, которая могла бы заинтересовать наших клиентов в первую очередь и договорились, что позднее Эмрах пришлет коммерческое предложение. Крайне хорошие цены в Европе на гигабитные подключения пока получить не представлялось возможным, дата-центр четко придерживался политики гарантии полосы и напрочь отказывался делать скидку с учетом того, что не все потребляют свой канал, продавал гигабит не дешевле 600 евро. Что ж, по той цене у них был тогда спрос, не было им смысла продавать нам дешевле. Хотя, в долгосрочной перспективе, отдав дешевле сейчас, можно было получить хорошую клиентскую базу в будущем.
Подписание контракта и начало работы, миграция клиентов из Украины в Нидерланды
Получив через некоторое время коммерческое предложение, мы решили подписать контракт и начать работу с «LeaseWeb». Для начала решили начать сотрудничество с аренды серверов серии 100 Mbps Unmetered. Так как именно на таких клиентов у нас не всегда хватало ресурсов. К примеру, если человек желал арендовать сразу десяток серверов — нам необходимо было вложить свыше 10 000 долларов в покупку оборудования и затем продолжать ежемесячно оплачивать его размещение, трафик, питание. И только через более, чем год, можно было начать получать какой-нибудь доход. Но не это было проблемой, а то, что инвестиций в таких масштабах у нас не было.
Другое дело — возможность аренды сервера в дата-центре, когда можно арендовать сервер с обязательством не отказываться от него на протяжении долгого периода времени и получать при этом хорошую цену на аренду, а также возможность оплачивать этот сервер ежемесячно. Таким образом, по сути, появляется возможность принимать крупных клиентов в неограниченных объемах, при условии, что эти клиенты используют серверы, которые в случае отказа можно легко перепродать.
Дата-центр нам сделал довольно хорошие условия и всячески стимулировал нас к подписанию соглашения на долгий срок. Уже в апреле 2012-го года мы подписали контракт на первую поставку из 20 серверов, сроком на 3 года. Да, большой срок для IT, но для тех же Е3-1230 срок более, чем приемлемый. Ведь учитывая темпы снижения стоимости, маржа в первое время должна перекрыть потери в последнее, если такое снижение стоимости произойдет.
Мы довольно быстро реализовали первую партию — в течении мая месяца, и осознали, что такое количество явно недостаточно, нам нужно больше серверов, гораздо больше. Решено было расширить соглашение до 160 серверов с планом роста в течении года.
Так как дата-центр был поистине качественный — на порядок лучше всего того, что только может быть в Украине, а самое главное — тут работало законодательство, мы всячески стимулировали переезд абонентов из Украины к нам в Нидерланды, если они не имели нужды в большом трафике. Стоимость была ниже, а преимущества очевидны, к тому же мы увеличивали нашу карму на новой площадке, обеспечивая дополнительные продажи. Летом мы просто перевыполняли план, несмотря на сезон отпусков. К нам приходили все новые и новые клиенты и в среднем мы реализовывали от 40 выделенных серверов в месяц — хорошие показатели для провайдера с двумя менеджерами и несколькими админами из аутсорсиноговой компании-партнера. Такой темп продаж был разве что у крупного дата-центра в Киеве.
Мы знали чем привлечь наших клиентов, так как в основе всего был индивидуальный подход и отношение, порой мы просто бесплатно проводили донастройку серверов, согласно требованиям или просто консультировали по настройке необходимых технических решений, давали рекомендации. Более того мы наладили сотрудничество с free-lance администраторами, которые рекомендовали своим клиентам нас и получали за это дополнительный доход. Получали новый опыт и применяли его на практике.
В конце июля 2012-го мы посетили дата-центр в Нидерландах, получив приглашение. Менеджмент был очень рад столь стремительным темпам роста и успешным сотрудничеством. Мы имели возможность осмотреть дата-центр, ознакомиться с технической базой и обсудить дальнейшие перспективы сотрудничества. Спустя год, оценив преимущества площадки на практике, мы сумели сделать весьма качественный обзор: «Преимущества размещения в Нидерландах, дата-центр EvoSwitch».
Но не все было безоблачно. Уже к декабрю, когда мы продали почти все наши контрактные серверы, дата-центр решил совершить распродажу, понизив цену для прямых абонентов до уровня ниже, чем было прописано для нас. Это был просто полный крах. Ведь мы должны были предоставлять абонентам серверы по ценам ниже, чем они обходятся для нас, а еще при этом обеспечивать достойный уровень поддержки. Да, SLA в час напрямую стоило дороже сервера, мы же предоставляли его бесплатно, в виде бонуса. Но только этим удержать клиентов было нельзя. Тем более акция из временной переросла в постоянную, при этом партнеры не имели возможности пересмотреть цену на уже арендованные серверы. Какой-то период нам пришлось жить в страхе того, что наши клиенты заметят падение цен в дата-центре и начнут переходить на прямое обслуживание, пусть и с худшим SLA (не всем был важен уровень обслуживания и поддержки) или же к другим партнерам, которые только начали свою работу и не имеют подобных проблем.
Да, мы «попали». Фактически дата-центр выбрал не очень красивую бизнес-модель, когда новые клиенты получали цены ниже, а старые платили больше в долгосрочной перспективе. Все законно, ведь сами подписались. Более того в соглашении, как оказалось, на какой-то из страниц 50-страничного договора был пункт об индексации цен, когда стоимость услуг растет ежегодно на 1%. Совсем странная бизнес-модель, абонент арендует дольше, но и платит больше. Логики я так и не понял.
Не исполнять контракт мы также не могли, не потому, что контракт, а потому, что перевести оперативно инфраструктуру на более, чем 150 серверов — невыполнимая для нас задача и в дата-центре знали это. Нам пришлось компенсировать потери уже за счет новых заказов и долгое время работать в минус. Дата-центр конечно также частично пошел на уступки, иначе мы бы просто закрылись. Однако после этого случая все новые заказываемые нами серверы, в большинстве случаев, мы подписывали с ежемесячным соглашением, максимум годичным. Впредь к долгосрочным соглашениям мы подходим с огромной осторожностью, так как демпинговые сейлзы невозможно учитывать, а порой они просто необходимы и Ваш партнер не всегда будет думать о Вас. Ведь когда оборудование простаивает, его выгодно продать как можно оперативнее, порой дешевле себестоимости, так как это лучше, чем потерять все.
Мы смирились со своей судьбой и снизили цены до уровня ЦОД для новых заказов, ведь обманывать наших клиентов не могли, это наша проблема, что серверы стали стоить для нас дороже и мы так подписались, клиенты не должны были из-за этого страдать. Продажи возросли, однако все чаще старые клиенты просили об изменении цены и мы шли на встречу.
К лету 2013-го года, всего за год, количество серверов в аренде выросло до 500. Нам даже удалось «выбить» для наших стримминг-клиентов хорошие цены на гигабитные подключения и полностью мигрировать наших клиентов из Украины. В июле 2013-го, всего за месяц, мы выросли еще на сотню выделенных серверов, не только за счет индивидуального подхода, но и за счет различных акций и правильной маркетинговой мотивации.
Расширение границ: дата-центр в США
Долгое время я скептически относился к идее размещения серверов где-либо еще, кроме Нидерландов. Так как зачем? В Нидерландах отличная связность, пожалуй, лучшая в мире, лояльное законодательство, ну и наиболее приятные цены на аренду выделенных серверов в одном из наиболее надежных дата-центров, что пожалуй — самое важное. Тем не менее некоторые клиенты упорно требовали второй локации, желательно в другой стране, также встречались обладатели редкостной паранойи, а у некоторых аудитория была направлена на американский континент и прямой связности на США им было мало, встречались уникумы, которые просто думали, что в США лучше, почему лучше — они сами не знали…
В июле 2013-го, окончательно «умирая» от скуки и летней прохлады, мы все же подумали, а не расширить ли нам присутствие в сети Интернет, добавив новую надежную локацию, тем более Jay Devinе, один из главных менеджеров в США, вот уже более полугода агитировал посетить «COPT DC-6-EvoSwitch/LeaseWeb (Manassas)», не прекращая тщетные попытки в стиле «ну закажите хоть что-то, нам тоже нужны клиенты».
В результате мы отправились в Вашингтон, начав успешную работу еще с одним дата-центром. Подробный отчет о дата-центре и этой поездке Вы можете найти в нашей статье:
Серверы в США, дата-центр «COPT DC-6-EvoSwitch/LeaseWeb (Manassas)».
Первые 10-гигабитные решения для клиентов с онлайн видео проектами, роковая ошибка ЦОДа-партнера
В том же июле 2013-го мы предложили уникальное для тогдашнего рынка решение — серверы для видеостримминга с гарантированным подключением в Интернет на скорости 10 Гбит / с, убедив дата-центр в крайней необходимости такого предложения.
Предложение оказалось настолько удачным, что уже через месяц с нами сотрудничало свыше десятка крупных проектов видеостримминга, генерирующие, как правило, трафик «в полку»:
В своей статье на Хабре мы огласили результаты и дали несколько рекомендаций по подбору технического решения, ознакомиться с ними Вы можете здесь: http://habrahabr.ru/company/ua-hosting/blog/191558/
За годы работы мы накопили немалый опыт, умели не только подобрать нужную конфигурацию для того или иного случая, но и провести правильную настройку для оптимальной отдачи. Могли предложить комплексное решение для видеостримминг проектов, как на основе одного из популярных скриптов, так и написанное с нуля — кластерное решение с балансиром нагрузки, которое осталось с 2011-го года и было собственной разработки.
Более того, мы оказались первыми, кто предложил настройку и лицензию Kernel Video Sharing клиентам бесплатно, так как сразу осознали, что это решение лучше самописных скриптов и можно заключить партнерское соглашение с разработчиком. Единственный минус — довольно сложная интеграция. Но наши администраторы с нашей подачи, ведь задача стояла и ее нужно было решать, успешно освоили все тонкости внедрения и установки этого решения.
Дата-центр же подобного опыта не имел, именно потому они предлагали прямым абонентам не совсем то, что нужно. Или же просто надеялись, что за счет этого абоненты будут генерировать меньше трафика. Сейчас трудно понять какой был их план. Но глядя на то, что мы обеспечиваем продажи в разы большие, чем они сами, они не придумали ничего хуже, как обвалить цену и устроить очередную распродажу.
Мои попытки доказать, что так нельзя, что это плохо, что каналы стоят дороже — были тщетны. Видимо был слишком большой резерв (возможно 500 гигабит, которые хотелось продать хоть за сколько) и на маржинальность просто тогда мало смотрели. Благо, контрактов у нас долгосрочных подписано не было, и мы также снизили цены для наших абонентов. Продажи еще возросли.
Но уже через пол года, когда абоненты в ЦОДе съели весь резерв и докупать канал пришлось вполне за реальные и большие деньги — ЦОД обратил внимание на маржу, она оказалась отрицательной. Большую часть прямых клиентов «попросили» платить дороже, повысив стоимость до уровня намного больше изначальной, так как посчитали, что даже изначальная цена была занижена или же отказали в обслуживании.
Для нас как для крупного их партнера временно сделали исключение, ведь с нас была хорошая маржа за счет других серверов и все-таки мы были невиновны в их решении, более того предупреждали ведь… Но от того было не легче. Ситуация была довольно неприятной, мы понимали, что не хорошо быть убыточными для партнера и всерьез стали думать о решении, тем более, что новым клиентам нужны были 10-гигабитные серверы, но не по цене в 3 раза дороже…
Решено было связаться с одним из аплинкеров и уточнить, могут ли они поставить канал нам напрямую. Те ответили согласием, они уже присутствовали в этом дата-центре и доставляли через свои сети свыше 40% трафика. О чем мы сообщили в ЦОД, так как ЦОД закупал у них канал в намного больших объемах и мог получать больший уровень скидок.
Уже через месяц для нас был построен приватный шкаф и заведены первые 80 гигабит. Проект оказался удачным. Часть абонентов была перемещена на более дешевое подключение и в результате нам удалось снизить затраты дата-центра, начать предлагать новые серверы по адекватной цене.
Дополнительные менеджеры и мотивация
Работа менеджера, пожалуй, является одной из самых сложных. В нашем деле хороший менеджер — не только человек, который быстро и оперативно обрабатывает заказы, дает рекомендации по выбору того или иного технического решения, но и психолог, который сможет оказать поддержку клиенту в затруднительном положении, будет искренне ему сопереживать.
Мне очень сложно было поручить заботу о клиентах кому-либо еще, прежде всего психологически. Потому вплоть до осени 2013-го года общение с клиентами я не мог поручить никому более. Тем не менее я стал осознавать, что с ростом количества серверов — нам просто необходимо больше менеджеров, которые будут, пусть и не так хорошо, как мы, но уделять внимание клиентам, обрабатывать заказы. Ведь даже при максимальной автоматизации нужны люди. Технический отдел решает технические проблемы, но порой даже их нужно контролировать. Нас двоих, к сожалению, в будущем не хватит.
С осени 2013-го года появились дополнительные люди в команде. Не скажу, что уровень заботы стал сразу лучше или хуже. На пути мы столкнулись с новыми проблемами, которые все еще предстояло решить. Прежде всего мотивационные. Да, люди получали достойное вознаграждение за их труд, но к сожалению это мотивирует не всегда и не всех. Иногда что-то людям достается крайне легко, люди не ценят то, что имеют.
Порой люди просто не выполняют поставленных задач. У людей возникают проблемы с так называемым «follow direction». Взрослому человеку очень трудно идти по тому пути, который ему дают. Мы говорим: «вот это путь, мы по нему идем». Мы можем дать путь, открыть дверь, но не можем заставить человека войти.
Обломы бывают по разным причинам, но в основном они случаются, когда у человека нет 100% commitment: как-то оно хочется, вот если бы было — ему было бы приятно, а вот если нет — и так можно жить. Что-то делать? Тут уже начинаются сложности… Неудача происходит не от того, что нет владения какими-то тонкими моментами, а от того, что нарушаются принципы фундаментального успешного поведения. Рабство халтуры, нарушения технологии в нас сидит.
Нам нужны люди, выполняющие простые, элементарные вещи, на регулярной основе и тогда будет чудо. Потому, что чудо только там и бывает, где ты хоть и по чуть-чуть, но каждый день и в правильном направлении. И дальше приходит чудо. Именно из-за этого мы уделяем особое внимание развитию, стимулируем сотрудников изучать что-то новое, как в рабочее время, так и просто по жизни. Ведь логистику, которую мы даем по итогу, можно успешно применять повсеместно. А хорошей мотивацией, на мой взгляд, всегда должна служить следующая фраза:
Как мотивировать себя что-то делать? Да никак — оставайтесь в жопе.
— Артемий Лебедев
Дата-центр «Switch AMS1» — мы сделали то, чего так не хватало нашим клиентам!
Предоставляя услуги премиального качества тысячам абонентов, как правило невозможно добиться кастомизации в полной мере. Кто-то хочет постоянный IP-KVM, кто-то канал большей пропускной способности, но с ограниченным трафиком, кто-то соединить серверы между собой в локальную сеть или же просто иметь возможность расширить канал в нужный момент. Случается, что человек даже сам не понимает чего хочет и уже в ходе обсуждения заказа приходит к пониманию, что ничего из стандартного железа не подходит в принципе. А еще часто бывает, по причине плохого планирования или чрезмерной экономии бюджета, что сервер нужен «на вчера», причем не просто сервер, а custom built решение.
С такой компанией, как «LeaseWeb», мы, к сожалению, не смогли найти общего решения. Там была другая бизнес-модель и другие объемы. Решения, заточены на стандартизацию. Отклонение от стандартов стоило очень дорого. Эту проблему мы неоднократно обсуждали с нашим менеджером в «LeaseWeb», который вскоре уволился и открыл собственную транспортную компанию.
Заработав средства и помня о проблеме, Murat Bayhan уведомил нас о намерении организовать собственную площадку и пригласил сотрудничать, так как прежде всего ему нужны были заказы и он знал, что мы можем это обеспечить. Успешно работая совместно в прошлом, мы дали согласие поработать совместно, так как могли всецело доверять этому человеку. Но сразу сообщили, что переводить клиентов из других площадок не будем, а будем размещать лишь новые заказы, которые действительно нуждаются в кастомизации, так как не хотим портить отношения с «LeaseWeb» и подводить их, как партнера, возвращая серверы. Мурат ответил, что рад, что его прошлый труд до сих пор приносит «LeaseWeb» дивиденды, ведь он взрастил нас — надежного партнера, и рад, что мы теперь не меняем объемы сотрудничества из-за лучших условий у него.
Но была еще причина. Помимо того, что у Мурата не было огромных оборотных средств в начале — он все-таки не «LeaseWeb», мы знали, что так как площадка новая — будут проблемы и будет лучше, если их прочувствует меньшее количество абонентов. Будет лучше, если у Мурата останутся ресурсы на решение. В итоге так и произошло — через несколько месяцев на Мурата прилетел DDOS в 100+ гигабит, к которому оказался никто не готов. Была ли это атака на клиента или просто месть обозленных конкурентов — не важно, но пострадало достаточно большое количество абонентов. Мурату пришлось быстро менять топологию сети и ставить дополнительное оборудование, чтоб иметь возможность не ложиться полностью во время таких атак.
Тем не менее решение в целом оказалось удачным и наши клиенты очень довольны этой второй площадкой в Нидерландах. Более подобно узнать о преимуществах и возможных технических решениях, можно со статьи: http://habrahabr.ru/company/ua-hosting/blog/239253/
1000+ серверов: генерация трафика нашими абонентами превысила 256 Гбит / с!
В октябре 2014-го, общее количество серверов наших абонентов уверенно подбиралось к отметке 1000, только на нидерландской площадке «EvoSwitch», а генерируемый нашими абонентами трафик достиг четверти терабита.
Четверть терабита, мало это или много? Примерно столько внешнего Интернет-трафика потребляла в то время Беларусь.
Собственно я, как любитель статистики, не обошел стороной это знаменательное событие и опубликовал новость в нашем блоге: Генерация трафика нашими абонентами превысила отметку в 256 Гбит / с!
Разумеется, что большая часть трафика — трафик генерируемый нашими 10-гигабитными решениями, общее количество которых превышало на тот момент 50. Появились хорошие статистические данные, говорящие о том, что в случае работы с индивидуальными абонентами, проекты которых не потребляют трафик в полку, есть возможность сэкономить порядка 50% канала в подобных широкополосных решениях, что на будущее могло служить хорошей подоплекой построения собственного включения, с еще более привлекательными ценами для подобных клиентов.
Конечно всегда существует риск, что на дешевое прийдет крупный трафикогенератор, к примеру файлопомойка, которая у нас однажды заказала сразу 10+ десятигигабитных серверов, но с такими абонентами возможно работать по иной бизнес-схеме, стоить пиринговые включения к провайдерам-потребителям этого трафика. Ведь за трафик может платить не только генератор, но и провайдер, который получает этот трафик. При таком индивидуальном подходе можно значительно снизить стоимость доставки трафика по определенным направлениям. Экономия может быть огромной. Быть может нам удастся реализовать этот проект в будущем.
«ua-hosting.company» сегодня
«ua-hosting.company» уже давно не украинская компания и команда становится все более интернациональной. Сегодня в проекте задействовано свыше 20 специалистов из Украины, России, Беларуси, Нидерландов, США, Канады и Турции. Для Вас трудятся администраторы, менеджеры, журналисты и редакторы, программисты и дизайнеры. Мы постоянно развиваемся и улучшаем навыки. К работе над проектом подключаются все новые и новые специалисты.
Мы не можем сейчас Вам презентовать всех, но покажем хоть некоторых, «ua-hosting в лицах»:
Мы работаем для Вас и очень любим свою работу!
Наша работа позволяет нам не быть привязанными географически и работать отовсюду, где есть Интернет. Какое-то время назад мы работали из, пожалуй, самой удаленной страны на планете — Французской Полинезии, именно тогда у меня зародилась мысль написать статью «Сообщения в глубине: удивительная история подводного Интернета», ведь даже на одном из самых удаленных островов-атоллов в мире — Fakarava, за 5000+ миль от «Большой земли», где население составляет лишь несколько сотен человек и увеличивается в 10 раз в дни швартовки круизного судна, был Wi-Fi. А мы далеко не всегда ценим это…
За последний год мы организовывали также совместные выездные рабочие сессии в Египет, Индонезию, Сингапур, Нидерланды, где имели возможность не только поработать совместно, но и неплохо провести время. К примеру, на протяжении 2-х месяцев нашим офисом был дом на берегу Красного моря в Дахабе, где удалось собрать большую часть менеджеров с целью улучшения навыков командной работы.
И несмотря на кризис в мире — мы растем, в первую очередь в интеллектуальном плане. Ведь кризис — новые возможности, стимул менять подходы и становится лучше. Да, нам сложно было работать в последний год, так как в основном наши клиенты были из России и из Украины и нам пришлось пересмотреть решения для них, ввиду сложившейся экономической ситуации (в некоторые месяцы клиенты возвращали нам до сотни серверов). Но сейчас мы все уверенней продолжим рост, в том числе и на зарубежном направлении, потому как наш принцип — индивидуальный подход и счастье клиентов. Мы любим наших клиентов за то, что они любят нас и всегда рады сделать их счастливее.
В ближайшее время в планах не только расширение точек присутствия, введение новых сервисов, но и возврат к истокам — начало работы над собственными веб-проектами. Ведь так мало по истине хороших информационных специализированных веб-сайтов, цель которых прежде всего не в заработке средств, а в предоставлении качественного контента. Мы, как хостинг-провайдер, обладаем полноценной технической базой для этого.
В завершение отдельно хочу сказать о надежности решений, как главного принципа успеха. Никогда не экономьте на том, что можете позволить. Я не согласен с мнением бизнесменов, которые пишут: «если можно что-то не покупать — не покупайте». Их цель в заработке средств, не более. По-моему же мнению проект должен быть полезен прежде всего для людей, а деньги — лишь мера полезности, и экономить на комфорте кого-либо — будь то клиент или сотрудник — не стоит. Да, мы могли для работы использовать Windows или же предоставлять в аренду low-cost серверы, их бы лучше покупали. Но мы, как только смогли, выбрали лучшее для наших сотрудников, к примеру компьютеры Apple — ведь это не только удобство в работе, но и безопасность данных наших клиентов. И кажется, что даже кошка смогла оценить преимущества Mac:
Что же касается low-cost серверов — это не наш рынок, мы это понимаем и об этом не сожалеем. К примеру, мы никогда не будет предоставлять, как OVH, marketing bullshit:
j1900 / 16 GB DDR3 / 1 TB HDD WD RE4 / 100 mbit / 1 IPv4 = $25/m
Ведь RAM на таком железе мало эффективна. И мы пытаемся всегда объяснять это пользователям в Интернете, рождая новые, интересные дискуссии:
Вот для чего мы работаем, не для того, чтоб «продать что-то подешевле и не важно что, лишь бы продать», а для того, чтоб всегда находить волшебные решения, уметь аргументировать их. Именно за это — за то, что я имею постоянную возможность развиваться и узнавать что-то новое, участвовать в столь интересных дискуссиях, делиться опытом с клиентами, а порой перенимать и их опыт, я и люблю свою работу.
Комментарии (33)
HostingManager
12.11.2015 14:25+11Приветствую! Сегодня мы сделали то, что намеревались сделать 3 года, рассказать о том, как можно стать хостинг-провайдером с 0, ведь не раз поднимались подобные обсуждения в Интернете. К написанию этой публикации меня сподвиг форум о поисковых системах, где еще в 2013-м году было начато обсуждение searchengines.guru/showthread.php?t=799137.
Это история успехов и разочарований, история сотрудничества с хостинг-провайдерами и нашими клиентами. Очень непросто было рассказывать о своих недостатках публично, но мы постарались это сделать в полной мере, ничего не утаивая и не скрывая. Долгое время я думал о том, стоит ли делать эту публикацию, ведь она весьма неоднозначна. Но сейчас, за дополнительные 2 года (публикация все время откладывалась), был обретен тот опыт, не поделиться которым просто невозможно.
Надеюсь этот материал будет Вам полезен и многие изменят свое отношение ко многим вещам, не только к хостингу, а к в жизни в целом, в лучшую сторону. Заранее приношу извинения за большой объем, сократить не получилось, не хотелось упустить что-то важное. И если после прочтения этого материала, Вы обретете положительную мотивацию — мы будем очень рады.
gorbln
12.11.2015 14:36+1Осилил!
Спасибо за статью. Интересно почитать, «а как оно вообще начиналось?».
Vasiliskov
12.11.2015 15:59+1Да, вспомнились студенческие годы и наши первые робкие шаги в сфере веба. Своей практикой, своей жизнью вы доказали, что правильная расстановка жизненных акцентов и приоритетов — основа успеха. По-доброму завидую тому, что ты смог их расставить сразу после учёбы, а не как я. :) Успехов и процветания.
З.Ы. А Шульман всё-таки был очень интересным человеком, даже если пылинки и не были интересными. :)HostingManager
12.11.2015 20:11+1Спасибо, какой-то когнитивный диссонанс у меня произошел от этого «своей жизнью вы доказали», но потом исправился на «ты» :) Благодарю за пожелания. На счет расстановки приоритетов — лучше поздно, чем никогда, а правда в том, что никогда не поздно. Работай и все будет, искренне желаю успехов тебе в этом :).
Vasiliskov
12.11.2015 21:06Вы — в смысле вы вдвоём. :) На определённом этапе второй человек подключился же. :)
X-Oleg
12.11.2015 16:25+1Всем привет!
Интересная статья, всегда приятно когда хобби становится чем-то больше, даже частью жизни…
Но не со всем в статье согласнен, поясню с чем несогласен, за одно задам пару вопросов/пожеланий:
1)Ваше предложение «RAM и ЦПУ на сервере, это marketing bullshit», верно лишь с оговорками, вот вы привели пример сервера:
j1900 / 16 GB DDR3 / 1 TB HDD WD RE4 / 100 mbit / 1 IPv4 = $25/m
То да процессор j1900 может обрабатывать только 8 гигов памяти, т.е. правильней тариф переписать так:8 GB DDR3.
Про само количество памяти и ядер, всё зависит от проекта, я например храню индексы базы в памяти, кеширую сессии и т.д., отъедает не мало памяти между прочим…
Какая-то надёжность для этих данных и не важна в данном случае, т.к. кеш обновляется и мне не важно что там физически за память NON-ECC RAM или ECC, главное что-бы там ничего не сгорело, гы-гы! :)
2)Как понимаю что вы сейчас перепродаёте сервера у LeaseWeb, но при этом оказываете свою ТП, за счёт этого прибыль? Или-же у вас какие-то свои площадки у этого дата-центра?
3)А теперь пожелание как клиента:
— К сожалению нет решения защиты от ддос, несправляетесь даже со слабыми атаками, как на уровне Layer 7, так и на уровне вашей сети, малейший ддос станет проблемой для клиентов, немного странно т.к. такой вроде солидный дата-центр, а защитить своих клиентов не может, тот-же например OVH защищает на всех тарифах и неплохо…
— Почасовая оплата ТП, очень неудобно, уже боишься обращаться в ТП, дабы не получить счёт непонятно за что… :(ColorPrint
12.11.2015 23:09Почасовая оплата ТП, очень неудобно, уже боишься обращаться в ТП, дабы не получить счёт непонятно за что
Побочный эффект низких тарифов
HostingManager
13.11.2015 02:111). j1900 может поддерживать 16ГБ памяти, если используется другой тип памяти. Именно его предложил OVH.
ECC важна прежде всего, чтоб сервер не входил в Kernel Panic. Иначе будет нужно бутать, примерно раз в месяц, а может и чаще.
2). Мы очень крупный клиент дата-центра и потому имеем специальные условия. За счет этого мы можем предлагать выделенные серверы по тем же ценам, что и дата-центр, а порой значительно дешевле (делать специальные предложения для наших пользователей). Техническая поддержка никогда не была прибыльной, она у нас всегда дотационная. К примеру, когда клиенты оплачивали 900 долларов в месяц суммарно за поддержку, то мы платили 2400 администраторам.
3). Решения для защиты от DDOS есть, это внешняя фильтрация, тот же cloudflare можете подключить и использовать. Небольшие же атаки мы можем фильтровать программно на стороне сервера, главное, чтоб Вам хватало канала.
У Вас был случай, когда понадобилась внешняя фильтрация?
Пока что за последний год я не пропинаю случаев атак, где действительно защита была бы актуальной.
По поводу того, что предлагает OVH — ничего сказать не могу, так как не видел этого решения на практике. Позднее, вероятно, мы начнем сотрудничать с еще одной нидерландской площадкой — Serverius, там будет возможность защищать в частности от крупных атак, посредством решения фильтрации в дата-центре, а также не будет столь жестких ограничений на процедуру получения дополнительных ip-адресов.
На счет почасовой оплаты — это удобно на самом деле, тарификация довольно точна, администраторы в тикетах обычно указывают затраченное время на решение того или иного вопроса. Если Вы не уверены в том сколько займет задача, можно всегда уточнить примерное время работ у администраторов.Lux_In_Tenebris
14.11.2015 18:44ECC важна прежде всего, чтоб сервер не входил в Kernel Panic. Иначе будет нужно бутать, примерно раз в месяц, а может и чаще.
Очень спорное утверждение. Арендуем несколько железок у Hetzner, как известно, в бюджетных моделях у них стоят самые обычные десктопные материнки и non-ECC память. За почти 2 года на весьма загруженной машине, в т.ч. с виртуализацией на борту — ни одного крэша или ребута.
«Обычное» железо особенно востребованно у тех, кто хочет сэкономить и хорошо понимает, что ему нужно от сервера, а не просто платит «за марку» и большие цифры. Если всё работает так же — какой смысл переплачивать?esc
14.11.2015 19:57Не спорное. Возможно, вам везло т.к. работает теория вероятности или вы переоцениваете нагруженность машины. Не ECC машины периодически виснут, особенно это заметно при большом парке машин.
heathen
16.11.2015 10:04+1Нисколько не отрицая саму возможность проблем при неиспользовании памяти с коррекцией ошибок, хочу только добавить, что вероятность паники несколько преувеличена. У нас тоже стояли три года несколько машин на Hetzner с памятью без коррекции ошибок, и на них тоже не было ни одного краша за это время.
Другой вопрос, что сбойный бит может оказаться в месте, которое в настоящий момент не используется, либо в стеке данных, и поэтому проходит незамеченным до поры до времени. Особенно критично может быть в случае с FS типа ZFS либо с данными в памяти СУБД.esc
16.11.2015 10:19У меня все сервера под нагрузкой где-то раз в месяц висли стабильно. Сейчас эти же сервера стоят без дела, аптаймы по 1000+ дней, никаких проблем.
BUSHA
12.11.2015 19:33+1Спасибо за шикарный лонгрид! Статья читалась как остросюжетная книга и ее хватило ровно ра весь рабочий день чтения (в перерывах между работой, конечно) :-)
P.S. А uahosting.com.ua — это ваш проект или просто очень похожее название?HostingManager
13.11.2015 12:22+2Нет, это отдельная компания, ФОП из Львова. Мы к ним никакого отношения не имеем. Ранее у нас были схожие адреса, наш адрес был ua-hosting.com.ua, и очень часто клиенты путали их с нами и наоборот.
Сейчас адрес ua-hosting.company исключил эту проблему.
Да, название возможно не очень удачное, но тогда не известно было, что по сути в Украине у нас не останется инфраструктуры и мы уйдем в другие страны. Название, конечно, может сбивать с толку, но оно отображает наше происхождение. Возможно в будущем мы сменим название, также, как когда-то сменили домен. Важность названия вторична. Оно не влияет на качество услуг или спектр предоставляемых услуг.
Phoen
12.11.2015 20:47Интересно!
А вот меня на протяжении всего рассказа терзала пара вопросов:
1. Меньше ли стало генерироваться траффика в последние годы? Спрашиваю в первую очередь в разрезе правового законодательства и борьбы с пиратством.
2. Я так понимаю на 2016ый год разного рода онлайн кинотеатры уже фактически не актуальны из-за активизации копирастических движений, однако и на момент 2013го года в Голландии должны были весьма придирчиво относиться к расположенному на серверах контенту. Как обходили?
p.s. Первый раз ошибочно запостил в соседней теме :)HostingManager
13.11.2015 02:15+2Трафика действительно стало генерироваться меньше, если год назад была четверть терабита, то в июне этого года — еле дотягивали до 150 гигабит, сейчас еще меньше. Причем падение в генерации было связано исключительно с бедственным положением у многих стримминг-проектов, доходы от рекламы из-за роста курса доллара по отношению к рублю, перестали окупать серверы.
Всякие организации, борющиеся за права, также не дают спокойно жить, блокируя сайты на территории России или просто заставляя перемещать ресурс из Нидерландов, выставляя такое требование (чтоб не нарушался закон об авторском праве).Phoen
13.11.2015 13:15Спасибо за ответ :)
И всё таки возвращаясь к началу топика, спустя несколько лет после описанных событий, что бы вы ответили сегодня автору того поста?
В моём представлении на 2015ый год рынок уже поделен и без сверхбюджетов (читай собственного/партнерского ДЦ), выходить на него и расчитывать на конкурентоспособность — наивно. Или я не прав?
Вопрос задаю исключительно из любопытства, у самого висит в голове уже полгода один веб проект на который то не хватает времени, то желания, то навыков и вот думаю тратить на это кучу времени и сил или забить и подождать пока аналогичная мысль придет ещё кому-нибудь :)rekby
13.11.2015 22:59Выходить всегда можно — клиентов много, на всех хватит.
Кроме хорошего проекта в команду нужен еще человек-бизнесмен — который знает что именно клиенту нужно (т.е. может ему и нужен проект, но клиент этого не знает и ему надо сказать про это в терминах его потребностей) и как это продать.
ColorPrint
12.11.2015 23:07Что же касается low-cost серверов — это не наш рынок
а справа реклама от 29$ висит ;)HostingManager
13.11.2015 02:16+3Если Вы посмотрите подробнее, то там предложен аналог выделенного сервера за эти деньги — виртуальный сервер, но не полноценный выделенный сервер.
ColorPrint
13.11.2015 19:45+1Дедики тоже дешевые )
HostingManager
13.11.2015 20:35Ну, любители Hetzner / OVH с Вами поспорят :) А так да, все очень дешево, но при этом качество выше на порядок. Не все увы это понимают.
esc
13.11.2015 00:03+1Год назад постил вот такую вот картинку:
Только не с 1000+ серверов а с чуть менее, чем 30. И 200+ с всего трех (остальное — сторедж).
Есть к чему стремиться;)HostingManager
13.11.2015 02:23Ваш проект я знаю, сотрудничали. Очень рад, что fs.to в Украине успешен и что трафик удачно генерируется с 3-х основных серверов. Благо UA-IX дешевый и в Украине можно купить 100 гигабит по цене 10-гигабитного зарубежного канала в Нидерландах. Но если будет желание — обращайтесь, можем предоставить канал в Нидерландах. В том числе 80 гигабит в один сервер, как Вы хотели (однако в этом случае нужен сервер от Вас, размещенный у нас на colo, так как закупать специфическое железо мы не можем). Либо много небольших серверов с 10-гигабит можете брать.
esc
13.11.2015 09:08Я проектом уже давно не занимаюсь. Но время, когда «трафика генерили больше, чем вся Беларусь» еще застал, тогда еще было 220 или около того.
Уверяю вас, если вы решите в Украине просто сгенерить 200-300Г, то никакой ua-ix вас не прокачает. Я специально для сравнения предоставил график ua-ix за тот же день. Купить такие объемы не выйдет, строить надо. Плюсы в «строить» тоже есть. Оборудование уже куплено и когда курс начинает колбасить, это уже мало на что влияет.HostingManager
13.11.2015 11:36Да, это преимущество UA-IX, что тут уже нет большой зависимости от курса. Просто поразительно, что столько трафика было отдано только в Украину. По сути можно было бы вообще не платить за трафик, перебросив абонплату на провайдеров, абоненты которых потребляют этот трафик. А как сейчас, если не секрет, генерация также снижается?
Печаль в том, что борцы за право сейчас активизировались в мире и ресурсы с подобным контентом просто давят.esc
13.11.2015 15:41ua-ix тут вообще не причем. Даже в мою бытность там, трафик у ua-ix составлял не более 15%, сейчас там наверное пара дестков гигабит если осталось, то хорошо.
Понятно дело, что за трафик никто не платит, кому платить? Под этот проект свою инфраструктуру делали.
По подобным ресурсам, это cdn по сути. Ей пользуется не один проект. И сам фс это несколько больше, чем проект " с подобным контентом", сегодня как раз на эту тему новость должна быть.
miolini
13.11.2015 14:38Отличный лонгрид! У меня вопрос: какова суммарная емкость жестких дисков и ssd на серверах клиентов. Если можно, то посчитайте раздельно. Спасибо!
Delphinum
Если бы не ждала работа, перечитал бы дважды. Благодарю за мотивацию.
TimsTims
Поддерживаю! Очень круто! А я до сих пор думал, что ua-hosting это хостинг, расположенный в Украине :)