Я хорошо помню то время, когда в 2001 году, спустя десятилетие после начала эры www, первый раз вышел в Интернет-сеть. Это было то волшебное чувство, когда перед тобою открывается неограниченный мир информации, который, в сравнении с теперешним, был весьма ограничен. И речь даже не о том, что не было ни социальных сетей, ни Инстаграмов, ни Youtube, большинство из этих соц. сетей лишь убивают время в наши дни, хотя некоторые и позволяют получить долю полезной информации, чем народ в них сидящий, занят далеко не всегда. Что говорить, фотографий в нормальном разрешении почти не было, про стримминг видео говорить и не приходилось, вэб был довольно простым и сайты старались писать на голом html, делая их как можно проще и легче для ускорения загрузки при использовании низкоскоростных соединений и уменьшения потребления ресурсов на стороне сервера. Но какое же хорошее это было время :)



В это же время в США уже вполне себе были распространены выделенные линии среди домашних абонентов со скоростью подключения до 768 Кбит / с и более. Ещё в 1998 году можно было обзавестись корпоративной линией c подобной скоростью в крупных городах США по цене порядка $400 / месяц, а для домашних пользователей были доступны варианты высокоскоростного Интернет-доступа от $99 за 128К канал, годом позднее уже можно было получить 384К за $40, цены постоянно снижались. В Украине, как в прочем и в РФ, был доступен в основном только дорогой и медленный Dial-Up. Выделенные линии были чем-то невероятным и позволить себе канал в 1 Мбит / с или 2 Мбит / с мог разве что Интернет-провайдер, который предоставлял доступ в сеть для абонентов посредством модемного подключения для сотен и даже тысяч абонентов. Провайдер, обладавший подключением в 1 Мбит / с в Украине или РФ, реально мог обеспечивать доступом в Интернет город с населением в 100 000+ человек. Услуга не была ещё столь массовой и % пользователей был небольшой, особенно в регионах.

В США же первый Dial-Up стал доступным для домашних пользователей с 1991 года, когда цена доступа в сеть составляла порядка $4 в час за доступ на скорости 14 Кбит / с и пик количества абонентов этой услуги пришелся на 1996-1998 годы, когда стоимость доступа в Интернет снизилась до $20 / месяц за 35 часов доступа на скорости до 56 Кбит / с или, порой, даже до варианта тарифа без учёта времени. Ситуация в Англии была примерно аналогичной. Стоимость доступа на скорости от 14 до 56 Кбит / с (а в реальности качество телефонной линии давало возможность работать на скоростях не более 52 Кбит / с) в 1996-1998 годах варьировалась от 1 пенса в минуту до предложений бесплатного подключения ближе к 1998 году от Yahoo, который предоставлял доступ в обмен на просмотр его ресурсов, чем раздражал Интернет-провайдеров, предлагающих коммутируемый доступ в Интернет за деньги. В Австралии из-за большой удаленности региона dial-up был намного более дорогим и хорошая скорость появилась позднее, к примеру доступ на скорости около 14 Кбит / с стоил 30 AUD в месяц в 1995 году. В регионах c большим количеством нефти, в таких богатых странах, как Саудовская Аравия, количество абонентов к началу двухтысячных стремительно росло и составило почти миллион человек, что составило более 5% населения и значительно превышает показатели в Украине и РФ для этого времени.

Но вернемся к нашим регионам — Украине и РФ.

Так в РФ в 2001 году насчитывалось всего лишь 3,8 млн пользователей Интернет-сети, которые выходили в сеть по меньшей мере раз в месяц, что составляет лишь 2,6% населения, а в Украине ещё меньше — 250 000 клиентов на около 400 провайдеров. В 1999 году в столице, для сравнения, насчитывалось только 10 000 абонентов, доступ к которым обеспечивало 50 провайдеров.



Двухтысячные стали периодом, когда небольшие Интернет-провайдеры зарабатывали сотни и тысячи долларов в час, с модемного пула с сотнями мигающих лампочек, предоставляя доступ в Интернет по телефонной линии на скоростях часто близких к 14 Кбит / с, а в лучших случаях — 33 Кбит / с. Модемный пул физически представлял собой стандартный каркас, где размещалось определённое количество безкорпусных модемов. Максимальная скорость подключения в 56 Кбит / с зачастую была недостижима из-за качества телефонной линии или отсутствия хороших модемов, как на стороне провайдера, так и пользователей.



Да, скачивание файла размером в 2 МБ было целым событием! Не сложно посчитать, что при скорости 33 Кбит / с это занимало около 2*1024*8/33/60 = 8,27 минут. Потому в то время web содержал изображения с низким разрешением на веб-сайтах, максимум до 400-500 пикселей по большей из сторон и размером 20-80 КБ, на самой же странице располагалась миниатюра размером до 70-100 пикселей, при нажатии на которую можно было просмотреть «полноразмерную» картинку, часто в отдельном окне, никакие технологии типа AJAX и прочего ещё не поддерживались. Нередко приходилось ожидать загрузки веб-страницы несколько минут и изображения «выползали» постепенно, особенно, когда их было много на странице. Иногда модемное соединение «подвисало» и картинка выползала недогрузившейся, в таком случае приходилось кликать на изображение правой кнопкой мыши, чтоб выполнить команду «обновить».

Ну и не будем забывать про такие неудобства, как «занятый» телефон, во время использования модема или обрыв Интернета при входящем звонке, особенно не повезло владельцам «спаренных» телефонов, когда нужно было делить телефонную линию с соседями и порой часами ожидать, пока соседская бабушка завершит день звонков и общения. Проблема была решена лишь позднее, как только появились умные модемы и цифровые телефонные линии. Что в прочем, добавило других проблем. Телефонисты, научившись учитывать минуты, решили резко сделать звонки внутри города платными, тем самым цена на Интернет-подключение возросла в разы.

До сих пор помню свой первый внешний модем, сейчас такое в продаже можно найти за сумму порядка $4 :) и в основном использовать для передачи факсимильных сообщений:



Предложения серьезно появляются в сети в наше время, хотя и крайне редко :)

История развития Интернета в Украине

Так как я родом из Украины, все же, хотелось бы отдельно остановиться на истории развития Интернета в нашем регионе. С целью установления понимания того, насколько вообще подешевела передача данных и какие уникальные возможности мы имеем с Вами в наше время, в сравнении с начальной эпохой. Так как раздел вышел довольно объемным, я решил вынести его на Geektimes в отдельную публикацию — 20 лет эволюции Интернет в Украине, а какой Вы помните сеть 20 или 10 лет назад?. Там же заодно и проводим опрос в комментариях и просим рассказать, как Вы впервые вышли в Интернет-сеть, с использованием какой технологии доступа и какая была скорость подключения.



Распространение Интернет и повышение скорости доступа, а значит и доступности информации, приводит к стремительному развитию IT-сектора в области серверного оборудования и построения дата-центров, но перед тем, как его рассматривать, всё же стоит отдельно остановиться на развитии Web.

Развитие Web

Как мы помним из истории, Интернет берёт свое начало в 1969 году, когда первая попытка передать данные — слово LOGIN, между Калифорнийским университетом Лос-Анджелеса и Стэнфордским научно-исследовательским институтом, окончилась провалом — система «зависла» на третьей букве. Такое неудачное начало было у ARPANET — первой сети по обмену данными между научными учреждениями, которая к 1974 году охватила множество научных центров:



Однако Web, как такового, все ещё не существовало. Не существовало даже единого протокола передачи данных — TCP/IP, который помог решить множество проблем, а основную — проблему с потерей данных на маршутре из-за качества линии. Он появился в начале 80-х и 1 января 1983 года сеть ARPANET перешла на него. Хоть эта дата и считается рождением Интернета, но никакого Web в то время ещё не существовало.

В 1980 году сотрудник Европейской лаборатории ядерных исследований (CERN), Тим Бернерс-Ли, выдвинул идею создания единой гипертекстовой сети, которая позволила бы связать тексты воедино, посредством перекрестных ссылок. Идея выглядела на бумаге примерно так:



За 10 лет работы был создан HTML-протокол, который позволил обмениваться графическими файлами, а также URL-идентификатор, благодаря которому каждой веб-странице можно было присвоить адрес. В 1989 году ARPANET прекращает своё существование, а в ноябре 1991 года, написав собственноручно первый «веб-сервер» и «веб-браузер» в среде NeXTStep Тим Бернерс-Ли публикует в сети первый Интернет-сайт, который являлся сетевым каталогом научной документации CERN:



До сегодняшнего дня дошли лишь скриншоты того времени, сам сайт уже давно неактивен. Но есть сайт, который открылся в том же году и сохранился до нашего времени. ACME Laboratories — Graphics * Unix * Networks * Fun.



В 1993 году мировой Интернет насчитывал уже 623 сайта, начинают открываться сайты развлекательного плана, типа Doctor Fun, где Дэвид Фарли еженедельно рисовал комиксы для Интернет-пользователей на протяжении более, чем 10 лет.



В этом же году берёт своё начало знаменитая база кинофильмов — IMDB (Internet Movie Database), хостинг которой предоставил университет в Кардиффе (Уэльс) и которая впоследствии стала одним из 50 самых посещаемых сайтов мирового Интернета. Поначалу этот проект вёлся на общественных началах и его создатели занимались им в свободное от основной работы время, позднее база переехала на собственные северы в США и Англии, уже в 1996 году потребовалось около 9 выделенных серверов. Проект несколько раз предлагали купить, но добро было предоставлено лишь Amazon в 1998 году, когда в обмен на инвестиции компания получила право продавать кинопродукцию, через сайт IMDB. Пожалуй, это самое удачное соглашение между коммерсантами и энтузиастами, которое привело лишь к дальнейшему развитию ресурса и не причинило какого-либо вреда.



Также в 1993 году благодаря инициативе студентов из Калифорнийского университета открывается первый музыкальный архив — Internet Underground Music Archive, цель которого в том, чтоб начинающие музыканты имели возможность поделиться собственными творениями с более широкой аудиторией, нежели друзья и соседи. Сам сайт уже недоступен, но контент можно найти в Интернет-архиве.



Массачусетским технологическим университетом в мае 1993 была открыта первая в мире Интернет-газета — The Tech.



А чуть позднее появился первый веб-сайт со «сложной навигационной структурой» — Principia Cybernetica.



В марте 1993 года, как только браузеры научились отображать изображения, в компьютерной лаборатории Кембриджского университета была установлена первая в мире веб-камера, которая транслировала в разрешении 128*128 пикселей «жизнь» кофеварки, благодаря чему каждый мог узнать свободна ли кофемашина и не наматывать лишние сотни метров по коридорам. Трансляция была завершена в 2001 году, а сама кофе-машина была продана с аукциона eBay за 3 350 фунтов стерлингов. На втором снимке ниже запечатлён момент отключения веб-камеры от сети Интернет.



Первые поисковые системы — WebCrawler и Yahoo! появляются в 1994 году, тогда же появляются и первые рекламные баннеры. Нынешний портал Wired разместил баннер-рекламу AT&T:



В рунете первый сайт появляется в 1994 году, он был доступен по адресу www.ru, однако до сегодня сохранились лишь его репродукции.



А вот библиотека Мошкова, один из первых сайтов рунета, не поменяла свой вид до сих пор. По заверению автора у него нет художественного вкуса, а благодаря отсутствию дизайна ресурс лёгкий и смотрится на всех устройствах одинаково.



К 1996 году рунет насчитывает уже аж 30-50 сайтов, появляются первые поисковые системы — Rambler, а примерно через год Yandex, который обошёл конкурента за счёт лучшего морфологического анализа, а также «вирусной» рекламы на ТВ, уже в начале 2000-х:



Примечательно, что в начале поисковые системы напрочь не воспринимали кириллицу. А по всему Интернету было индексировано порядка 100 000 документов. Очень интересен проект EvolutionWeb, который отображает то, как развивались web-технологии с течением времени. Это развитие проходило, как благодаря увеличению скорости подключения, так и благодаря увеличению мощности компьютеров, серверов и развитию мобильных устройств для доступа к сети Интернет.

Примечательно, что если в начальную эпоху Интернет использовался пользователями преимущественно для обмена файлами и web как такового не существовало, то с приходом в РФ в 2004 году дешевого ADSL, обмен файлами обрёл взрывную популярность. В РФ был создан первый торрент-трэкер torrents.ru:



Уже к 2008 году суммарная скорость раздач превысила значение в 172 Гбит / с, что составило 1/4 всего трафика Московской точки обмена трафиком MSK-IX. Около 3 тыс запросов от клиентов в секунду — 10 миллионов в час, 240 миллионов в сутки. 40 000 тыс пакетов в сек на сетевом интерфейсе. 15 000 прерываний в секунду. 1200 процессов примерно в top-е. Загрузка на 8 ядерной машине — 10-12 в часы пик. И всё равно часть запросов дропалась. Не успевали обслуживать. К сожалению, найти современное значение peer-to-peer трафика не удалось, кто знает — поделитесь в комментариях для сравнения.

В Украине в августе 2005 года появился региональный трэкер — torrents.net.ua, необходимость создания ресурса была обусловлена отсутствием у большинства пользователей на Украине скоростного и безлимитного доступа к мировому трафику.



До сентября 2008 года трекер был закрыт для пользователей не из зоны UA-IX, поэтому количество пользователей росло невысокими темпами.

Первые хостинг-провайдеры

А что с размещением сайтов? По началу хостинг-провайдеров, как таковых, не существовало. Веб-сайты размещались на серверах университетов и организаций, имеющих постоянное подключение к сети Интернет. Отследить, что происходило в период 1991-1995 сейчас довольно проблематично, В 1995 сервис Angelfire предлагал бесплатно аж 35 КБ места под странички пользователей, а GeoCities — целый 1 МБ. Более подробно о первых шагах хостинга читайте в одноимённой статье «Первые шаги хостинга», которая публиковалась в нашем блоге ранее и является на сегодняшний день, пожалуй, одной из самых полноценных.

Интересно, что хостинг в США, в 2000 году стоил довольно дорого:



$200 / месяц за 200 МБ квоты на сервере и 3000 МБ исходящего трафика (500 МБ для минимального тарифного плана), а трафик свыше лимита оплачивался из расчёта от $55 до $27 за GB). Можно было подключить и «выделенную линию» для своего сайта, тарифы были следующие: 128К — $395 / месяц, 384К — $799 / месяц, 1М — $1200 / месяц. Подключение «канала» и активация хостинга также предусматривали установочную плату в размере около одной абонплаты. В конце 2000 года этот же провайдер предложил неограниченное дисковое пространство с оплатой только за трафик и снизил стоимость трафика до $40 за 20 GB. А уже в 2002 снизил тарифы до $20, сделал трафик «безлимитным» и вновь ввёл ограничения по квоте.

Интересны также цены на аренду первых выделенных серверов в 2000:



Сервер с 8 ГБ HDD выглядит в сегодняшнее время настоящим «ископаемым». Но что говорить, я лично использовал до 2004 ПК с HDD, где полезной квоты было около 7 ГБ. И конечно же плата в $5000+ / месяц за 6 Мбит / с к серверу выглядит сейчас жутко. Позднее цена была снижена до $300 / Мбит, но все же это было не мало.

Само собой, что снижение цен на коннективность и стоимость доступа в Интернет проходило за счёт увеличения количества абонентов и построения новых каналов связи, в том числе подводных оптических магистралей. Когда сталкиваешься со всей сложностью прокладки кабелей по дну океана и узнаёшь примерную стоимость проекта, становится понятным почему 1 Мбит / с через Атлантику мог стоить $300 / месяц и даже дороже. Более подробно с историей развития магистральных подводных Интернет-сетей Вы можете ознакомиться в нашей статье:

Сообщения в глубине: удивительная история подводного Интернета

В Украине и РФ процесс размещения собственных сайтов, начался, пожалуй, с бесплатного хостинга narod.ru от «Яндекса», в 2000 году:



Был ещё подобный проект от mail.ru — boom.ru, но этот бесплатный хостинг не получил такого распространения, как Народ. Впоследствии бесплатный хостинг «Яндекса» был поглощён самым успешным бесплатным конструктором сайтов и хостингом 2008-2010 года — «uCoz» и по домену narod.ru теперь доступна возможность построить веб-сайт с применением инструментов «uCoz». «Яндекс» отказался от «Народа» по причине развития социальных сетей и снижению интереса к услуге построения собственных сайтов.

До 2002 года в Украине размещать собственные серверы было выгодно разве, что у провайдеров домашних сетей, хотя большинство держало свои серверы в офисах и даже дома из-за очень дорогого трафика для услуги collocation, хотя это и нарушало условия предоставления услуг для домашних абонентов. Много кто просто предпочитал использовать для этих целей обычные стационарные компьютеры и не тратить деньги на «серверное» железо. Такие аксакалы встречаются и в наши дни. Но если тогда понять почему хочется сделать себе «хостинг» дома было можно, то сейчас это понять сложно. И речь не о людях, которые любят заниматься тестами чего-либо и для этого нуждаются в сервере дома.

Ситуация за рубежом была получше, ведь там Интернет стал доступным для населения раньше и процесс развития был начат раньше. Нидерланды постепенно становятся «меккой» для размещения серверов, так как предлагают хорошее географическое положение, а значит связность со множеством операторов, низкие цены на электричество, лояльное законодательство, способствующее росту IT-cектора.

Так в 1997 году два пилота коммерческих авиалиний решили основать компанию, которая помогала другим компаниям быть представленными в Интернете, создав Интернет-каталог, а также оказывала услуги по созданию и размещению веб-сайтов и подключению к сети Интернет. В Интернет-архиве сохранилась версия веб-сайта 1998 года, которая впрочем не содержала ничего, кроме контакта:



А за 2003 год можно найти версию с первыми тарифами их услуг:



Интересно, что первые 4 сервера компания приобрела в 2000 году с общей полосой пропускания в 512 Кбит / с. Помимо прочего, в «Википедии» не написано, но основной заработок заключался в предоставлении доступа к сети Интернет и услуги доставки трафика (IP-транзит). Сегодня мы знаем эту компанию, как LeaseWeb, одного из самых популярных операторов дата-центров, с которым мы активно сотрудничаем, потому и решил рассмотреть развитие хостинг-индустрии в Нидерландах, на её примере.

Интересно, что тарифы на подключение к DSL в 2003-2005 годах от LeaseWeb в сотрудничестве с провайдером телефонии KPN были в Нидерландах следующие (от 27,5 евро за 400 Кбит / с без учёта DSL и до 82,5 евро за 4 Мбит / с, исходящий канал был 160-700 Кбит / с соответственно):



При помощи услуги LeaseWeb World Access предлагалось сэкономить на звонках из целого ряда стран, воспользовавшись сервисом IP-телефонии, который предоставляли LeaseWeb. В 2005 году тарифы на услугу доступа к сети Интернет стали ниже, появились новые планы — 256K, 512K, 1M, 2M и 8М с ценой до 50 евро.

LeaseWeb впервые начинает предлагать готовые решения для аудио и видео-стриминга на основе Macromedia Flash Communication Server MX:



С ценой от 99 евро за 64 Кбит / с до 599 евро за Мбит / с. Услуги веб-хостинга стоили от 9 евро / месяц за 5 МБ пространства на веб-сервере и 1 ГБ трафика до 145 евро за 250 МБ квоты и 25 ГБ трафика.



Стоимость аренды выделенных серверов зависела от того, какое гарантированное время ожидания ответа тех. поддержки Вы выбирали:



Минимальный сервер в аренду конфигурации Dell Power Edge 750/C 2.4 GHz / 4GB RAM / 40GB HDD стоил в аренду 67 евро + 12.5 (стоимость 1 юнита в шкафу) + уровень поддержки + трафик (от 50 евро за 500 ГБ и до 200 евро за 2000 ГБ самого дешевого вида трафика, до 20-2 евро за ГБ самого дорогого, в зависимости от объема).



Качество трафика определялось схемой подключения выделенного сервера (степенью отказоустойчивости) и количеством и качеством магистральных операторов, которые доставляли трафик к посетителям веб-сайтов. Трафик стал значительно дешевле только в 2006 году, когда стало возможным получить 10 Мбит / с без учёта, вместе с более производительным сервером за 249 евро в месяц:



Хотя, как мы видим, был другой ход — количество включенной оперативной памяти стало гораздо меньше по умолчанию :)

В это же время в Украине один из крупнейших кабельных провайдеров Интернет и телевидения — «Воля», осознал, что строительство собственного дата-центра является огромной необходимостью. Так как абоненты домашнего Интернет в основном «качают» трафик, при этом исходящий канал остаётся практически свободным и неиспользованным. А это сотни мегабит, которые вполне можно было бы продать, разместив выделенные серверы абонентов. Плюс, возможно неслабо секономить, так как масса абонентов могла бы использовать ресурсы, размещаемые в дата-центре, вместо закачки с дорогих зарубежных серверов.

Так возник дата-центр «Воля», который уже в 2006 году предложил следующие условия:



Фактически предложив украинский трафик без учёта, с оплатой за потреблённый зарубежный трафик. Примечательно, что входящий зарубежный трафик стоил на порядок дороже исходящего, оно и понятно, ведь он использовался абонентами домашнего Интернет. Плюс, как правило для серверов, которые генерируют трафик, запросный трафик небольшой и составляет от 2 до 30% от исходящего, в зависимости от типа ресурсов, которые размещаются на сервере.

Так, если это веб-страницы с большим количеством элементов, то количество запросного трафика выше, так как происходит подтверждение успешной загрузки каждого из элементов, что приводит к увеличению роста входящего к серверу трафика. Также входящий трафик может генерироваться абонентами в случаях, когда они загружают что-либо на сервер. При скачивании файлов % входящего трафика незначителен и составляет менее 5% от исходящего в большинстве случаев.

Интересен также момент, что размещение собственного сервера в дата-центре «Воля» является просто невыгодным, так как стоимость такая же, как и при аренде. По сути дата-центр «Воля» предлагает серверы разного класса в аренду бесплатно, в зависимости от выбранного тарифного плана.

Почему серверы могут быть бесплатными? Ответ очень прост. Оборудование стандартизировано, закупается большими партиями. По сути в таком варианте это всё легче обслуживать, проще администрировать, автоматизировать, меньше человекочасов требуется. При размещении же серверов абонентов на «colo» появляется ряд проблем, начиная от того, что сервер может быть не стандартным и не поместиться в стойке, придётся выделять больше юнитов для размещения, чем планировалось изначально или же отказывать абоненту, ссылаясь на нестандартный корпус, заканчивая тем, что нужно допускать абонента на площадку, предоставлять возможность проводить физические работы с сервером, хранить запасные комплектующие на площадке и допускать инженеров в случае необходимости замены.

Таким образом «colo» получается дороже в обслуживании и предоставлять его по тарифам ниже для дата-центра лишено смысла.

В России в это время дата-центры пошли дальше и начинают предлагать условно неограниченный трафик бесплатно. К примеру, Агава предлагет следующие условия:

Входящий и исходящий трафик — неограничен и полностью бесплатен. Должны выполняться следующие условия:

Входящий трафик не должен превышать 1/4 от исходящего.
Исходящий зарубежный трафик не должен быть больше исходящего российского.
Примечание: трафик делится на российский и зарубежный по географическому признаку.
Невыполнение этих условий оплачивается по следующим тарифам:

Превышение входящего на 1/4 исходящего оплачивается по тарифу 30 руб./ГБ.
Превышение исходящего зарубежного над исходящим российским оплачивается по тарифу 8,7 руб./ГБ

Примечательно, что для простоты учёта в дата-центре не стали заморачиваться со списком сетей, не принадлежащих к MSK-IX, SPB-IX (точкам обмена трафика в Москве и Питере), которые к тому же уже давно были объединены между собой, чтоб обеспечить хорошую коннективность Питера с М9 или М10 (точками обмена трафика в Москве) и наоборот. Так как в регионах Интернет был ещё мало распространён и % трафика был реально небольшой, особенно по выделенным линиям. Что говорить, Норильск получил собственное волокно только в сентябре 2017 года, только в этом году, и стал последним крупным российским городом, который получил собственную ВОЛС! Стоимость проекта составила порядка 40 млн долларов США, общая протяженность ВОЛС из Нового Уренгоя 986 км, пропускная способность 40 Гбит / с с возможностью расширения до 80 Гбит / с в будущем.

Забавно смотреть, как в 2017 году, некоторые люди способны радоваться высокоскоростному Интернету, который был доступен для большинства из нас уже более 10 лет назад:

Ну, во-первых, я уже начала смотреть youtube, до этого я смотрела его раз в год, когда ездила в Москву. Я прямо открывала так… и меня можно было не вытащить, а если там ещё заходила в torrent и что-то качала, то это вообще… И сейчас я могу спокойно смотреть. Допустим выходит видео, я его посмотрела раз в неделю и мне не надо этот весь набор информации смотреть за раз. И я могу по скайпу общаться с людьми! Это вообще прям! Я иду такая и снимаю: «я иду ребята, смотрите это зима!», единственный минус — IPhone на морозе вырубается.

О самом проекте ВОЛС Вы можете посмотреть подробное видео здесь: часть 1, часть 2, часть 3, часть 4. Единственное, учтите, что журналисты допустили неточности, тот же спутниковый канал по их словам был всего 1 Гбит / с на город, хотя на самом деле общий трафик до введения ВОЛС был порядка 2,5 Гбит / с. Ну и нужно понимать, что проблема была не только в скорости, а сколько в высоком пинге, который получался при использовании спутникового Интернет, на который вновь пришло вернуться в момент аварии на ВОЛС.

В конце 2006 в РФ появляются первые сайты с фильмами онлайн, файлообменники и прочие подобные ресурсы, а для того, чтоб уменьшить расходы на зарубежный трафик, так как украинский трафик может быть внушительным и не укладываться в прописанные той же Агавой соотношения, часть серверов крупные проекты стараются разместить в дата-центрах с подключением к UA-IX либо создают дополнительный российский трафик искусственно, применяя torrent'ы, которые раздавались исключительно российским пользователям, а в некоторых случаях файлообменники, которые были доступны исключительно для российских IP-адресов. В результате, если в Украине хотелось качать полноценно и на хорошей скорости, многие из пользователей покупали российский VPN, так как скорость на тот же ifolder.ru была выше всегда из РФ:



Файлообменники, несмотря на популярность torrent, приобретают взрывную популярность, так как скорость скачивания с них оказывается зачастую гораздо выше, нежели при использовании torrent, при этом не нужно проводить раздачи и поддерживать рейтинг (когда ты отдаёшь больше, чем качаешь, или хотя бы не более, чем в 3 раза меньше). Всему виной ассиметричный DSL канал, когда скорость на отдачу была значительно ниже скорости на приём (в 10 раз и более), ну и нужно не забывать, что не каждый пользователь желал «сидировать» и хранить множество файлов у себя на компьютере.

Именно потому тот же rapidshare.com, который берёт начало еще в 2004 году, когда был открыт подобный проект в домене rapidshare.de, оказался настолько популярным, что уже в 2005 году ёмкость хранилища превысила 1000 ТБ, а суммарный объем планируемого генерируемого трафика стал 80 Гбит / с:



Разумеется, что такую коннективность нужно было как-то окупать, схема монетизации была в основном за счёт премиум-аккаунтов, которые позволяли скачивать с файлообменника без каптчи и ожидания от 100 до 300 секунд сразу несколько файлов и с большой скоростью. Стоимость премиум-аккаунта начиналась от 4,5 евро за 2 дня доступа и доходила до 79 евро за год:



Впоследствии премиум-аккаунт позволял загружать файлы размером в несколько сот мегабайт, что было удобным, так как тот же фильм не приходилось делить на 10-30 частей в зависимости от объема, количество архивов было меньше. В то время популярным архиватором становится WinRAR, который позволял добавлять в файлы дополнителью чётность (информацию для восстановления до 5% от реального объема файла), которая позволяла избежать «битости» архива и восстановить файл из ряда архивов полноценно.

Стоит также отметить, что многие провайдеры в то время имели подключение к разным магистральным провайдерам и потому скорость загрузки могла очень зависеть от того, через какие магистральные сети проходил трафик. Потому на том же rapidshare существовала возможность выбора между Cogent, Telia и Level(3). Ситуация со скоростью улучшилась после роста количества провайдеров, подключенных к немецкой точке обмена трафиком DE-CIX, к которой, к слову, получили прямое подключение даже провайдеры из Украины, такие, как Wnet.

Потому уже в 2006 году wnet.ua предложил почти аналогичный Агаве тариф, Европейский collocation:



Так, «Wnet» оплачивал абоненту украинский трафик из расчёта $1 за ГБ, при этом зарубежный трафик стоил абоненту $10 за ГБ при условии, что соотношение исходящего трафика ко входящему — 4/1. Безусловно — это было всё еще значительной платой, ведь трафик оказывался бесплатным только при наличии в 10 раз большего украинского трафика. Таким образом, чтоб генерировать бесплатно 9 Мбит / с в зарубеж, нужно было генерировать 90 Мбит / с в Украину. Что совсем было непохожим на предложение Агавы, где достаточно было, чтоб зарубежный трафик не превышал российский.

Потому ранее рассмотренное предложение от дата-центра «Воля» было куда более выгодным, нежели предложение от «Wnet», который к тому же, 1 октября 2006 года принял решение о выходе из украинской точке обмена трафиком UA-IX, так как UA-IX отказывалась продавать больше портов, которые были необходимы «Wnet», возможно в следствии «пиринговой войны», а именно лоббирования интересов других провайдеров, которым «Wnet» начал составлять конкуренцию, а может быть и в следствии отсутствия тех. возможности предоставления дополнительных портов, а может быть потому, что «Wnet» нарушал соглашение и строил пиринговые включения с другими участниками точки обмена (особенность правил обмена

С 14 апреля 2007 «Воля» вводит тариф с неограниченным исходящим трафиком в зарубеж для самого дорого тарифного плана за 1399 грн / месяц ($280):



Благодаря чему в 2008 году «Воля» уже обладала 20 Гбит / с подключением в UA-IX и 4 Гбит / с в мир от нескольких магистральных операторов. Дальнейшее развитие рынка хостинг-услуг можно отследить уже в нашей истории:

«ua-hosting.company» или как стать хостинг-провайдером с нуля и сгенерировать трафика больше, чем вся Беларусь

Так как мы начали предоставлять хостинг-услуги с 2006 года среди пользователей нашего ресурса, а с июля 2009 года выделили услуги в отдельный проект — ua-hosting.com.ua, который в будущём вышел на международный уровень и полностью перебрался в зарубеж и ныне известен под брэндом ua-hosting.company и доступен по короткому домену http://ua.hosting.

Стоит отметить, что за последние 10 лет рынок претерпел огромных изменений, и причина этого не только в значительном снижении стоимости магистральных каналов, сколько в перераспределении аудитории среди множества проектов, за счёт закрытия некогда популярных проектов. Такие успешные ресурсы, как файлоообменники, которые занимали топовые места по посещаемости в рейтинге Alexa, отошли в небытие, по многим причинам, но в основном — из-за непрекращающейся войны с правообладателями.

Так в Украине знаменитый некогда ex.ua, генерирующий свыше 15% всего трафика украинской точки обмена UA-IX (по сути точки обмена трафиком в Киеве, так как региональные операторы редко когда были представлены, особенно с появлением точки обмена Giganet и DTEL-IX) был закрыт после закрытия не менее знаменитого fs.to, который покупал в своё время 100 Гбит / с в Нидерландах у нас. А дело с некогда знаменитым megauload было ещё более резонансным, когда из дата-центра в Нидерландах, где мы размещаемся, было изъято свыше 600 серверов этого файлообменника. Rutracker был заблокирован на территории РФ Роскомнадзором, а torrents.net.ua в Украине прекратил своё существование из-за боязни репрессий.



Аудитория ушла в Youtube, Инстаграм и в другие соц. сети. Сайты для взрослой аудитории, пожалуй, не потеряли популярности, только теперь заработок на тизерной рекламе для наших веб-мастеров из РФ и Украины потерял всякий смысл из-за цен на рекламу и оплачивать зарубежные каналы, цена на которые, к слову, снизилась в разы в сравнении даже с 2012 годом, когда казалось, что дешевле уже быть не может, стало довольно проблематично.

Ситуация на рынке магистральных каналов, из чего зависит относительная стоимость доставки трафика

Как мы могли понять, ознакомившись с информацией, представленной выше, цена на трафик в Интернет зависит от того в какую точку необходимо доставить трафик, насколько популярно это направление, с какой скоростью на поток необходимо передать данные и с какой задержкой. А также цена будет зависеть от того по каким каналам связи трафик будет проходить, что определяет то, насколько прямой маршрут и какой приоритет трафика будет в том или ином случае, который в свою очередь определит конечное значение latency (пинга) из одной точки в другую.

К примеру, 10 Гбит / с из Нового Уренгоя в Норильск будут стоить явно не $2000 / месяц и даже не $6000 / месяц, так как в построение ВОЛС было инвестировано свыше $40 млн. Проект предлагается окупить за 15 лет, таким образом ежемесячная стоимость канала в 40 Гбит / с составляет 40/15/12 = $0,22 млн или $55 000 / месяц за 10 Гбит / с и это ещё не канал в Интернет, а только стоимость доставки трафика по качественной ВОЛС между двумя удалёнными населёнными пунктами. И эти деньги нужно брать сейчас с населения Норильска, которое будет смотреть тот же Youtube (трафик к которому будет стоить ещё дороже, так как нужно будет оплатить магистралам за доставку вплоть до сетей Youtube), а значит трафик с него будет довольно дорогим и активность населения там будет сдерживаться этой ценой. Существует вариант, когда Youtube может захотеть быть к своим пользователям «ближе» и захочет оплатить часть расходов на канал к ним вместо них, в таком случае стоимость доступа к ресурсу Youtube для населения Норильска может стать ниже. Этот пример наглядно демонстрирует то из чего может состоять цена на доступ к конкретным ресурсам сети Интернет. Всегда кто-то платит за Ваш трафик и если это не Вы — то либо рекламодатели и ресурсы которые генерируют этот трафик, либо же магистральный провайдер или просто Интернет-провайдер, которому выгоден трафик из этого направления (скажем для того, чтоб получить скидки на другие направления или какие-либо налоговые льготы, что может быть выгодно в случае с Норильском или просто потому, что куплен довольно широкий канал для получения скидки на доставку трафика и он простаивает).

Магистральные операторы I уровня, такие, как Cogent, Telia, Level 3, Tata и другие отличаются тем, что берут деньги за доставку трафика со всех, кто к ним подключен, потому трафикогенераторы страются обмениваться трафиком с провайдерами, где находится их аудитория напрямую. Таким образом, возникают ситуации, когда порождаются так называемые пиринговые войны, в том числе и между магистральными операторами первого уровня и крупными генераторами, когда приоритет отдаётся конкретным потребителям, в то время как для других может искусственно завышаться цена сотрудничества, с целью задавить конкурента, либо же просто с целью обогащения, так как других вариантов у генератора трафика попросту нет. Потому очень часто возникали споры, в том числе судебные, так как некоторые компании не сохраняли сетевой нейтралитет и пытались сделать это очень завуалированно.

Так до сих пор не разрешен спор между Cogent и Google касательно трафика по IPv6 протоколу, из-за чего по-просту невозможно сделать пиринг между компаниями для прямого обмена. Cogent требует денег с Google за трафик в их сети, Google же хочет пириться бесплатно, так как масса абонентов Cogent (дата-центры, провайдеры домашнего Интернет) являются активными потребителями трафика из сетей Google, хотя к слову, IPv4, а не IPv6, что уменьшило бы задержку и снизило стоимость трафика для этих абонентов, при условии роста % IPv6 трафика. Но Cogent это видимо невыгодно, так как он магистральный провайдер I уровня, и внешний трафик из его сетей оплачивается магистральными провайдерами второго (платят магистральным провайдерам I уровня и получают прибыль с провайдеров третьего уровня) и даже третьего уровня (платят провайдерам второго уровня и получают деньги с конечных клиентов).

Для того, чтоб понимать из чего складывается конечная цена трафика для ресурса, рассмотрим ситуацию на примере популярного сервиса Cloudflare, суть которого в том, чтоб сделать веб-сайты «ближе» к своей аудитории, помочь снизить нагрузку на инфраструктуру, закешировав статическую информацию и отфильтровать возможные DDOS-атаки.

Разумеется, что Cloudflare размещает серверы во всех регионах, где есть спрос на трафик, то есть практически по всему миру. А для того, чтоб сэкономить на трафике, старается заключать пиринговые соглашения с региональными провайдерами, которые способны доставить трафик от Cloudflare к пользователям бесплатно, в обход дорогих магистральных операторов Tier I уровня, которые взимают плату за трафик в любых случаях. Почему местным провайдерам это выгодно? При значительных объемах трафика им нужно платить также, как и Cloudflare, операторам Tier I уровня значительные средства за доставку трафика, куда выгоднее подключить свой канал «напрямую» (вложиться раз в строительство) и получать трафик бесплатно, нежели платить ежемесячно большие деньги магистральному оператору. Даже в случаях, когда прямой пиринг невозможен, бывает выгоднее подключиться через сети других транзитных провайдеров, где стоимость трафика будет гораздо ниже стоимости трафика при передачи через Tier I. Да, маршрут становится не очень прямым, возможно растёт незначительно пинг, возможно немного падает скорость передачи на поток, но качество может оставаться всё еще приемлемым для осуществления такой экономии.

Но не всегда есть возможность заключать пиринговые соглашения, всё же в некоторых регионах Cloudflare вынужден покупать довольно большой % коннективности у магистральных провайдеров, причём цена трафика весьма варьируется, в зависимости от региона. В отличие от некоторых облачных сервисов, таких как Amazon Web Services (AWS) или традиционных CDN, которые оплачивают трафик зачастую чуть ли не потерабайтно, Cloudflare платит за максимальное использование канала в течении определённого периода времени (так называемый «поток трафика»), на основе максимального количества мегабит в секунду, которые используются в течении месяца у любого из магистральных провайдеров. Такой метод учёта называется burstable, а частный случай — 95th percentile. 95 перцентиль — это метод, используемый для обеспечения гибкости и пакетного использования ширины канала. Это позволяет потребителю услуг превышать установленную тарифом полосу пропускания на 5% от всего времени пользования каналом, без увеличения стоимости. Например, если Ваш тариф предполагает использование полосы пропускания в 5 Мбит/с, то планка предельно допустимой ширины канала может быть превышена на 36 часов каждый месяц (5% от 30 дней). Используемая полоса пропускания измеряется и записывается каждые 5 минут в течении месяца, как усреднённое значение за этот малый пятиминутный промежуток времени. Замер используемой полосы пропускания в каждом временном интервале происходит путём деления количества переданных данных за интервал на 300 секунд (продолжительность указанного интервала). В конце месяца убирается 5% максимальных значений, а далее из оставшихся 95% выбирается максимальное число и именно это значение используется для расчёта оплаты за ширину канала.

Существует легенда, что в ранние дни своего существования Google использовал контракты с 95 перцентилем, чтоб проводить индексацию с очень высокой пропускной способностью в течении одного 24-часового периода, а в остальное время интенсивность потребления трафика была значительно ниже, тем самым обеспечивалась значительная экономия на оплате потребляемых каналов. Умная, но несомненно не очень долговечная стратегия, так как впоследствии всё же пришлось строить собственные дата-центры и даже каналы, чтоб индексировать ресурсы более часто и меньше платить за межконтинентальный транспортный трафик.

Ещё одна «тонкость» заключается в том, что обычно Вы платите магистральным провайдерам за преобладающий трафик (входящий или исходящий), что в случае с CloudFlare позволяет полностью неоплачивать входящий трафик. Ведь CloudFlare является кеширующим прокси-сервисом, в следствии чего исход (out) обычно превышает вход (in) примерно в 4-5 раз. Поэтому тарификация полосы пропускания происходит исключительно по значениям исходящего трафика, что позволяет полностью не платить за вход. По этой же причине сервис не взимает дополнительную плату, когда сайт попадает под DDOS-атаку. Атака безусловно увеличивает потребление входящего трафика, но если атака не очень велика, входящий трафик по-прежнему не будет превышать исходящий и, следовательно, это не увеличит стоимость используемых каналов.

Большая часть пирингового трафика обычно бесплатна, чего не скажешь про трафик с сервиса Netflix, который вынужден был после долгих прений оплатить Verizon и Comcast за пиринговые включения для обеспечения возможности приемлемого по скорости видео-стримминга для пользователей из сетей этих операторов.



На схеме выше мы можем видеть, как растёт количество бесплатных пиринговых включений Cloudflare с течением 3 месяцев, как c IPv4, так и с IPv6 версией Интернет-протокола. А ниже, также в течении 3 месяцев, мы можем наблюдать глобальный рост пирингового трафика Cloudflare, который в настоящий момент использует свыше 3000 пиринговых включений и экономит порядка 45% средств на оплату дорого магистрального транзитного трафика.



Cloudflare не разглашает сколько точно платит за транзитный магистральный трафик, однако приводит сравнительные значения из разных регионов из которых можно сделать примерный вывод о размере затрат.

Рассмотрим в начале Северную Америку. Давайте предположим, что в качестве эталона в Северной Америке мы примем смешанное среднее значение для всех поставщиков транзита в размере $10 за Мбит / с в месяц. На самом деле оплата будет меньше этой суммы и будет зависеть от объемов, а также от выбранного магистального оператора, но она может служить эталоном для сравнения стоимости с другими регионами. Если мы принимаем этот показатель, то каждый 1 Гбит / с будет обходиться в 10 000 долларов в месяц (опять же, не забывайте, что это значение выше реального и характерно, как правило, в случае розничной покупки, это всего лишь эталонный показатель, который позволяет понять различие).

Эффективная цена за пропускную способность в регионе будет являться смешанной ценой стоимости транзита ($10 за Мбит / с) и пирингового трафика ($ 0 за Мбит / с). Каждый байт, переданный по пирингу, является потенциальным транзитным байтом, за который не нужно платить. В то время, как Северная Америка имеет одну из самых низких цен на транзит в мире, она также имеет более низкие средние показатели пиринга. На приведенном ниже графике показано соотношение между пиринговым и транзитным трафиком в регионе. И хотя за последние три месяца для Cloudflare оно стало лучше, Северная Америка по-прежнему отстает от всех других регионов мира с точки зрения пиринга.



Таким образом, в то время, как процент пирингового трафика у Cloudflare превышает 45% глобально, в северно-американском регионе он составляет всего лишь 20-25%, что делает эффективную стоимость 1 Мбит / с без учёта скидок равной $7,5-8 за Мбит / с. В результате чего Северная Америка является вторым регионом в мировом рейтинге регионов с самым дешевым трафиком. Но где же трафик самый дешевый?

Мы уже рассматривали ранее Европу, где уже очень давно, в виду исторической концентрации населения в определённых регионах, существует масса точек обмена, именно за счёт этого удаётся получить больший % пирингового трафика, и, как результат — самый дешевый трафик в мире, так как % транзитного трафика у того же Cloudflare находится на уровне 45-50%.



В результате чего наша эталонная стоимость падает до значений $4,5-5 за Мбит / с и менее. % пирингового трафика зависит непосредственно от количества участников самых крупных точек обмена в Европе — AMS-IX в Амстердаме, DE-CIX во Франкфурте и LINX в Лондоне. В Европе точки обмена трафика в основном поддерживаются некоммерческими организациями, в то время, как в США, точки обмена в основном коммерческие, та же Equinix в Нью-Йорке, что значительно влияет на количество участников этих точек обмена и как следствие пирингов, которые готовы подписывать пиринговые соглашения. Для сравнения в Амстердаме по статистике на 2014 год насчитывается порядка 1200 участников, в то время как в США всего 400.

Соотношение пирингового трафика к транзитному в азиатском регионе примерно такое же, как и в Европе, Cloudflare демонстрирует график со значением близким к 50-55%. Однако стоимость транзитного трафика в 6-7 раз выше в сравнении с эталонной стоимостью трафика в Европе и составляет аж $70 за Мбит / с. Таким образом эффективная стоимость трафика находится в пределах $28-32 за Мбит / с, что в 6-7 раз выше, нежели в Европе.



В целом стоимость транзитного трафика в азиатском регионе выше за счёт нескольких факторов. Основным является тот, что в регионе меньше конкуренция, а также больше провайдеров-монополистов. Во-вторых рынок Интернет-услуг менее зрелый. И наконец, если Вы посмотрите на карту Азии, то увидите много чего — вода, горы, сложнодоступные малонаселённые регионы. Запуск подводных кабелей обходится значительно дороже, нежели прокладка волоконно-оптического кабеля в самом труднодоступном регионе, хотя это также стоит не дёшево, поэтому стоимость межконтинентального транзита и стоимость транзита по удалённым территориям компенсируется стоимостью транзита внутри остальной части континента, которая искусственно завышается с целью покрытия расходов на внешнюю и внутреннюю «удалённую» коннективность.

Латинская Америка стала новым регионом, в котором появилось присутствие Cloudflare и уже в течении 3 месяцев после этого % пирингового трафика вырос с 0 до 60%.



Однако стоимость транзитного трафика также, как и в Азии, очень высока. Транзитный трафик обходится в 17 раз дороже транзитного трафика в Серверной Америке или Европе, и эффективная стоимость находится на уровне $68 за Мбит / с, что в два раза выше, нежели в азиатском регионе, несмотря на то, что процент пирингового трафика здесь один из лучших в мире. Проблема Латинской Америки ещё в том, что во многих странах отсутствуют дата-центры с политикой «carrier neutral», когда участники могут свободно коммутироваться и обмениваться трафиком друг с другом. Наиболее развитой в этом плане оказалась Бразилия и после того, как Cloudflare построил собственный дата-центр в Сан-Паулу, количество пирингов возросло значительно, что и позволило достичь 60% значения обменного трафика.



Наиболее дорогим для Cloudflare является, пожалуй, трафик в Австралии, так как здесь задействовано огромное количество подводных магистралей для доставки трафика. И хотя % пирингового трафика внутри региона достигает 50%, Telstra — оператор-монополист на австралийском рынке телекоммуникационных услуг, не позволяет снизить стоимость транзитного трафика внутри страны ниже $200 за Мбит / с ввиду большой распределённости населения по региону, что в 20 раз выше эталонного значения в Европе или США. В результате эффективная стоимость трафика в 2015 году находится на уровне $100 за Мбит / с и является одной из самых дорогих в мире. А расходы на транзитный трафик составляют примерно ту же сумму, сколько Cloudflare тратит на оплату трафика в Европе, хотя население Австралии в 33 раза меньше (22 млн против 750 млн в Европе).



Интересно, что в Африке, несмотря на высокую стоимость транзитного трафика — в районе $140 за Мбит / с Cloudflare удалось договориться с 90% провайдерами о пиринге, в результате чего эффективная стоимость трафика оказалась на уровне $14 за Мбит / с. Благодаря чему веб-сайты из Лондона, Парижа и Марселя стали открываться довольно быстро, а присутствие в Западной Африке было увеличено, обеспечив более быстрый доступ к ресурсам Европы для жителей той же Нигерии, где насчитывается около 100 млн Интернет-пользователей. А в регионе Middle East процент пирингового трафика и вовсе достиг 100%, что позволило сделать его самым дешевым для CloudFlare в мире, если не учитывать затраты на строительство и поддержку дата-центров.



Уже через 2 года, в конце 2016, цены в самом дорогом регионе — Австралии и Океании, стали на 15% ниже, что позволило получить цену трафика на уровне $85 за Мбит / с. Таким образом, в случае с Cloudflare, статистика стала примерно следующей:



Интересно, что сегодня, существует 6 самых дорогих магистральных провайдеров — HiNet, Korea Telecom, Optus, Telecom Argentina, Telefonica, Telstra, трафик с которых стоит для Cloudflare на порядок дороже, нежели трафик от других поставщиков коннективности по всему миру, и которые отказываются обсуждать более низкие цены на транзит. У того же Cloudflare суммарный трафик в эти 6 сетей находится на уровне менее 6% от общего потребления, но почти 50% средств, выделяемых на оплату суммарной коннективности, приходилось на оплату трафика из этих 6 самых дорогих сетей. Разумеется, что так не могло продолжаться вечно и Cloudflare приняло решение перенаправить трафик своих «бесплатных» пользователей в более удалённые дата-центры (в Сингапур или Лос-Андежелес), вместо присутствия в Австралии и Новой Зеландии, где стоимость внешних каналов более здравая, в результате чего, по иронии судьбы, та же Telstra стала платить больше, так как их подводная магистраль оказалась более загруженной, после этого перехода, что возможно послужит хорошим сигналом для снижения цен для таких ресурсов, как Cloudflare, в регионе.

Абсолютные значения стоимости доставки трафика у транзитных провайдеров в различных регионах

Telegeography — замечательный ресурс, помогает увидеть не только рост подводных магистральных сетей, но и то, какие цены в среднем предлагаются на рынке по доставке трафика, вычисляя медиану при использовании транзитных магистральных провайдеров в том или ином регионе. Для того, чтоб показать Вам современный порядок цен мне пришлось заказать от них небольшой отчёт, в результате анализа данных в котором были получены следующие результаты.





Как видим стоимость услуги Dedicated Internet Access (DIA) находится на максимальном уровне в Мумбаи, Сан-Паулу и Каракасе в данный момент. В то время, как в Европе и США эта стоимость находится на уровне $6 и $8 за Мбит / с соответственно.

В соответствии с этим возникает логичный вопрос, а как же при таких ценах удаётся в нынешнее время предоставлять в аренду серверы, скажем конфигурации 2 х Intel Dodeca-Core Xeon E5-2650 v4 128GB DDR4 6 x 480GB SSD с каналом 1Gbps и лимитом трафика 100 ТВ по цене $249 / месяц, что эквивалентно 300+ Мбит / с реального потребления, если стоимость 1 Мбит / с находится на уровне $6 / месяц за мегабит в среднем, исходя из данных текущего отчёта?

Каким образом трафик в дата-центрах может продаваться дешевле?

Крупные дата-центры, такие, как EvoSwitch в Амстердаме, в котором мы размещаемся, имеют собственную развитую магистральную сеть волокон, что позволяет значительно сэкономить на доставке трафика в определенные регионы, плюс увеличивает количество возможных пирингов. В 2017 году наш партнёр стал обладателем одной из самых масштабных и качественных сетей.



Как можем видеть из иллюстрации, общая ёмкость сети достигла 5,5 Тбит / с, 36 точек присутствия появилось по всему миру, свыше 2000 пиринговых включений, включения в 25 точек обмена трафиком напрямую. Всё это, безусловно, оказывает влияние на эффективную стоимость трафика, которая, как мы помним, является суммой стоимости платной магистральной транзитной коннективности и бесплатной пиринговой, а также может быть уменьшена за счёт взимания оплаты за пиринговые включения с провайдера-потребителя трафика. То есть трафик может оплачивать не только генератор трафика, но и получатель — провайдер, в сеть которого генерируется этот трафик и который заинтересован в организации пирингового включения для того, чтоб меньше платить магистральным провайдерам и сэкономить на трафике по той же схеме, по которой экономит дата-центр. Помимо прочего у дата-центра почти всегда существует возможность продажи излишнего «входящего» Интернет-канала пользователям домашнего Интернет, которые в основном нуждаются как раз в таком трафике для доступа в сеть Интернет и который, по сути, является неиспользуемым в большинстве дата-центров.

Тем не менее даже такая столь обширная сеть не позволяет сделать стоимость трафика бесконечно низкой. Поэтому, какие бы гарантированные условия на трафик дата-центр не предлагал, нужно понимать, что конечная низкая стоимость на трафик достигается за счёт продажи полосы с разумной степенью oversell'a, то есть продажи большей коннективности, чем есть на самом деле, но с жестким учётом реальных потребностей пользователей дата-центра в трафике в гарантированном случае, когда каждому пользователю обеспечивается его гарантированная полоса в нужный для него момент времени. Причём сэкономить на трафике можно тем больше, чем больше пользователей обслуживается и тем больше, чем больше пиринговых и магистральных каналов подключено к сети.

Рассмотрим пример. 10 пользователей нуждаются в гарантированном канале 100 Мбит / с к их серверам, однако используют коннективность не всегда на 100% и довольно частно не одновременно. После анализа реального потребления оказывается, что одновременно все десять пользователей потребляют не более 300 Мбит / с трафика в пиках и закупать 1 Гбит / с выделенной полосы, а с учётом резервирования — 2 Гбит / с у разных операторов и тарифицировать каждого пользователя за выделенный канал в полном объеме (по сути двойном) становится не целесообразно. Гораздо разумнее закупить в три раза меньше — 700 Мбит / с трафика, если закупка проводится у двух независимых магистральных операторов, что поможет обеспечить выделенный канал 100 Мбит / с каждому из 10 клиентов с указанным уровнем потребления, да и ещё и с двойной степенью отказоустойчивости, плюс даже останется порядка 100 Мбит / с на «вырост» на случай, когда у кого-либо начнёт расти потребление трафика, что даст время на подключение дополнительных каналов. Если же трафик поставляется уже тремя независимыми магистральными провайдерами, то закупка становится ещё выгоднее, так как достаточно купить только 500 Мбит полосы, а то и менее, ведь одновременно из строя с большой долей вероятности может выйти только один канал из трёх — не более 166 Мбит / с коннективности, когда существует потребность максимум в 300 Мбит /с. Таким образом мы легко сможем получить 334 Мбит / с полосы в любой момент времени, что будет достаточным для нужд наших абонентов, даже при аварии на одном из аплинков.

В реальности ситуация гораздо проще и степень отказоустойчивости и резервирования выше, так как клиентов с каналом 100 Мбит / с зачастую не десять, а десятки тысяч. А трафика большинство использует крайне мало. Так 1000 серверов с каналом 100 Мбит / с без учёта по нашим статистическим данным потребляет в среднем только 10-15 Гбит / с в пиках, а то и менее, что эквивалентно 10-15% выделяемой им полосы. При этом всем обеспечивается возможность потреблять 100 Мбит / с в нужное им время без какого-либо учёта, а магистральных операторов, каналы от которых заведены, используется великое множество. Пиринговых включений, само собой, что ещё больше, что делает коннективность зачастую более недорогой и качественной и исключает возможность потери огромной части коннективности сразу. За счет этого снижается необходимый %, выделяемый на обеспечение отказоустойчивости, с 50 до 5% и менее. Разумеется, что есть клиенты, которые загружают свои каналы «в полку», но есть и те, которые потребляют крайне мало трафика, при этом арендуют выделенный сервер с 100 Мбит / с каналом без учёта, так как так удобно — не нужно боятся дорогой платы за превышение или просто абоненты не понимают сколько им реально трафика необходимо и как его рассчитывать. По сути те пользователи, которые не потребляют всю выделяемую им полосу, оплачивают трафик пользователей, которые используют канал в полной мере.

Помимо прочего нужно помнить ещё и о суточном распределении посещаемости Интернет-проектов, что также оказывает влияние на удешевление стоимости. Так как, если у Вас наблюдается загрузка канала на 100% в вечернее время, в момент максимума посещений Вашего ресурса, то в остальное время суток загрузка канала будет вполне вероятно гораздо ниже 100%, вплоть до 10-20% в ночное время и освободившийся канал можно будет использовать для других нужд (генерацию трафика в другой регион не рассматриваем, так как в этом случае скорее всего возникнет дорогая оплата за транспорт). В противном случае посетители в пиковые часы начнут испытывать проблемы, уходить с веб-сайта и посещаемость неминуемо упадёт по причине ухудшения поведенческих факторов и понижения позиций ресурса в результатах поисковой выдачи, если трафик проекта в основном поисковый.

В случае гигабитных включений, конечно же, % утилизации каналов был выше 10-15% в начальный период существования предложения и мог доходить до 50% и более, так как такие серверы ранее заказывались абонентами-трафикогенераторами, когда 100 Мбит / с порта им не хватало, а гигабитный порт стоил значительно дороже и не было смысла обычным пользователям за него платить, когда в нём не было реальной необходимости. В наши дни, когда стало возможным получить 1 Гбит / с и даже 10 Гбит / с дома, а различие между стоимостью свитча, который поддерживает 1 Гбит / с и 100 Мбит / с стало незначительным, оказывается гораздо более выгодным предоставить каждому доступ к каналу 1 Гбит / с, даже тогда, когда он реально в нём не нуждается, нежели ограничивать пропускную способность. Только для того, чтоб клиент как можно быстрее прокачал нужный ему объем информации и, как следствие, намного более быстро освободил полосу для следующего абонента в случаях, когда ему не нужно генерировать трафик постоянно. Именно потому процент утилизации трафика для серверов с каналом 1Gbps и лимитом 100ТБ в реальности оказался гораздо менее 10%, так как большинство пользователей, само собой, не нуждаются в таком канале всё время и освобождают канал в 10 раз быстрее для использования последующими абонентами.

Применяя такой принцип предоставления Интернет-каналов возникает явная необходимость в мониторинге потребления трафика в отдельных сегментах сети ЦОД и даже в каждой стойке, чтоб как только у кого-либо потребность в канале возростёт и резерв трафика начнёт уменьшаться, можно было добавить дополнительный канал, тем самым обеспечить гарантированный «безлимит» для всех. В целом благодаря этому подходу экономятся значительные средства на оплату внешних каналов связи и появляется возможность предлагать цены на порядок ниже, нежели без применения этого принципа и даже зарабатывать на трафике. Ведь дата-центр не может продавать трафик по фактической себестоимости, а просто обязан зарабатывать, так как тратит время и средства на обслуживание сети, ну и «здоровый» бизнес должен быть прибыльным.

Потому коэффициент oversell'a присутствует везде, в большей или меньшей степени, даже при продаже предложений с каналом 10 Gbps Unmetered к выделенным серверам, которые, казалось бы, должны были бы потреблять трафик по полной. Но реальность оказывалась другой. Мы в своё время продали свыше 50 выделенных серверов с подключением 10 Gbps Unmetered к каждому, однако общий наш генерируемый трафик едва превысил 250 Гбит / с, при том, что этот канал использовался ещё 900+ выделенными серверами с подключением 100 Мбит / с и 1 Гбит / с к каждому серверу. Именно благодаря этому мы смогли предоставить серверы с гарантированным каналом 10 Гбит / с по невероятным ценам в $3000 / месяц, а в будущем — почти в 2 раза дешевле (начиная от $1800 США). Мы были первыми, кто продавал коннективность по столь низким ценам и именно потому сумели сгенерировать так много трафика и получить массу довольных клиентов.



Cегодня мы готовы пойти ещё дальше, благодаря сотрудничеству с магистральным оператором I уровня Cogent, мы имеем возможность продать избыток коннективности в определённых сегментах их сети в Нидерландах и США ещё дешевле — от $1199 за сервер с каналом в 10 Гбит / с без учёта и от $4999 за сервер с каналом 40 Gbit / s Unmetered.

https://ua-hosting.company/serversnl — оформить заказ можно тут, если требуется локация в США — откройте запрос в тикете. Однако Нидерланды является оптимальной по связности локацией для наших регионов.

2 х Xeon E5-2650 / 128GB / 8x512GB SSD / 10Gbps — $1199?
2 х Xeon E5-2650 / 256GB / 24x512GB SSD / 10Gbps — $2099?
2 х Xeon E5-2650 / 256GB / 24x1TB SSD / 10Gbps — $3599?
2 х Xeon E5-2650 / 256GB / 24x2TB SSD / 10Gbps — $6599

2 х Xeon E5-2650 / 256GB / 8x1TB SSD / 20Gbps — $1999
2 х Xeon E5-2650 / 256GB / 24x512GB SSD / 20Gbps — $2999
2 х Xeon E5-2650 / 256GB / 24x1TB SSD / 20Gbps — $4599
2 х Xeon E5-2650 / 256GB / 24x2TB SSD / 20Gbps — $7599

2 х Xeon E5-2650 / 256GB / 24x512GB SSD / 40Gbps — $4999
2 х Xeon E5-2650 / 256GB / 24x1TB SSD / 40Gbps — $5599
2 х Xeon E5-2650 / 256GB / 24x2TB SSD / 40Gbps — $8599

В индивидуальных случаях мы способны предложить адекватные цены и на 100Gbps Unmetered подключения, обращайтесь, если такая коннективность Вам необходима.

Конечно, мы с Cogent рассчитываем, что Вы не потребите всю выделяемую Вам полосу, этому же способствуют и предлагаемые конфигурации. В случае их использования с RAID-контроллером, потребить более 6 Гбит / с трафика очень проблематично, так как получаем «бутылочное горлышко» в виде контроллера. Однако, если использовать накопители независимо, становится возможным распределить трафик оптимальным образом. В любом случае мы обеспечиваем возможность потребления указанной полосы вне зависимости от наших с Cogent надежд. Тем более, что продаются излишки коннективности, которые в случаях непродажи просто простаивали бы. Не нужно забывать также о том, что Cogent, как магистральный провайдер, берёт денег со всех. Таким образом трафик, который сгенерируете Вы, в любом случае дополнительно оплатит провайдер, в сети которого этот трафик придёт.

Однако не стоит рассчитывать, что купив сервер с таким каналом, у Вас будет 10, 40 или 100 Гбит / с на поток, это по-просту невозможно за такие деньги, да и зачастую не нужно. Стримминг-транспорт на высокой скорости точка-точка может стоить огромных денег, в некоторых случаях $55 000 за 10 Гбит / с, как в случае с ВОЛС Новый Уренгой — Норильск, который мы рассмотрели выше. Но то, что будет обеспечена отличная коннективность в целом с сетью Интернет — это однозначно. Средняя скорость на поток для большинства проектов достаточно, чтоб находилась на уровне свыше 10 Мбит / с, что позволяет размещать проекты со стриммингом видео в качестве Ultra HD и обеспечить просмотр 1000-4000 человек «онлайн» с одного сервера.

Тем не менее в некоторых случаях скорость передачи на поток может быть значительной даже при небольшой плате за канал. Так в прошлом году в США широкое распространение получил 10 Гбит / с домашний Интернет, когда за скромную плату в $400 / месяц стало возможным получить такой «безлимитный» канал дома.



В таких случаях домашние роутеры, обеспечивающие доступ к сети по Wi-Fi, оказываются зачастую «бутылочным горлышком» (способны обеспечить подключение до 300 Мбит / с), в результате чего приходится вновь применять проводное подключение и даже устанавливать серверы дома, а также применять производительные компьютеры и накопители в них, чтоб не упереться в их возможности при использовании канала. Зачем это нужно? Много кто в наше время работает с данными из дому. James Busch, радиолог из США, проводит анализ данных пациентов из дому и новый канал экономит ему значительное количество времени.

«В среднем рентгенологическое исследование содержит порядка 200 мегабайт данных, в то время как PET сканирование и маммография в 3D могут занимать до 10 гигабайт. Таким образом мы вынуждены обрабатывать сотни терабайт данных. Мы посчитали, что экономим в среднем около 7 секунд при проведении одного исследования при применении 10 Гбит / с подключения вместо гигабитного. Казалось бы, что это немного, но если умножить на количество исследований, которое мы проводим за год, а это 20-30 тыс, то получается, что мы экономим порядка 10 дней продуктивной работы только благодаря тому, что усовершенствовали скорость подключения на порядок.»

Таким образом, если Вам нужна высокая скорость на поток при минимальных затратах — нужно размещать Ваш 10, 20, 40 или 100 гигабитный сервер, как можно ближе к пользователям. Тогда вполне вероятно, что Вы сможете генерировать в некоторые сегменты сети Интернет трафик на скорости 1 и даже 10 Гбит / с на поток.

Наше время открывает Вам уникальные возможности для новых свершений. Теперь Вы вряд ли можете сказать, что какая-то услуга хостинга или аренды выделенного сервера стоит слишком дорого, а начать собственное дело или проект никогда не было ещё так просто. Сейчас доступны самые производительные серверные конфигурации, возможности которых превосходят возможности серверов десятилетней давности до трёх порядков в некоторых случаях, а по ценам они не на много дороже хостинга 2005 года. Позволить может реальной каждый. Трафик стал стоить в тысячи раз дешевле, а скорость каналов выше. И только от Вас будет зависеть, как ими Вы распорядитесь. Придумать интересный Интернет-проект может каждый, перестаньте тратить своё время зря. Арендуйте выделенный сервер или по меньшей мере виртуальный и начните работу уже сегодня, даже если он Вам пока не нужен и Вы ничего не знаете в этом — он будет служить хорошей мотивацией идти вперёд. Используйте эти возможности для того, чтоб сделать наш мир лучше. Если даже Вы никогда не имели опыт вэб-разработки и создания Интернет-проектов, никогда не поздно начать, я когда-то начал с 0 и сгенерировал трафика больше, чем вся Беларусь! Надеюсь мой опыт будет для Вас полезен. Мы строим Интернет, присоединяйтесь!

BLACK FRIDAY ПРОДОЛЖАЕТСЯ: скидка 30% на первый платёж по промо-коду BLACK30% при заказе на 1-6 месяцев!

Это не просто виртуальные серверы! Это VPS (KVM) с выделенными накопителями, которые могут быть не хуже выделенных серверов, а в большинстве случаев — лучше! Мы сделали VPS (KVM) c выделенными накопителями в Нидерландах и США (конфигурации от VPS (KVM) — E5-2650v4 (6 Cores) / 10GB DDR4 / 240GB SSD или 4TB HDD / 1Gbps 10TB доступными по уникально низкой цене — от $29 / месяц, доступны варианты с RAID1 и RAID10), не упустите шанс оформить заказ на новый тип виртуального сервера, где все ресурсы принадлежат Вам, как на выделенном, а цена значительно ниже, при гораздо более производительном «железе»!

Как построить инфраструктуру корп. класса c применением серверов Dell R730xd Е5-2650 v4 стоимостью 9000 евро за копейки? Dell R730xd в 2 раза дешевле? Только у нас 2 х Intel Dodeca-Core Xeon E5-2650v4 128GB DDR4 6x480GB SSD 1Gbps 100 ТВ от $249 в Нидерландах и США!

P.S. Так как статья вышла довольно объемной, я решил вынести один из разделов на Geektimes в отдельную публикацию — 20 лет эволюции Интернет в Украине, а какой Вы помните сеть 20 или 10 лет назад?, без которой она бы была не полной. Там же заодно и проводим опрос в комментариях и просим рассказать, как Вы впервые вышли в Интернет-сеть, с использованием какой технологии доступа и какая была скорость подключения. Поделиться Вашим опытом. А тут в комментариях делитесь пожалуйста опытом в сфере аренды и построения различных инфраструктур, насколько лично для Вас работа сейчас стала сложнее / проще и какие возможности развития Вы видите в будущем?