В культовой песне Eagles «Отель Калифорния» (1976) есть такие слова:
We are programmed to receiveСитуация с Amazon — наглядный пример, как работает эффект отеля «Калифорния». Бизнес приходит на AWS, потом теоретически может уйти в любое время, но в реальности никогда не уходит!
You can check out any time you like
But you can never leave!
Бизнес AWS похож на монополию, когда один игрок злоупотребляет доминирующим положением на рынке. Но здесь нет явного нарушения антимонопольного законодательства. Просто на инфраструктуру AWS завязан не только отдельный клиент, но и смежные бизнесы, все работают на общей платформе. Если вы хотите наладить техническое взаимодействие с компанией, которая хостится на AWS, то вам удобнее тоже стать клиентом AWS.
Что такое Bandwidth Alliance
Bandwidth Alliance — это альянс хостеров и сетевых компаний во главе с Cloudflare CDN, которые обязуются снижать или отменять плату за передачу данных (то есть за полосу) для общих клиентов. Для простоты будем называть его Альянс хостеров.
Суть в том, что клиент облачного хостинга не платит за внутренний трафик на конкретной платформе, но платит за исходящий внешний трафик (egress). Bandwidth Alliance предлагает значительно уменьшить или отменить плату за трафик между хостерами и Cloudflare CDN, примерно как «партнёрский роуминг» в сетях сотовой связи.
Плата за трафик — большая статья расходов на облачном хостинге.
Провайдеры сами обычно арендуют канал и несут инфраструктурные расходы, которые перекладывают на своих клиентов в виде платы за трафик. Разница только в том, что хостер арендует постоянную полосу по ширине (гигабит/с), а счета клиентам выставляет по объёму переданных данных, что позволяет существенно заработать на «перепродаже» канала (об этом ниже). Ну а партнёры Bandwidth Alliance согласились снизить плату за передачу данных между собой, то есть между хостерами и CDN.
Если посмотреть на сайт Альянса хостеров, то создаётся впечатление, что они все вместе объединились вокруг Cloudfare для борьбы с одним противником — AWS. Получается своеобразное противостояние типа «Cloudfare и компания» vs Amazon.
На главной странице потенциальным клиентам предлагают посмотреть, сколько они сэкономят, если перейдут с AWS S3 на другого провайдера. На данный момент в Bandwidth Alliance входит 18 хостеров:
Alibaba Cloud, Automattic, Azure, Backblaze, Cherry Servers, Dataspace, DNS Networks, DreamHost, Heficed, Kingsoft Cloud, Linode, Liquid Web, Scaleway, Tencent Cloud, Vapor, Vultr, Wasabi и Zenlayer.Например, при переходе с S3 на Google Cloud экономия на 100 терабайтах трафика к Cloudflare (партнёр альянса) составит $2799,91. Хотя GCP даже не партнёр альянса, но предоставляет скидки для CDN-интерконнекта.
Судя по всему, Amazon просто невыгодно вступать в этот альянс. Наверное, никто не думал, что она туда вступит вместе со всеми, в этом нет никакого смысла.
Дело в том, что от более свободной миграции юзеров между платформами выигрывают все, кто хочет изменить существующий статус-кво. А проигрывает тот, кто хочет сохранить всё как есть. Поскольку Amazon устраивает текущая ситуация, то ей невыгодна свободная миграция. Наоборот, ей выгодно удержать юзеров внутри, то есть должна быть большая разница между тарифом на внутренний и внешний трафик.
Но теперь выходит, что Amazon в некотором смысле изолирована от остальной экосистемы. И у неё тарифы на внешний трафик будут реально выше, чем у других хостеров. Но поскольку клиенты уже подцеплены на крючок и завязли в этом облаке, то им остаётся только смириться и терпеть. Выбраться отсюда обойдётся ещё дороже.
Офлайновый экспорт с AWS
Контейнеры для переноски файлов из дата-центров Amazon. Сервис AWS Snowball предлагает перевозку на специально оборудованном автомобиле до 100 петабайт
Экспортировать данные с AWS недёшево. Для этого можно использовать специализированный сервис AWS Snowball с контейнерами для транспортировки данных. Компания берёт однократный платёж за заказ контейнера, а потом повременную плату за каждый день его использования, если контейнеры вернулись позже, чем через десять дней (прайс-лист).
Например, при экспорте 100 ТБ из бакета S3 в Ирландии будет использовано два устройства Snowball Edge Storage Optimized (24 vCPU, 32 ГБ RAM): на первый запишут 80 ТБ, а на второй — оставшиеся 20 ТБ. Заказчик оплатит заказ устройств (300×2= $600) и доставку в оба конца. Съём данных из S3 стоит ($0,02/ГБ * (100 ТБ * 1024 ГБ)) = $2048).
Общая стоимость составит $2648, плюс доставка. Дополнительно взимается плата за хранение данных в S3, за S3 PUT и GET, а также за KMS. Подробнее см. на страницах с ценами на Amazon S3 и AWS Key Management Service (KMS).
Экспорт данных из EC2 обойдётся в несколько раз дороже (контейнеры Compute Optimized, 52 vCPU, 208 ГБ RAM). За потерю контейнера — штраф от $12 500 до $30 000 (самый дорогой контейнер с GPU).
На фотографии: транспортировка контейнера с ценными файлами из дата-центра Amazon S3, источник
Cверхприбыли AWS
Члены альянса хостеров особенно возмущаются сверхприбылью, которую получает AWS, накручивая цены.
Они приводят такой расчёт. Amazon арендует постоянную полосу по ширине (гигабит/с), а счёта клиентам выставляет по объёму переданных данных (МБ в месяц). Эти размерности переводятся друг в друга следующим образом.
(≈730 часов в месяце, 8 бит в байте, 1012 байт в терабайте)
Полная загрузка мегабитного канала позволяет передать по нему 0,3285 терабайта в месяц.
Если учесть 95-й процентиль, отсекая пиковые часы, что традиционно учитывается при биллинге, то получается 0,3458 ТБ.
Естественно, провайдер не может загружать каналы на 100%. Нормальной считается загрузка на 20−40%, типичная для индустрии. В этот конкретный расчёт заложена консервативная оценка 20%.
** Данные по стоимости терабайта для каждого региона
Что же получается?
Даже если канал загружен только на одну пятую, Amazon всё равно получает со своих клиентов в Европе и США примерно в 80 раз больше за трафик, чем сама платит за этот канал с учётом утилизации 20%. В других регионах переплата меньше. В Южной Корее она минимальна — «всего» 357%. Здесь действует такое негласное правило: чем дольше работает AWS на рынке, тем крепче её доминирующее положение или монополия на рынке — тем выше маржа.
Конечно, в этих расчётах не учтены различные собственные расходы Amazon как провайдера. Например, издержки на покупку «тёмного» оптоволокна или прокладку собственных каналов между дата-центрами, закупку и амортизацию сетевого оборудования, зарплату персоналу и др. Но специалисты говорят, что в огромных масштабах AWS эти расходы в цене трафика не превышают 1 цент на 1 мегабит/с пропускной способности, то есть находятся в рамках статистической погрешности. По крайней мере, представители Cloudflare говорят, что в их масштабе расклад примерно такой.
В таблице выше учтены цены только за транзитный трафик, в то время как прямые соединения между AWS и CDN обходятся практически бесплатно. Казалось бы, если трафик обходится тебе бесплатно — странно продавать его пользователям по рыночной цене? Другие облачные провайдеры учитывают этот факт — и делают скидки для пользователей Cloudflare. В частности, так делают Google Cloud, Microsoft Azure и другие члены Bandwidth Alliance. Только не AWS.
Дополнительно нужно заметить, что у AWS за последние десять лет тарифы на исходящий трафик практически не изменились, несмотря на кардинальное снижение цен в телекоме. Рыночные цены на транзитный трафик снижаются в среднем на 23% ежегодно, то есть за последние десять лет они снизились в 13,6 раз (1/(0,77^10)≈13,649). Однако цены на исходящий трафик AWS за тот же период снизились всего на 25%. Это вопиющее несоответствие и объясняет сумасшедшую маржу в таблице выше. С 2018 года для регионов США и Европы цены на исходящий трафик AWS не уменьшились ни на цент, а на рынке упали более чем вдвое.
Возникает несколько вопросов:
- почему AWS не даёт скидки за трафик по прямому пирингу?
- почему не тарифицируется входящий трафик (ingress), а только исходящий?
- почему тарифы не снижаются соответственно рыночным ценам?
Самое очевидное объяснение — AWS просто пытается затруднить выход из своей экосистемы. Мы видим тот самый эффект, о котором говорилось в начале статьи. Эффект отеля «Калифорния».
Поскольку Amazon отказывается заключать соглашения по снижению цен, высокие тарифы на внешний трафик стимулируют сторонние компании заходить внутрь облака AWS, чтобы было дешевле работать с теми компаниями, которые уже находятся внутри. Оставаясь снаружи, работать с ними становится непомерно дорого. Таким образом, вас как бы затягивают внутрь.
По той же причине аренда сервера на обычном хостинге зачастую выходит дешевле, чем у облачных провайдеров. Тем более что egress из других облаков бывает даже дороже, чем из AWS, без учёта пиринговых скидок. Так что не только AWS получает сверхприбыли на трафике.
Для Amazon же выгода от такой «изоляции» многократно превышает экономию преимущества от сотрудничества с другими игроками. Amazon наслаждается тем же положением, что и Apple. Когда у тебя монополия в своей нише, необязательно снижать цены. Но если компания продолжит использовать такие методы (взимать высокую плату за выход из системы), то вполне может стать мишенью для антимонопольного регулирования.
Комментарии (29)
Mitch
06.10.2021 11:15В USA и NL есть хостеры где ты платишь толко за железо, и раздавай с гигабитного линка сколько сможешь, без дополнительной оплаты за трафик.
У меня есть в USA один сервак с которого раздается 280 Мегабит.
И это сотны долларов в месяц, а не тысячи.
Раздавать много трафика через облачных провайдеров безумного дорого, если у вас такой трафик, то дешевле взять обычный сервер и платить ЗП админу который его будет обслуживать, благо его можно быть не на фултайм а заказать просто такую услугу за 50-100$ в месяц.Ну и мне стало интересно, что это за сегмент рынка где сотни терабайт данных хранить приходится?
И что за компаниям между собой приходится гонять такие обьемы данных?
Данные транспортировать в контейнерах, это тоже прям удивительный сегмент для меня.
Тк пару терабайт перегнать даже между разными ДЦ вообще не проблема по сети. Ну и 10Т тоже быстрее точно перелить чем везти в контейнере.
Везти ценные данный в контейнере для безопасности??
Ну хз. Я бы лучше передал их внутри ssh тунеля.
DaneSoul
06.10.2021 12:24+1Тк пару терабайт перегнать даже между разными ДЦ вообще не проблема по сети. Ну и 10Т тоже быстрее точно перелить чем везти в контейнере.
Этот сервис не на терабайты, а на петабайты ориентирован. Передать по сети будет очень долго и дорого, так как трафик при таких объемах тоже совсем не бесплатный.
darken99
06.10.2021 23:12Ну и мне стало интересно, что это за сегмент рынка где сотни терабайт данных хранить приходится?
Список довольно большой
Наука
Торговля (онлайн в основном)
Банки
Промышленность
Авиация
Службы доставки
и много кто еще
Ну и 10Т тоже быстрее точно перелить чем везти в контейнере.
А 10PB? А 100PB?
JPEGEC
07.10.2021 10:25Так рассказ про устройства на 80ТВ. 300$ аренда одного устройства + дорога в два конца.
Мне вот тоже стало любопытно зачем такая странность. На первый взгляд тупо перелить проще.
cepera_ang
07.10.2021 11:03+280Тб перелить по сети — это неделя, если речь идёт о гигабитном канале, а если сто мегабит или меньше? Легко представить себе ситуацию, когда канала вообще нет (съёмки фильма посреди пустыни в Неваде, 80Тб за неделю заполнится), а отправить коробку с жесткими дисками можно по миру за сутки. На фоне всех остальных затрат на генерацию этих 80Тб и стоимости времени 300$ и дорога — это вообще ни о чём.
select26
07.10.2021 14:43Ну и мне стало интересно, что это за сегмент рынка где сотни терабайт данных хранить приходится?
И что за компаниям между собой приходится гонять такие обьемы данных?Любой, у кого месячный (недельный/необходимый) размер backup составляет такой объем. Мы когда перешагнули 100 Тб, перешли на on-prem: несколько выделенных линков до Amazon + свое хранилище на 200Tb оказались дешевле.
a-l-e-x
06.10.2021 11:49+1На мой личный взгляд (и смотря на то, что вижу вокруг себя), основные расходы - это люди (прямая - свои работники, косвенная - услуги подрядчиков), а вовсе не железо, услуги в облаках или трафик. Причём, предполагаю, но никак не могу обосновать статистикой, соотношение - как один к четырём или пяти (то есть расходы на услуги людей в несколько раз больше расходов на железо, облака и трафик). Те компании, у которых это не так - водимо имеют большое конкурентное преимущество.
cepera_ang
06.10.2021 11:50+3Конкуренты Амазона возмущаются, что у Амазона слишком дорогие цены и он не хочет подключаться к их тусовке и ронять цены? Хм, а если Амазон вдруг уронит цены до уровня конкурентов или ещё ниже — то будут возмущаться, что он демпингует и выдавливает конкурентов, пользуясь своим монопольным положением? В общем, если ты благодаря своим реально удобным и качественным сервисам достиг большой доли на рынке, который сам же и создал — то на тебя будут наезжать за любое поведение, хоть ты завышаешь цены, хоть занижаешь, хоть держишь постоянными. И это даже не смотря на то, что Амазон постепенно теряет долю облачного рынка и занимает там от 30% до 50% в зависимости от того, как считают остальных провайдеров.
Revertis
06.10.2021 12:01+1Они возмущаются тем, что вытащить данные из AWS намного дороже, чем продолжать это терпеть. Плюс, намного дороже работать другим компаниям с компанией в AWS.
cepera_ang
06.10.2021 12:26+2Заметьте, возмущаются не клиенты, а от их имени какие-то компании. Для начала — хотят ли вообще люди вытащить свои данные из Амазона? А даже если и хотят — является ли это главным препятствием для миграции? Скорее всего нет — переделка инфраструктуры под другое облако выйдет куда дороже (и у cloud agnostic инструментов есть свои косты, особенно, если всё уже сделано без них).
Даже расчёты про 100Тб — ну что такое 2-3 тысячи долларов для компании, у которой есть данных на сотню тб? Это недельная зарплата разработчика. А сколько недель разработчика (или скорее лет разработчиков) потребуется на миграцию?
select26
07.10.2021 14:49А клиентам возмущаться некогда. Они заняты своим бизнесом, в т.ч. расчетом рентабельности и эффективности затрат. И как только будет выгоднее съехать - переедут незамедлительно.
Ведь не все платят пару сотен в месяц. Некоторые платят миллионы - в этом случае даже 10% экономия весьма существенна.
Есть же и FinOps engineers - там где я работаю они отчитываются о весьма существенной экономии каждый квартал.
APXEOLOG
06.10.2021 12:08+1Очень мило считать цену за 100Тб траффика и сравнивать разницу. Вот только какой процент пользователей использует такой объем? Да что уж, кто хотя бы 1Тб использует?
Реалии в том, что для подавляющего большинства клиентов стоимость траффика стоит далеко не на 1 месте. Поэтому разница в несколько десятков $ в месяц не окупит вложений в миграцию к другому CDN
DaneSoul
06.10.2021 12:27+1устройства Snowball Edge Storage Optimized (24 vCPU, 32 ГБ RAM)
А зачем файловому хранилищу такие процессорные мощности и столько памяти?
CAJAX
08.10.2021 20:15Там вон и с видюшкой вариант есть - gse. Наверное, предполагается, что можно в дороге продолжать работу.
jurikolo
12.10.2021 15:28SnowBall'ы позволяют обрабатывать данные в процессе перекачки в/из хранилища. Именно для этого такие мощности.
romanzolotoi
06.10.2021 13:34цены конечно немалые, но тут важно еще и качество, бесперебойность и прочие параметры, некоторые готовы платить больше, за стабильность, например
Mitch
06.10.2021 15:14А что это за бизнесы у которых петабайты данных?
Накидайте какие есть варианты, а то у меня только какие то экзотические варианты, а в статье звучит так как будто это мейнстрим.Геномы расшифровывают?
Белки кодируют?
Предсказания погоды и землетрясений?
Areso
06.10.2021 15:59Любой биллинг уровня федеральной компании это десятки терабайт.
Если про хранение, где счёт идёт на сотни терабайт и больше - OLAP базы, DWH, бигдата.
Трафик? Любая компания со стримингом чего-либо.
GreySS
06.10.2021 16:49Прошу прощения за дилетантский вопрос ), а эти данные навсегда остаются? Т.е. постоянно добавляется новое хранилище или они перезаписываются?
cepera_ang
06.10.2021 16:56Обычно добавляются — многие данные нужно по закону хранить десятилетиями, ну типа как архив всяких бухгалтерских документов, так же и электронные данные, плюс архивы обычно не перезаписывают на всякий случай. И т.д.
Areso
06.10.2021 16:58Для биллинга настроена обрезка на срок исковой давности (3 года) и/или на срок, спущенный регулятором. Но часть данных хранится и дольше.
OLAP, DWH, БигДата обычно зависят от целей и задач. Могут быть только с добавлением. Тут от пожеланий клиента, кошелька и задач зависит.
Stas911
24.10.2021 03:58Например, когда автопроизводители собирают данные со специально оборудованных машин для обучения и проверки своих систем автономного вождения. Там петабайты для одной модели только могут быть.
ComatoZZZ
10.10.2021 10:38Странно сравнивать трафик из S3, там же для больших объемов используется CloudFront через который отправляется трафик S3. Там другие тарифы
itsoft
Чего-то какие-то сумашедшие цены за трафик. Большинство же за трафик ничего не платит. У нас в России те же 100Мбит бесплатно, а выделенный 1Гбит 27000р.
Пусть в России хостятся раз такое дело. :)
GooFFu
это немного разный трафик
aPiks
В прошлом году один стартап онлайн платежей заплатил Амазону за передачу данных 22 тыс евро за месяц. При этом цена для них была где-то 0.05 $ за гигабайт. Считайте. Ну и чисто ради интереса, можете посчитать сколько по времени будете на гигабите передавать этот объём...
А вообще, статья с наездом на Амазон, мол цены гнёт, потому что знает, что от него никуда не уйдут. Но на самом деле, антимонопольный комитет должен присмотреться как раз таки к стае недохостеров, которые объединились против и демпингуют.
А сидят все на Амазоне не потому что не могут съехать, а потому что ничего лучше и удобнее на рынке нет. Было бы невыгодно - бизнес уже бы всё подсчитал и перенёс всё в другое облако/к другому хостеру.