Пользователи часто поднимают вопрос неадекватной стоимости исходящего трафика (egress) у отдельных облачных провайдеров.

Если обычные хостеры не тарифицируют этот трафик, то некоторые другие сервисы устанавливают специальные тарифы. Как показывает практика, это может стать неприятным сюрпризом для клиентов.

Вот таблица со стоимостью 1 ТБ трафика на февраль 2024 года для некоторых облачных провайдеров:

Облачные провайдеры обычно разделяют входящий (ingress) и исходящий (egress) трафик. Как правило, первый бесплатен и не тарифицируется, а второй зачастую платный.

Внешний трафик обозначает данные, которые покидают внутреннюю сеть облачного провайдера и уходят в открытый интернет. Это может быть трафик от провайдера к пользователям или между провайдерами.

Плата за внешний трафик — одна из тех статей расхода, которые трудно контролировать, потому что он довольно непредсказуемый. В один день вы можете проснуться и обнаружить, что ушли в глубокий минус, а провайдер или выставит огромный счёт, или отключит сайт за неуплату.

Большинство облачных провайдеров предоставляют определённый объём исходящего трафика бесплатно. Например, 100 ГБ/месяц на аккаунт или в зависимости от количества серверов (например, 1 ТБ/месяц на сервер).

Есть некоторые способы, как сократить расходы по этой статье: использовать CDN в качестве кэша, сжимать данные перед отправкой (Gzip и Brotli), настроить оповещения об использовании и выставлении счетов, чтобы уведомлять о приближении к бесплатному лимиту или определённому порогу.

▍ Печальные инциденты

Недавно разразился целый скандал, когда Netlify выкатила счёт $104 тыс. за статический сайт, который размещался на бесплатном тарифе. В детализации указывалось, что он израсходовал 190 ТБ трафика за четыре дня:



Первой мыслью незадачливого пользователя было то, что на сайт организована мощная DDoS-атака. Поскольку Netlify берёт по $55 за каждые 100 ГБ трафика сверх лимита, вот и образовалась такая внушительная сумма. Но зачем кому-то атаковать простой статический сайт, который четыре года спокойно жил на бесплатном тарифе. Его дневная аудитория никогда не превышала 200 человек, а месячный трафик всегда укладывался в 10 ГБ.

Техподдержка взглянула на логи и подтвердила, что это действительно была DDoS-атака. С сервера непрерывно скачивали 3,44-мегабайтный звуковой файл .mp3 (он ещё остался в репозитории), что и генерировало такой трафик.



Техподдержка пояснила, что в таких случаях они идут навстречу пользователю — и взимают всего 20% от счёта, а с учётом большой суммы могут сделать скидку ещё 5%, так что ему останется выплатить всего $5000.

Netlify — это облачная платформа разработки, которая предлагает сборку, развёртывание и бессерверные бэкенд-сервисы для веб-приложений и сайтов. Платформа позволяет создавать и разворачивать сайты из файлов в системе контроля версий Git, которые затем генерируются в файлы статического веб-контента и раздаются через CDN. Есть также дополнительные функции для создания динамических веб-сайтов с интерактивными возможностями.

Когда вам предлагают разместить сайт на «бесплатном» тарифе, но вы рискуете заплатить тысячи долларов за трафик, это желательно специально оговаривать в договоре. Пользователь не считает, что виноват в этой ситуации. В итоге он решил не оплачивать счёт, а переехал на другой хостинг.

История получила большой резонанс. Директор Netfly даже пришёл в обсуждение на форуме HN, чтобы оправдаться в комментариях. Он сказал, что у них на хостинге такая политика — не отключать сайты на бесплатном тарифе, если они выходят за границы бесплатного трафика. Если потом выясняется, что трафик сгенерировала DDoS-атака, то они просто аннулируют счёт. Здесь тоже в конце концов техподдержка согласилась аннулировать счёт и не подавать в суд на пользователя. Им ещё посоветовали отредактировать страницу с ценами, потому что в нынешнем виде выглядит так, словно вообще ни за что платить не придётся:



Это не единственная такая история. Поэтому служба поддержки Netlify рекомендует устанавливать верхнюю границу трафика, по исчерпанию которой сайт будет временно отключён.

▍ Экономия за счёт своего сервера

Плата за трафик — одна из главных причин, чтобы не переводить в облако полностью всю инфраструктуру.

Если компания полностью уходит в облако, то расходы рискуют быстро выйти из-под контроля. На том же AWS под сотню разных сервисов, у каждого свои тарифы. В интернете можно найти много советов, как сократить расходы, если локализовать на своём хостинге часть облачных услуг или просто оптимизировать их использование.

Например, компания Ahrefs рассказывает, как потенциально сэкономила $400 млн за счёт отказа от облака. Вместо этого они сняли в аренду место в сингапурском ЦОДе и поставили туда несколько десятков серверных стоек со своими серверами, на фото:



Затем подсчитали свои расходы — и сравнили со стоимостью таких же услуг в AWS. Все серверы были примерно одинаковой конфигурации, только CPU были двух поколений, но с одинаковым количеством ядер. На каждом стояло по 2 ТБ RAM, по два порта 100Gbps и примерно по 16 накопителей ёмкостью 15 ТБ каждый.

Если разделить стоимость сервера на предполагаемый срок его службы (пять лет), то можно рассчитать цифру ежемесячных расходов на него. В данном случае «стоимость» сервера составляет $1025 в месяц, а ещё $524 в месяц — расходы на аренду и обслуживание места, электричество и прочее:


К сожалению, Amazon не предлагает в аренду инстансы с таким количеством процессорных ядер. Но если взять что-то наиболее близкое, то можно найти инстанс EC2 c 1 ТБ RAM. Также следует зарезервировать дисковое хранилище EBS аналогично объёму дискового массива на серверах, делённому на два: (1*1 ТБ + 16*15 ТБ)/2 ≈ 120 ТБ на сервер.

В итоге расходы вышли на порядок больше. Если точно, разница в 11,4 раза, то есть сервер в облаке стоит примерно как 11 собственных серверов:


И это даже без учёта исходящего трафика и некоторых других услуг, за которые AWS может выставить счёт в такой ситуации.

Компания подсчитала, что за два с половиной года работы своих 850 серверов они потенциально сэкономили на услугах AWS более $400 млн. Такая огромная цифра получилась из-за большого количества серверов в собственности у этой крупной компании с оборотами в сотни миллионов долларов. Возможно, эти расчёты верны только для очень крупных компаний, но факт остаётся фактом: при использовании облачных услуг их бизнес вообще был бы убыточным. Для маленькой фирмы экономия будет не такой значительной, но сэкономленные деньги не отличаются от заработанных.

Или другой пример: экономия на облачных услугах за счёт запуска собственной СУБД (на своём хостинге). Вместо AWS Aurora с PostGIS компания Hivekit разработала собственный бэкенд для геопространственных данных, максимально оптимизированный. Каждая запись в минимальном бинарном формате имеет примерно такой вид (каждый блок представляет байт):



Расходы на собственные серверы оказались примерно в 50 раз меньшими, чем оплата облачных услуг (без учёта расходов на разработку и поддержку системы).

В наше время большинство веб-приложений может работать на одном сервере (VPS). Это значит, что для абсолютного большинства компаний расходы на хостинг можно свести к минимуму, если не переусложнять его сверх меры. Даже самый дешёвый сервер способен обслуживать больше тысячи запросов в секунду.

Бенчмарки VPS на разных хостингах помогают выбрать наиболее выгодный вариант по соотношению цена/производительность. Ну а плата за трафик в таких тарифах, как правило, вообще отсутствует.

К счастью, уход из облака к другому хостинг-провайдеру сейчас можно совершить бесплатно. В марте 2024 года AWS отменила плату за выгрузку данных при переезде на другую облачную платформу. Месяцем ранее Google тоже прекратила взимать плату за передачу данных из Google Cloud при переезде (в течение 60 дней после подачи заявления). В нашем блоге публиковалась инструкция, как перенести файлы с одного облака на другое минуя свой ПК.

В 2018 году Cloudflare основала Bandwidth Alliance, члены которого пообещали снизить или отменить плату за исходящий трафик. Туда вошли Google, Alibaba, Microsoft и Oracle, но компания Amazon пока воздерживается от участия.

Telegram-канал со скидками, розыгрышами призов и новостями IT ?