Бесчисленное множество популярных сайтов (Reddit, Spotify, Twitch, Stack Overflow, GitHub, gov.uk, Hulu, HBO Max, Quora, PayPal, Vimeo, Shopify, Stripe, weather.com…) сегодня внезапно начали работать с перебоями. Причиной проблем оказались неполадки в работе Fastly, популярного провайдера CDN.
В данный момент известно, что проблема оказалась «глобальной» и охватила всю сеть серверов. Компания утверждает, что нашла проблему и уже применила некий фикс. По словам представителя компании, проблема заключалась в некоей неправильной настройке конфигурации сети. Сейчас доступ к большинству сайтов постепенно восстанавливается. Всего проблемы с доступом удалось устранить менее, чем за час.
Сети доставки и распределения содержимого решают проблему медленного доступа к сайтам. CDN состоят из множества серверов, уменьшающих количество хостов (хопов) между конечным потребителем и сервером, а также кэширующих содержимое сайтов. В результате скорость загрузки содержимого увеличивается, а нагрузка на оригинальные сервера уменьшается. Естественно, всё это работает, только если у провайдера такой сети нет проблем – в противном случае пропадает доступ сразу ко множеству сайтов. Усугубляется это тем, что такими сервисами пользуются в основном популярные сайты.
CDN предлагают и другие услуги, вроде защиты от DDoS-атак, файрволы и прочую защиту от злоумышленников. В числе популярных провайдеров кроме Fastly находятся Cloudflare, CloudFront от Amazon Web Services и Akamai.
Компания Fastly популярна среди новостных сайтов и других СМИ. В 2019 году компания вышла на биржу. Сегодня её акции стоят порядка $50 за штуку.
В данный момент известно, что проблема оказалась «глобальной» и охватила всю сеть серверов. Компания утверждает, что нашла проблему и уже применила некий фикс. По словам представителя компании, проблема заключалась в некоей неправильной настройке конфигурации сети. Сейчас доступ к большинству сайтов постепенно восстанавливается. Всего проблемы с доступом удалось устранить менее, чем за час.
Сети доставки и распределения содержимого решают проблему медленного доступа к сайтам. CDN состоят из множества серверов, уменьшающих количество хостов (хопов) между конечным потребителем и сервером, а также кэширующих содержимое сайтов. В результате скорость загрузки содержимого увеличивается, а нагрузка на оригинальные сервера уменьшается. Естественно, всё это работает, только если у провайдера такой сети нет проблем – в противном случае пропадает доступ сразу ко множеству сайтов. Усугубляется это тем, что такими сервисами пользуются в основном популярные сайты.
CDN предлагают и другие услуги, вроде защиты от DDoS-атак, файрволы и прочую защиту от злоумышленников. В числе популярных провайдеров кроме Fastly находятся Cloudflare, CloudFront от Amazon Web Services и Akamai.
Компания Fastly популярна среди новостных сайтов и других СМИ. В 2019 году компания вышла на биржу. Сегодня её акции стоят порядка $50 за штуку.
enekeysik
Ничего надежнее и проще чем физического дедика нет.
Greendq
До тех пор, пока у вас не миллионы и десятки миллионов посетителей в день. Тогда вам потребуются дедики по всему миру.
enekeysik
Заказать по всему миру разве проблема? И зачем?
Облачко — это виртуализация где всегда будет миллион точек отказа, оверселинга, и взлома.
Дедик — единственная точка отказа это сеть или питание (что у облачка есть и ещё более зависимо).
enekeysik
ax101 hetzner — ryzen 5950x, 128Gb, 2x 4tb nvme, 1 гбит безлим — 94 евро мес
aws ec2 — 32 потока, 128гб, 8000гб диск, 100 тб трафика — 2000 баксов в месяц за виртуалку на мертвом процессоре с соседями.
Если работаешь на дядю и тратишь не свои деньги то конечно разницы нет, проще покликать кнопки в биллинге и пойти домой.
enekeysik
browser.geekbench.com/v5/cpu/8304964 — ryzen 32 потока 94 евро/мес
browser.geekbench.com/v5/cpu/8203377 — aws 72 потока 24000 долларов/мес
И месяц аренды стоит десяток райзенов.
baldr
И точно так же у того же Hetzner может и дата-центр сгореть (привет, OVH?) и гроза в него ударить (AWS) и кабель повредить (у кого только не было). Или снова на глобальном маршрутизаторе правило ошибочное зальют (как, возможно, было и сегодня).
И тогда дедик ваш будет так же грустно стоять в темном ДЦ вместе с серверами из "облака".
Только облако могут забэкапить средствами того же провайдера и отзеркалить в соседний ДЦ (зависит от плана, конечно же).
enekeysik
Если для тебя переплата в 20-200 раз приемлема в угоду полной потери резервирования (аккаунт без проблем могут отключить или выставить огромный счет или упадет вся сеть как сегодня), то конечно проще все держать внутри одного облачка. А если не лень за пару часов заказать нормальный дедик и настроить репликацию/выгрузку бекапов, то можно экономить и получать нормальный сервис.
baldr
Вы правда не понимаете разницу между облаком и выделенным сервером (это не вопрос).
И вы правда думаете что облака — это для отмывания денег?
И, по сути вопроса — как вообще поможет выделенный сервер для проблемы в статье? К чему вы вообще это упомянули?
enekeysik
Тем что облачко не имеет ничего общего с надежность, скоростью, экономией и упасть может все. Так зачем переплачивать за медленное облачко когда можно взять нормальные дедики? Даунтайм бывает везде и нужно относиться к этому как факту который будет всегда с вашим проектом, и переплата в 20-200 раз в облачке не спасет от даунтайма. Единственный человек кто может обеспечить стабильность вашего сервиса — это вы, а не кто то в мифическом облачке которое по факту обычный дедик поделенный на виртуалки с функцией бекапа который в баш занимает пару строк.
baldr
Давайте сделаем так: вы пойдете поработаете, например, в одну из компаний из статьи (Reddit, Spotify, Twitch, Stack Overflow, GitHub, gov.uk, Hulu, HBO Max, Quora, PayPal, Vimeo, Shopify, Stripe, weather.com) в отдел Operations, а через пару лет вернетесь сюда и мы продолжим этот разговор.
[для контекста] Например, я работал 8 лет в достаточно крупном телефонном провайдере и отвечал за проект, который управлял развертыванием примерно 4тыс серверов на продакшене (и в 3 раза больше на тестовых). Я считаю, что могу утверждать, что ваши аргументы, во-первых, неверны. А, во вторых, никак не применимы для проблемы из статьи.
К сожалению, мне не хочется долго убеждать кого-то в интернете что он неправ, так что спор продолжать и искать для вас аргументы я не собираюсь, извините.
enekeysik
Мы не знаем цен по которым арендуют мощности сервисы которые вы написали, я уверен что им сделали очень существенную скидку в обмен на рекламу, чтобы такие как вы смотрели где расположены топ ресурсы и бежали к их хостеру. Арендовать на месяц 1000 (помним что авс в 4-8 раз медленнее нормального дедика) будет тоже дешевле чем вдс в авс, но опять же смысл экономить деньги компании если дядя оплатит? Маркетологи авс очень хорошо поработали, продавать меньше за больше, мечта для всех, которую авс реализовали для себя.
Layan
Вот только нужно учитывать, что AWS имеет очень много сервисов, позволяющих экономить на инфраструктуре для мелких компаний. Которым дешевле отдать несколько сотен AWS, чем держать человека на зарплате.
Сколько нужно усилий, чтобы поднять нормальный Load Balancer, сервера в нескольких AZ и развернуть приложения в контейнерах на своих серверах? А потом повторить это в изолированной сети для тестового окружений. И еще раз для разработки.
У нас это заняло около недели просто потому что есть готовые решения типа ECS, RDS, ALB.
И да, мы переезжали со своих физических серверов, потому что нам не нужен мощный сервер. Куча мелких, но быстро разворачиваемых в автоматическом режиме и с нормальной балансировкой нагрузки.
Итогово не нужна куча обслуживающего персонала. Не проблема, если сервер падает. И мы можем отключать около 80% мощностей в тот период, когда нагрузок планово нет.
eumorozov
Не один раз сталкивался с тем, что стартапы начинали с AWS, потому что «круто и на слуху», но спустя год-два переходили на что-то другое, включая выделенные сервера.
Потому что ну правда облако — очень дорого. Плюс, по моему опыту, в облаке создаются какие-то конфигурации, временные, тестовые, не самые оптимальные. Даже в небольшой компании всё это быстро разрастается, и имеем какой-нибудь сервер, который обслуживает десятки тысяч запросов в день, но при этом стоит несколько сотен долларов в месяц. Я лично не один раз распутывал такие конфигурации. Это требует времени, усидчивости, аккуратности.
А AWS то что? Кто-то из разрабов поиграл с какой-то новой возможностью, да и забыл грохнуть после себя. А в счёт капает несколько долларов или десятков долларов годами. А в сумме набегают тысячи.
На предпоследней работе мне поручили разобраться со всеми ресурсами компании на AWS. Я потратил довольно много времени на разбирательства, на переносы серверов и конфигураций (точно уже не помню, 1-2 недели где-то, перемежая с другими рабочими задачами). Ежемесячный счёт уменьшился с почти $10,000 в месяц до какой-то суммы в районе $600-800 (за два года уже не помню точные детали) без снижения удобства и производительности. Часть серверов была вынесена с AWS полностью, при этом они стали гораздо отзывчивее.
Да, для большой компании возможно нет разницы, списывать $10,000 или в 10 раз меньше (хотя у них и разница будет больше), но для маленькой компании это очень много. На эту экономию мы могли взять несколько дополнительных разработчиков, которых всегда не хватало.
В общем, я не люблю AWS. Есть у меня еще истории, когда у меня Amazon RDB тратило ресурсы как не в себя, приходилось ежемесячно вваливать всё больше денег, при этом нагрузка была очень скромной. В причинах разобраться так и не удалось, вместо RDB был куплен виртуальный сервер, на котором база начала летать и не требовать вообще никакого внимания. Поскольку это происходило в условиях жесточайшего кранча, так и не удалось понять, почему же RDB не мог осилить такую небольшую нагрузку. Но с другой стороны, на то и существует RDB, чтобы ты типа платил деньги и ни о чем не думал. Однако, это сработало ровно наоборот, RDB требовал несколько часов внимания каждый месяц, и кучи денег.
В общем, у меня остался осадок, и я никак не могу понять, почему так много людей сразу начинает с AWS.
baldr
А вот с вами, кстати, я соглашусь, в отличие от предыдущего комментатора. Для больших компаний иногда выгоднее построить свою инфраструктуру самим, но это если и правда вы готовы отвечать за SLA.
AWS — это дорого, но если у вас не такие большие штаты, то, поверьте, это окупается.
Сейчас я, практически, единственный инженер/программист/архитектор/сисадмин в не очень большой инвестиционной компании. Если бы не AWS, то многие проблемы было бы довольно тяжело исправлять и вообще ухаживать за хозяйством. Всего 4-6 серверов, кстати.
С тем же RDB (наверное, имелся в виду RDS?) у меня очень хороший опыт. В том смысле что именно "поставил и забыл". Я не люблю настраивать базы, но если бы у меня был Postgres на отдельном сервере, то я примерно представляю сколько сил у меня бы отняло то, что с успехом (и с гарантией) делает RDS.
На AWS есть спотовые сервера — они тоже хорошо решают свою задачу и в 10 раз дешевле. Был проект, в котором на короткое время надо было быстро поднимать, скажем, 200 серверов, выполнить на них какие-то вычисления и прибить. Через AWS API это решается удобно и быстро.
morpheuz
Если вы практически один человек на проекте, значит и проект не большой, и не подразумевает большой нагрузки.
Мне просто, интересно, какие фичи того, же RDS Вы использовали, что нельзя было реализовать на вдс, или на дедике.
PGSQL ставится и настраивается в 3 «клика», для базовых вещей, естественно без репликации и шардинга(тут совершенно другая история)
Но нужен ли он на Вашем проекте?
baldr
Репликации нет, но база растет непредсказуемо. Была, допустим, 2Гб, сейчас почти 100. Я даже не знаю сколько точно и не беспокоюсь об этом. RDS сама меняет диск при необходимости и делает бэкапы. И я знаю что их бэкап точно можно развернуть в два клика и с этим справится и мой CTO в 2 часа ночи, а если я буду делать сам — не факт что я не забуду о чем-нибудь. И если даже все сделаю правильно — надо следить за местом, надо бэкапы регулярно тестировать, старые удалять. Я такой гарантии не дам и у меня хватает своей работы. Я слежу за нагрузкой по логам, добавляю индексы если надо, партиционирование, но это все. За пять лет сервер бы сам по себе пришлось обновлять пару раз (с даунтаймом), а здесь оно само. Все затраты клиента на аренду всех этих серверов в облаке меньше моей зарплаты, но если он захочет сэкономить и переехать на отдельные сервера — ему придется нанимать еще кого-то, чтобы следил за базами, сетью и безопасностью.
На другом проекте на относительно мелкую базу (2 CPU) внезапно приходило более 1400 входящих коннектов. Редко, но, бывает что надо. На своем сервере я бы сидел и настраивал max_connects, ставил бы pg_bouncer/pg_pool и настраивал бы уже их, либо придумывал какие-то еще способы. С RDS я не делаю вообще ничего из этого. Оно просто работает. А я делаю свою работу.
В отличие, от, кстати, Aurora, от которой только негативный опыт остался. Частые беспричинные разрывы связи, внезапные тормоза или высокая загрузка процессора… Когда-нибудь они ее, все-таки, допилят, но пока что мой опыт совпадает с отзывами других из интернета.
baldr
Но вот беда — ax101 предлагается только в ДЦ Helsinki, цена его 111 евро (+ 117.81 € setup fee) и доступен он только для предзаказа. "currently no delivery date", пичалька.
Но, предположим, нам нужны сервера в США? Или на обоих побережьях (резервирование, доступность), а еще в Европе и Японии, например?
И нужны прямо сейчас. Я не знаю почему вы выбрали именно такой сервер, но пусть нам нужны все эти 32 потока. Вам они нужны прямо постоянно и надолго? Reserved Upfront 1year для c5.18xlarge (ок, пусть будет такой, хотя вопросы к вашему бенчмарку тоже есть) — стоит $1296/mo. Нужен ненадолго, на час-день? Спотовый инстанс стоит $1.2/час. (все цены для США)
Не нравится цена за большой дорогой сервер? Проектируйте приложения чтобы работали на более мелких серверах и настраивайте auto-scaling чтобы экономить в зависимости от нагрузки. Зачем нужны 72 потока на одном сервере?
Вы боитесь DDoS-атак? Ну, для этого и есть CDN и CloudFront/Akamai, например. Выделенный сервер загнется сразу, а PayPal под DDoS продолжит принимать платежи.
enekeysik
Да, вы правы, вдс за 1300 баксов лучше будет + трафик 10 баксов за тб + защита. Я был не прав.
baldr
Еще раз — конфигурации серверов взяты из ваших исходных данных. Действительно нужна именно такая мощность на одном сервере?
Если вам он нужен для своего пет-проекта чтобы сидеть и считать модельку круглые сутки на всех ядрах — конечно, проще купить выделенный сервер и дешевле — неважно где он стоит.
Если у вас динамическая нагрузка, веб-сервера, которые обслуживают пользователей по всему миру и высокий SLA — вы будете использовать облако. Или купите дата-центр и построите свое облако там. И наймете кучу людей чтобы это обслуживать.
Стоимость эксплуатации одного сервера не равна стоимости самого сервера (или его аренды).
enekeysik
Конечно если нужны сервера по всему миру, надо везде строить свои дата центры и нанимать людей, а если нет денег на это то только облако, ведь облако обсуживать не нужно, и деградаций отдельных вдс не бывает из-за соседей, и отслеживать это не нужно. Спасибо за совет.
Greendq
Именно заказать по всему миру — не самая большая проблема (только не говорите это бухгалтерии). Самая большая проблема — управлять всем этим зоопарком.
Oll123
Дедики очень помогают при кривом анонсе BGP.
И при пожарах и наводнениях.
И при необходимости быстро и без головняка получить норм отклик во всем мире.
И при ддосе конкурента.
От всего помогают короче.
Покупайте наших
слоновдедиков.enekeysik
Конечно помогают — экономят деньги при том же уровне надежности.
Сколько будет стоить бекап 1тб данных каждый день в интернет с облачка? А пару раз в день? А 100тб каждый день?
Как облачко поможет сделать быстрый отклик во всем мире? Соседи и медленный процессор ускоряет отклик?
Сколько тысяч баксов в день будет стоить защита в облачке? (hetzner, ovh — 0$)
А если ваш ресурс в облачке начнут ддосить то сколько миллионов счет будет?
Ой а если конкурент решит с ботнета выкачивать данные с вашего сайта, на скорости 10-100гбит? Какой счет набежит за пару часов?
Oll123
Вы правы. Все вокруг заблуждаются и ошибаются, не умеют считать риски, стоимость эксплуатации и владения, а <s>640кб хватит всем</s> дедики на все ответ !
Хорошо, что у вас такой прекрасный опыт и вы работаете там где ваша позиция полностью подходит под ситуацию, а пара баш скриптов решают все проблемы :) lucky !
Я лично после вашего сообщения сразу понял - нахрен ажур и авс, весь мир нагнули маркетологи.
Дедики в хецнере помогают при проблемах cdn апстрима, а если не помогут, то сэкономим. Спасибо ! Пошел переносить инфру, так что не смогу вам отвечать в ближайшее время.
dominigato
Прекращайте людей смешить уже своими "аргументами". Облака экономят рабочую силу, которая на порядки дороже любого железа. Именно поэтому общие затраты на инфру в облаке будут меньше.