Эндрю Чен (Andrew Chen), инвестор и консультант таких технологических проектов как Dropbox, Product Hunt и Tinder, высказал мысль, что стартапы дешевле построить, чем масштабировать — затраты на сотрудников и маркетинг растут.
Однако при этом стоимость виртуальной инфраструктуры только дешевеет. В попытке привлечь компании из числа «единорогов», провайдеры снижают для них стоимость услуг.
Какие крупные зарубежные стартапы уже перешли на виртуальную инфраструктуру? Почему им это было выгодно? Разбираемся ниже.
/ фото jahiro97430 CC
Кто выбирает виртуальную инфраструктуру
В начале этого года компания, управляющая мобильным мессенджером Snapchat, подписала соглашение с Google. Согласно условиям сделки, Snap обязуется тратить не менее $400 млн. в год в течение пяти лет на облачные сервисы Google.
Snapchat использует виртуальную инфраструктуру для большинства своих операций: хранения и управления данными, анализа и обеспечения безопасности. Накануне IPO Snap также стало известно об аналогичной сделке компании с Amazon стоимостью $1 млрд.
Таким образом, в течение ближайших пяти лет Snapchat потратит $3 млрд. на запуск и поддержание своих сервисов в облаке.
/ фото Marco Verch CC
.jpg){kind=link}
Годом ранее Netflix завершил свою долгую миграцию на виртуальную инфраструктуру Amazon. С 2016 года все важные процессы — от управления трансляцией потокового видео до поведенческой аналитики и менеджмента данных о сотрудниках и клиентах — происходят в облаке. Netflix принял решение сократить число собственных дата-центров с более активным переходом на арендованные мощности. Помимо этого сервис развивает CDN Open Connect.
В 2016 году компания Uber после семи лет своего существования также решила перейти на облачную инфраструктуру. Основные функции приложения образуют единый сервис заказа такси в виртуальной среде. Uber еще не сделал выбор в пользу того или иного поставщика, поэтому за обслуживание компании, которая присутствует в 70 странах мира, сражаются основные игроки рынка.
По словам Майка Кертиса (Mike Curtis), вице-президента по технологиям в Airbnb, их сервис для размещения и краткосрочной аренды жилья с начала своего существования работает на виртуальной инфраструктуре. Молодой стартап в 2008 году выбрал облако вместо собственного оборудования, и сегодня ни один член технической команды Airbnb не тратит время на обслуживание корпоративных серверов.
В начале 2016 года о своем переезде на виртуальную инфраструктуру Google объявил стриминговый сервис Spotify. До этого момента он арендовал пространство в дата-центрах или приобретал серверное и сетевое оборудование, чтобы быть ближе к своим клиентам.
Еще один стриминговый сервис — Hulu — в этом году перевел на инфраструктуру AWS свои ключевые сервисы и приложения. Посредством облака Hulu транслирует свой видео-контент в формате Live TV.
Почему проекты выбирают IaaS
1. Гибкость
В большинстве приведенных примеров, так или иначе, решение о миграции связано с проблемами роста. Как отмечает Йишан Вонг (Yishan Wong), бывший генеральный директор Reddit, на раннем этапе жизни стартапа виртуальная инфраструктура — разумное решение. Пока неизвестен объем постоянных вычислительных ресурсов для обслуживания сервиса, предсказать перепады нагрузки трудно. Облако же оставляет возможность масштабирования.
Например, на момент окончательного перехода Netflix на AWS у сервиса было в восемь раз больше клиентов, чем в 2008 году, когда началась миграция. Компания привлекла 75 млн. подписчиков из 130 стран, приложение постоянно меняется, добавляется все больше функций, а объем данных растет. По словам вице-президента по разработке облачных решений Netflix Юрия Израилевского (Yury Izrailevsky), поддержка такого быстрого роста сервиса была бы чрезвычайно сложной на базе собственных дата-центров.
«Гибкость облака позволяет нам добавлять тысячи виртуальных серверов и петабайт памяти в течение нескольких минут, что делает возможным такое расширение», — сказал Израилевский.Переход в облако также позволил компании сократить расходы, однако Юрий видит в этом побочный положительный эффект. Готовность к масштабированию стала главным достижением Netflix.
2. Доступность
Обращаясь к IaaS-провайдеру, Uber думает в первую очередь о географической экспансии и отказоустойчивости. Например, Uber традиционно использовал гибридную облачную модель, чтобы избежать проблем с доступностью для пользователей — если один дата-центр выходит из строя, его «страхует» ЦОД из другого города. Теперь компания готова передать полномочия IaaS-провайдеру и диверсифицировать нагрузку на свои серверы.
В случае с Hulu выбор провайдера освободил компанию от необходимости создавать свои дата-центры, а продукт Live TV смог быстрее выйти на рынок и стать доступным большей аудитории. IaaS обеспечивает все требования к потоковому видео, доступность которого так же важна, как и своевременный вызов такси в случае Uber.
3. Высвобождение ресурсов
Майк Кертис объясняет причину, по которой Airbnb работает в публичном облаке, желанием сконцентрировать все усилия на решении уникальных для стартапа проблем. Техническая команда может заниматься разработкой новых продуктов вместо поддержания серверов. Преимущество Airbnb заключается в том, что компания сразу начала работать в облаке, благодаря чему ей не потребовалась миграция в дальнейшем.
4. Работа с данными
Вице-президент по разработке инфраструктурных решений в Spotify Николас Харто (Nicholas Harteau) рассказал, что решение о переходе в облака Google принято из-за инструментов для работы с данными. Spotify предлагает персонализированные плейлисты для миллионов людей по всему миру. По словам Google, «миграция на виртуальную инфраструктуру позволила компании обновить стек технологий, заменив Hadoop, MapReduce, Hive и ряд кастомных инструментов для сбора данных на более современные и эффективные аналоги» — а именно, на разработки Google.
Итак, западные компании, переходя в «облако», выбирают гибкость, доступность и возможность полностью сосредоточиться на собственных разработках.
Сокращение расходов для них — скорее приятный побочный эффект.
А как обстоят дела в России? Чем руководствуются отечественные стартапы, у которых (пока) чуть меньше возможностей, чем у Netflix? Расскажем в нашем следующем материале.
P.S. Вот еще несколько публикаций из нашего корпоративного блога:
Комментарии (20)
orcy
25.12.2017 07:45Для баланса может неплохо бы указать кто дропнул облака и использует свои сервера, вроде Dropbox (есть ли еще примеры?). Из тех кто про это пишет еще StackExchange использует свои железки, причем они подробно описывают какие и какова получается нагрузка (https://nickcraver.com/blog/)
it_man Автор
25.12.2017 10:07Да, конечно. Мы неоднократно рассказывали о таких проектах, но в рамках одной из частей нашей серии материалов обязательно разберем и такой сегмент. Все-таки здесь нужно смотреть целый ряд кейсов, поэтому эту тему логично выделить в качестве самостоятельного материала.
ikormachev
25.12.2017 21:31Все крупные проекты используют свое железо — облака выходят в 3-4 раза дороже, плюс облака — это инженеры и разработчики, на которых ты никак не можешь повлиять.
Zebradil
25.12.2017 10:02Мы тоже сейчас занимаемся миграцией на AWS. Пока что основная проблема в освоении доступных в AWS компонентов. По каждому из них есть просто тонны документации и статей, но решение конкретной проблемы порой приходится долго искать. Нередко оказывается, что предполагаемое тобой решение просто не поддерживается в конфигурации (CloudFormation), зато есть в остальных API.
FyvaOldj
25.12.2017 21:49А мы с начала 2018 года мигрируем с PaaS Google на классических хостеров.
Решение принято после того как в течение 2-х месяцев подряд нам пришлось отдать за хостинг 70% прибыли (при том что раньше это было на уровне 4-7% и потому никого не беспокоило).
Ну и с точки зрения технологий — разработчики не могут создавать сервисы тяжелых вычислений так как это очень серьезно поднимает стоимость хостинга. А эти сервисы позволили бы повысить качество наших услуг в свою очередь.
По опыту могу предложить не завязываться на специфические средства AWS а проложить стандартизирующую прокладку дающую защиту от vendor lock. Например Kubernetes, Mesos или т.п.
Или очень тщательно просчитывать завязываясь на специфические компоненты AWSZebradil
25.12.2017 23:47Согласен, что облака — это далеко не панацея и не под каждую задачу подходит.
Сейчас у нас это в рамках эксперимента проводится. Знаю, что также прорабатывается возможность использования услуг Google, но я не знаю какие уже получены выводы на этот счёт. А вообще, облачная инфраструктура с Kubernetes, Mesos и Kafka уже сейчас работает на наших собственных мощностях. И будет работать, если миграция будет признана неудачной.
ikormachev
25.12.2017 21:13Годом ранее Netflix завершил свою долгую миграцию на виртуальную инфраструктуру Amazon. С 2016 года все важные процессы — от трансляции потокового видео до управления данными о сотрудниках и клиентах — происходят в облаке.
Это ложь. У нетфликса в амазоне был очень маленький кусок сервисов (типа авторизация клиентов) и от них они собирались отказываться из-за того, что расходились с амазоном в каких-то технических аспектах. Все сервера с контентом у них на собственных физических серверах и они много чего разрабатывают для быстрой отдачи с этих серверов. Вот, в частности: medium.com/netflix-techblog/serving-100-gbps-from-an-open-connect-appliance-cdb51dda3b99ikormachev
25.12.2017 21:30А вот и пояснения самого нетлфикса на тему распространившегося мифа, что они якобы во всю используют амазон: www.networkworld.com/article/3037428/cloud-computing/netflix-is-not-really-all-in-on-amazon-s-cloud.html
FyvaOldj
25.12.2017 21:42Сорри мой инглиш. Я правильно понял что в облаках у Нетфликса только бизнес-логика а сам видео контент Нетфликс раздает со своих собственных серверов?
ikormachev
25.12.2017 21:43Да, именно так.
Actee
26.12.2017 00:44Кажется, что перенос бизнес-логики, управляющей стриминговым сервисом такого масштаба — это все-таки существенный шаг (не на пару месяцев работы и объемы данных достаточно существенные могут быть):
We rely on the cloud for all of our scalable computing and storage needs — our business logic, distributed databases and big data processing/analytics, recommendations, transcoding, and hundreds of other functions that make up the Netflix application
ikormachev
26.12.2017 07:55Кажется, что перенос бизнес-логики, управляющей стриминговым сервисом такого масштаба — это все-таки существенный шаг (не на пару месяцев работы и объемы данных достаточно существенные могут быть):
Как мне кажется, основная причина переноса бизнес-логики в AWS — это сетевая задержка. Т.е. стримить потоковое видео вы можете из единственного дата-центра, но если вы будете авторизовать пользователей по всему миру в единственном дата-центре, то из-за сетевой задержки и особенности работы TCP (установление соединений и так далее) все задачи авторизации/поиска контента и так далее у пользователя будут «тормозить». Уверен, что как только бизнес-логика станет достаточно большой задачей, нетфликс все же соберется и организует свои собственные дата-центры по миру. Во-первых, это будет дешевле, ну а во-вторых, достаточно странно платить деньги за какие-то услуги своему прямому конкуренту (Amazon имеет свой собственный видео-сервис).
navion
28.12.2017 18:02Как раз для уменьшения сетевых задержек и экономии на CDN они ставят коробки провайдерам, а остальная нагрузка там динамическая и её выгодно покупать в облаке по мере надобности.
ikormachev
25.12.2017 21:26Решил поискать информацию по Uber. И оказалось, что они также ни на какие облака не переезжают, а предпочитают строить собственные и покупать дата-центры у Майкрософта:
www.datacenterdynamics.com/content-tracks/design-build/microsoft-sells-data-center-to-uber/94260.fullarticle
Ну и пока искал информацию по стартапам в облаках, нашел статью с кричащим названием: «WHY SOME STARTUPS SAY THE CLOUD IS A WASTE OF MONEY».
www.wired.com/2013/08/memsql-and-amazon
Frenkiel estimates that, had the company stuck with Amazon, it would have spent about $900,000 over the next three years. But with physical servers, the cost will be closer to $200,000. «The hardware will pay for itself in about four months,» he says.
Общий вывод — если ваш стартап завтра может загнуться, то покупайте облака. Если планируете работать долго, то только свое железо, только хардкор.Actee
26.12.2017 00:37Кажется, вы сами себе противоречите (ссылка на ваш пост):
Подавляющее большинство ИТ-инфраструктур малого бизнеса, с которыми мне пришлось сталкиваться, имеют один существенный недостаток – они не масштабируемы. Нет, нет, проблема не в том, что к имеющимся в настоящий момент 50-ти компьютерам вы не можете подключить 51-й. Проблема в том, что заложенная изначально архитектура создает с ростом бизнеса непропорционально больше проблем и затрат, нежели приносит пользы.
ikormachev
26.12.2017 08:02Никакого противоречия с моей статьей нет. Масштабируемость — это возможность системы справляться с возрастающей нагрузкой исключительно за счет добавления аппаратных ресурсов. В моей статье описаны причины по которым в малом бизнесе масштабировать заложенную изначально инфраструктуру не получается и одна из таких причин (пункт 9 в статье) это как раз использование облачных сервисов.
lotse8
28.12.2017 13:16Решение о переходе в облака или использовании собственных решений нужно принимать не на основании эмоций или «одна фирма сказала», а на основании калькулятора. Это же бизнес, или не бизнес? Поэтому калькулятор — самый главный советчик. Причем считать надо время владения за разумный период времени, а не сравнивать только первый год.
Плюс к этому практически все облачные сервисы перед покупкой как О.Бендер «разворачивают перед нами широкие горизонты и окрашивают их в голубой и розовый цвета». А потом, когда контракт подписан на год или более, часто оказывается, что документация даже не соответствует действительности — знаем, сталкивались. И если даже калькулятор дает добро, то лучше всего стартовать с пилотного проекта и посмотреть, как хороши или не очень их сервисы и API для твоего проекта.it_man Автор
28.12.2017 13:18Все верно. Экономическое обоснование — основа принятия решений. Кстати, по этой части у нас есть специальное руководство и технико-экономические расчеты для обоснования внедрения IaaS.
FyvaOldj
А вот отсутствие доводов против как то не закончено звучит.
it_man Автор
Спасибо, что читаете! Мы планируем сделать серию материалов — во второй части расскажем про опыт российских проектов и уже далее перейдем к разбору кейсов, описывающих решение тех или иных проблем.