Особенности телеком-рынка, MVP на старте и инженеры, которые умеют в Kubernetes. Руководитель отдела специальных проектов и клиентских решений Selectel Александр Худяков рассказал, как компания создавала новый регион облачной платформы в Ташкенте и почему сложностей с его железным «фундаментом» было больше, чем с виртуализацией.

Почему Узбекистан

Selectel давно рассматривал возможность предоставлять услуги не только в России, но и в странах ближнего зарубежья. На тот момент у компании было шесть дата-центров — в Москве, Санкт-Петербурге и Ленинградской области, а также регион облака в одном из ЦОДов Новосибирска.

Несколько лет назад Selectel начал изучать потенциал рынков близлежащих к России стран. В пользу Узбекистана было несколько факторов:

Рост цифровизации в стране. В 2019 году в Ташкенте открылся IT Park — своеобразный инкубатор для технологичных стартапов в стране, в духе «Сколково». И его руководство, и резиденты были заинтересованы в сотрудничестве с провайдером инфраструктуры.

IT Park в Ташкенте. Источник

Утверждение закона о хранении персональных данных. В том же году в Узбекистане приняли закон о хранении персональных данных — ЗРУ-547-сон (аналог российского 152-ФЗ). На тот момент местные компании обычно пользовались услугам международных провайдеров типа Digital Ocean, Hetzner, OVH, AWS. Появление закона обязывало их искать инфраструктуру под хранение личных данных на территории Узбекистана.

Низкая конкурентность рынка. В стране немало провайдеров инфраструктуры, но, как правило, они предлагают исключительно vps (virtual private server) — отдельные серверы с ограниченным функционалом под базовые задачи. Selectel же был готов предлагать полноценную инфраструктуру: виртуальные серверы, облачные базы данных, Managed Kubernetes и другие услуги.

Наличие «местного» эксперта. В Узбекистане был представитель, хорошо знакомый с рынком. Его рассматривали как проводника в локальный бизнес.

Все эти пункты доказывали: услуги Selectel могут быть полезны локальному рынку. И Узбекистан — хорошее место для масштабирования облака компании и «тестирования» удаленного облачного региона

Ограничения

В Узбекистане дорогой интернет, поэтому пропускная способность каналов и лимиты по объему трафика — одна из болевых точек местных провайдеров и одновременно способ отстроиться от конкурентов. Если в Санкт-Петербурге, например, пропускная способность в интернет — до 1 Гбит/с, то для большинства провайдеров в Узбекистане она составляет от 10 Мбит/с до 100 Мбит/с.

«Мы решили, что сразу будем предоставлять по максимуму, — говорит Александр Худяков. — Поэтому скорость Интернета “по умолчанию” у нас равна 100 Мбит/с. Лимит бесплатного трафика в месяц — 3 ТБ».

Еще одна особенность, непривычная для России: чтобы поднять VPN-соединения, нужно получить официальное разрешение у государственного провайдера «Узбектелеком». Любой UDP-трафик в VPN-туннеле, который не одобрен оператором, будет заблокирован. Весь внешний трафик местных провайдеров проходит через маршрутизаторы государственного оператора.

Если на пограничных роутерах «Узбектелекома» происходит какая-то поломка, связь Узбекистана с миром так же падает. Если ты провайдер инфраструктуры в Узбекистане, нужно быть к этому готовым: можно гарантировать отказоустойчивость инфраструктуры внутри страны, а вот контролировать устойчивость внешних коммуникаций будет сложно.

MVP

Начали с более предметного прощупывания почвы. Одно дело — предполагать спрос, другое — столкнуться с реальностью.

На старте обдумывали формат предоставление услуг: выбирали между неким «коробочным» SaaS — с набором сервисов типа GSuite под задачи местного бизнеса — и классическим IaaS. SaaS-сервис не достиг ожидаемых результатов, поэтому решили предоставлять услуги, где у Selectel «железная» репутация.

В качестве MVP выступило облако Selectel, но не в виде нового региона в панели управления my.selectel.ru, а отдельной инсталляции, не связанной с остальными регионами облачной платформы. Для начала поставили в Ташкент не очень большие хосты, которые было достаточно просто и дешево ввезти. Также разработали отдельную панель управления, не связанную с my.selectel.ru. Здесь не было плавающих IP (каждому клиенту создавалась публичная подсеть), VRRP, виртуальных роутеров. Не было и привычной клиентам Selectel модели оплаты по потреблению (pay-as-you-go).

MVP себя оправдал — все ресурсы были распроданы. Selectel вышел на рынок Узбекистана под собственным брендом, поэтому на стороне компании были репутация и большой опыт в предоставлении IaaS-услуг.


«Мы предложили Узбекистану не только многолетний опыт работы с компаниями разного профиля и техническую поддержку, но и возможность создавать полноценную инфраструктуру в облаке. Клиенты Selectel в Ташкенте могут гибко изменять конфигурацию сервера, собирать виртуальный сервер по “индивидуальным меркам”, использовать их в связке с PaaS-сервисами типа Managed Kubernetes, хранить данные клиентов в соответствии с законом», — рассказывает Александр Худяков.

Полноценный регион uz-1

В апреле 2021 года Selectel решил создавать новый регион в составе облачной платформы в Узбекистане — uz-1. По надежности и функциональности он должен соответствовать облаку в Москве и Санкт-Петербурге.

В терминологии провайдера регион — это группа оборудования, которая размещена в отдельном дата-центре. Каждый регион имеет обособленное от других подключение к линиям электроэнергии, автономные источники электропитания и охлаждения, а также выделенные каналы связи. Таким образом, возможный сбой в одном дата-центре не повлияет на все регионы — это базовое требования для обеспечения отказоустойчивости облака.

Развернули облако

Еще в 2020 году Selectel озаботился разработкой модели облака, в котором будет несколько сильно удаленных друг от друга регионов. Это было важно для дальнейшей экспансии бизнеса компании. Удаленные регионы должны работать так же надежно, как в собственных дата-центрах компании в Москве и Санкт-Петербурге. У Selectel был опыт создания облака в Новосибирске, но впервые новый регион запускался за пределами России.

Техническая сторона создания нового региона в облаке, если это не в первый раз, — не самая сложная. Разработчикам облачной платформы не нужно ездить для этого в Ташкент — все удаленно. В отличие от инженеров компании, которые посетили дата-центр, где размещались физические серверы под регион облака. Им нужно было проконтролировать их подключение и работу.

Каждый регион в Selectel делается по образу и подобию — кастомизация будет с большой вероятностью костыльной и сложной в поддержке. Важно, чтобы регионы были равноправны в числе облачных сервисов и одинаково управлялись через control plane – панель управления my.selectel.ru.

Так это выглядит в панели управления. Облачный сервер можно создать в любом из регионов Selectel.

Программная часть создания облака заняла около трех недель. Нередко запустить сервис в новом регионе можно быстрее, чем в уже сформировавшемся. Когда в регионе еще нет клиентов, сервисы, которые работают с данными, запускать проще. В целом, запускать что-то с «нуля» легче, чем адаптировать к проду. Так, например, бэкапы по расписанию в Ташкенте появились раньше, чем в Москве.

Подготовили инфраструктуру

Больше времени заняла организация именно физической составляющей облака.

Под этот проект выделили десяток «жирных» серверов с многоядерными процессорами AMD 7742: частота 2.3 ГГц, SSD-диски Micron 7300 PRO, память DDR4 2933 МГц. На этих мощных машинах можно было «поселить» много клиентов, причем «соседей» они бы даже не почувствовали. Выбор конфигурации серверов помог экономнее разместиться в дата-центре.

Выбрали дата-центр

Еще одна задача — найти подходящий дата-центр в Узбекистане, который бы удовлетворял требованиям Selectel по охлаждению оборудования, системам резервирования, квалификации сотрудников.

ЦОДов в Узбекистане не очень много — есть дата-центры местных провайдеров, есть модульный ЦОД от Huawei, который ввели в эксплуатацию в 2021 году. Еще несколько перспективных объектов сейчас строятся.

Выбранный Selectel дата-центр — UZINFOCOM — хороший вариант по соотношению качества и цены. Кроме того, инженеры Selectel сделали регион в облаке отказоустойчивым.

«Резервирование оптических каналов мы делали самостоятельно: выбрали второго интернет-провайдера, который проложил дополнительные каналы по нашему запросу. Это было необходимо для повышения стабильности оптической сети. Серверы, на котором создан регион, стоят в разных стойках дата-центра, поэтому базовое резервирование есть и на уровне инфраструктуры», — объясняет Александр Худяков.

В UZINFOCOM есть системы резервирования электроэнергии с ДГУ. Благодаря этому, когда не так давно в Ташкенте было массовое отключение электричества, клиенты облака Selectel этого не заметили — все работало.


Кроме того, в этом дата-центре квалифицированные инженеры, что было одним из важных требований к подрядчику. У них большой опыт работы с серверами, они хорошо знакомы с современным программным обеспечением и концепциями в разработке. Большинство сотрудничают с зарубежными провайдерами, поэтому хорошо владеют английским языком.

Клиенты

Selectel планирует масштабировать регион. Сейчас среди клиентов uz-1 — местные и российские компании, которые развиваются в Узбекистане.

Подавляющее большинство клиентов — средний и малый бизнес, но есть и несколько крупных игроков — например, сеть розничных магазинов. Разброс сфер большой: есть несколько ритейлеров, представители e-commerce, компании, которые разрабатывают ПО и занимаются финансовыми услугами, промышленные предприятия.

Планы

На данный момент в Узбекистане представлены почти все облачные сервисы Selectel, доступные для клиентов других регионов облачной платформы. Пока нет специфических IaaS-продуктов типа виртуалок с GPU или высокочастотных инстансов HighFreq Line. Но и спроса на них тоже пока нет.

Помимо укрупнения региона, в планах компании — предоставить клиентам все PaaS-сервисы. Сейчас в uz-1 доступна услуга Managed Kubernetes — в 2021 году Selectel занял первое место в рейтинге провайдеров Kubernetes от Cnews. На очереди к подключению в Узбекистане — облачные базы данных и объектное хранилище.

Если вам не хватило какой-то информации о новом регионе и облачной платформе Selectel, задавайте вопросы в комментариях. Ответим развернуто и быстро!