Весной в Технократию пришла задача: есть 1500 организаций по всей России, каждая должна уметь автоматически отслеживать активность пользователей. Организации присылают видео со своих офлайн-площадок, а дальше дело за нами: принять, валидировать, вытащить нужные данные. Так начиналась эта история. Меня зовут Руслан Абдуллаев, я DevOps в Технократии, и сейчас расскажу, что мы с этим делали.

Инструменты

Первым делом проспойлерим технологии этого проекта — дань уважения самым нетерпеливым. Для обработки видео остановились на продуктах Visionlabs, а именно Luna Platform и Facestream. Тут обязательно наличие CentOS на серверах и AVX2 инструкций процессора. Система хранения данных — облачное хранилище от Selectel. Ну и весь наш бекенд на питоне. Связка оказалась рабочей, так что переходим к подробностям.

Система хранения 

Клубок начали разматывать со стороны организаций. Решили, что им для  загрузки видео подойдет FTP — это просто, и с большой долей вероятности каждая из 1500 организаций найдет себе разбирающегося специалиста для настройки. 

Но удобно должно быть и нам,  а FTP — не лучший вариант для нашего бэкэнда. То ли дело какой-нибудь S3. Тогда мы подумали: хорошо бы найти систему, которая комбинирует оба способа. И такая система нашлась — облачное хранилища от Selectel.

Пришли к выводу, что оптимально заводить один облачный контейнер на каждую организацию, присваивать ей уникальный логин и пароль с доступом для загрузки в свой контейнер. Также назначили суперюзера, которого дали нашему бекэнду для доступа по S3 во все контейнеры.

Осталось всего ничего: завести 1500 контейнеров, прописать 1500 пользователей с правами. Звучит не очень весело, но делать это руками конечно же мы не будем. Раскурили API селектела и проработали структуру вложенных папок-контейнеров. На этой основе написали скрипт. 

Фактически мы вытащили id всех организаций из базы и обычным циклом прошлись по ним, создавая облачные контейнеры и их структуру. Очень удобно. Стоит уточнить, что у селектела есть ограничение на 2000 контейнеров, но поддержка идет на встречу и готова расширить лимит.

Дальше мы описали систему аналитикам, а они написали нужные инструкции уже для организаций. По ним любой человек с минимальными знаниями сможет работать с системой. 

Сейчас мы получаем 200-300 ГБ данных в день.

Система обработки видео

Со стороны архитектуры внедрение Luna Platform и Facestream довольно простая задача. Поэтому я опишу схему работы всей нашей системы.

Для начала на основе документации и наших тестов этих продуктов мы рассчитали мощности серверов, которые будут быстро обрабатывать данные. Для Luna Platform взяли рекомендованную вендором конфигурацию: 8 ядер, 32 Гб оперативки и 400 Гб быстрого SSD, чтобы выдержать частые обращения к базе. 

А вот с Facestream пришлось подумать, потому что основная нагрузка по обработке приходится именно на него. При этом важно, чтобы обработка не затягивалась по времени. Выход — обрабатывать несколько видео параллельно. 

Провели тесты и выяснили: для параллельной обработки 20 видео нужно 24 ядра и 36 Гб оперативной памяти. Этого вполне хватает, чтобы обрабатывать все полученные видео в течение дня. Нам этого достаточно.

ВАЖНО! Не забываем уточнять у хостера модель процессора: без AVX2 инструкций ничего работать не будет. Они сейчас есть почти везде, но уточнить надо. И обязательно берем CentOS.

Подняли сервера и накатили туда эти продукты. Задача тривиальная. Главный совет —  грамотно рассчитать мощность для параллельной обработки. После осталось подружить наш основной бекэнд со всеми этими облаками и обработчиками видео. 

Для этого написали микросервис, который предоставляет собой довольно высокоуровневую абстракцию над Luna Platform и Facestream. По сути это апишка, в которую удобно закидывать задачи на обработку данных нужным нам образом. Добавили в шедулер основного бэкэнда таску, которая обходит данные в облаке и отсылает новые в написанный  микросервис.

Кстати, недавно столкнулись с проблемой: Facestream потребляет больше трафика, чем ожидалось. Изначально предполагали, что количество трафика будет сопоставимо количеству данных, которые хранятся в контейнерах Но в один из дней Facestream неожиданно потребил в 3 раза больше, чем мы ожидали. Это было странно и причину мы пока до конца не выяснили. 

Какие советы мы можем дать? 

•  Используйте лицензии на основе доменного имени машины, а не fingerprint сервера: она работает куда стабильнее. 

• При закладывании бюджета на хранилище селектела учитывайте стоимость трафика. Не всегда трафик равен количеству данных.

• Про мониторинг и бекапы думаю и говорить нечего.

Также подписывайтесь на наш телеграм-канал «Голос Технократии». Каждое утро мы публикуем новостной дайджест из мира ИТ, а по вечерам делимся интересными и полезными мастридами.