Нагрузка на базы данных растет с каждым днем, мы разработали простой способ быстро масштабировать ресурсы. Платформа dBrain.cloud помогает инженерам расширять базы данных и следить за их состоянием в UI, не вникая в подкапотные движения Kubernetes. Сегодня приводим кейсы реального применения консоли dBrain.
Масштабирование Cassandra и Postgres в один клик
При работе с высоконагруженными системами, используемыми в продакшене, часто возникает необходимость в масштабировании ресурсов. Если база данных начинает испытывать перегрузки, в консоли dBrain можно увеличить количество ресурсов или добавить реплики для повышения производительности.
Без консоли все эти операции пришлось бы выполнять вручную, используя командные строки для каждого сервиса. Это значительно увеличивает для специалистов порог вхождения в работу с подобными платформами, так как требует досконального знания синтаксиса и специфики работы с каждой базой данных (например, Cassandra) или системой обмена сообщениями (Kafka). Процесс декомпозируется на более мелкие составляющие (в данном случае кластеры), и инженеру приходится глубоко погружаться в детали каждого сервиса.
Консоль dBrain.cloud объединяет все эти функции, предоставляя интуитивно понятный интерфейс с "галочками" и "плюсиками". Это позволяет управлять даже очень большими и сложными системами, делая их простыми в рамках консоли.
Особенно важна возможность создания реплик через консоль. Представьте: у вас есть база данных в одном экземпляре, и все запросы направляются к ней. Если она не справляется с нагрузкой, вы можете масштабировать ее вертикально, увеличивая ресурсы. Но когда достигнут максимум, единственным решением становится разделение и перенаправление запросов путем создания реплик и балансировки нагрузки между ними.
Вручную этот процесс крайне сложен: нужно знать, как реплицировать данные, как создать вторую реплику и подружить ее с основной, как настроить все эти механизмы. В консоли же достаточно нажать кнопку "создать реплику", и она автоматически появится. Не нужно знать внутреннюю "кухню" любой базы данных: Cassandra, Postgres, Ignite и др. У нас в продакшене есть проекты с огромным объемом данных. Например, в Cassandra для одного из проектов видеоаналитики - 33 реплики объемом 12Тб каждая, а в Ignite - 114 реплик. А объем базы данных Postgres в проекте гемблинга составляет 27Tb.
Для таких приложений особенно важна масштабируемость в период пиковых нагрузок. В dBrain все направлено на облегчение работы инженеров при поддержке работоспособности приложений. О повышении нагрузки на базу данных оповестит система мониторинга, что и позволит оперативно добавить реплики и выделить место под базу данных или в Ceph. Вы просто выбираете нужные "галочки" в UI и распределяете нагрузку.
Разделяй и храни
В Ceph из консоли можно создавать бакеты. Например, для проекта видеоаналитики объем распределенного хранилища составляет около 140 петабайт. Это хранилище включает в себя различные типы дисков: более 5 петабайт хранится на NVMe-дисках и 135 петабайт на HDD. Мы можем эффективно работать с разными типами хранилищ, что позволяет гибко распределять данные в зависимости от их требований к производительности и объему, даже при наличии разных дисков "под капотом".
В dBrain мы используем технологию стирающего кода (erasure coding) для обеспечения надежности и отказоустойчивости систем хранения данных. Erasure coding - метод защиты данных, при котором исходная информация не просто дублируется, а разбивается на несколько частей. К этим частям добавляются дополнительные фрагменты кода. Это позволяет восстановить данные, даже если часть из них будет утеряна или повреждена, используя оставшиеся фрагменты.
В отличие от обычного двойного дублирования, когда, например, для хранения 70 петабайт данных потребовалось бы 140 петабайт дискового пространства, erasure coding значительно эффективнее. Вернемся к проекту видеоаналитики: там мы имеем реальных 140 петабайт данных. Благодаря erasure coding, объем физического хранения, необходимый для их резервирования, составляет примерно 180 петабайт. Это означает, что мы получаем высокую отказоустойчивость, избегая избыточного расхода дискового пространства.
Логирование: защита от ошибки
В консоли dBrain можно просматривать логи как отдельных подов, так и всех сервисов, развернутых в кластере. Это позволяет оперативно выявлять и устранять неполадки, анализировать поведение приложений и контролировать их работу в реальном времени.
Система безопасности платформы гарантирует, что каждый пользователь работает под уникальной учетной записью домена, что исключает возможность анонимного доступа и повышает прозрачность действий. Все действия на платформе тщательно логируются, формируя подробный аудит действий. Такой подход не только обеспечивает безопасность, но и значительно повышает ответственность и внимательность инженеров при работе с платформой, минимизируя риск случайных ошибок и несанкционированных изменений.
Закрытый контур
Мы понимаем, что управление Kubernetes-кластерами может быть сложной задачей. dBrain позволяет работать даже с чрезвычайно крупными кластерами. Например, мы управляем через консоль dBrain Kubernetes-кластерами, насчитывающими до 80 тысяч подов, а эта цифра приближается к пределу возможностей Kubernetes.
Консоль dBrain предоставляет возможность подключения нескольких крупных Kubernetes-кластеров и централизованного управления ими из единого интуитивно понятного UI. Это обеспечивает беспрецедентный контроль и упрощает работу DevOps-инженеров, позволяя им сосредоточиться на более важных задачах, а не на рутинных операциях с командной строкой. Кроме того, dBrain позволяет устанавливать отдельную консоль для работы в закрытых контурах.
Платформа dBrain - это комплексное решение для управления сложными инфраструктурами, которое позволяет DevOps-инженерам работать с максимальной эффективностью и уверенностью в безопасности. От бесшовного масштабирования баз данных и гибкого управления хранилищами до интеллектуального логирования и централизованного контроля над тысячами подов - dBrain обеспечивает полную прозрачность и упрощает повседневные задачи.
Пишите в комментариях о каких нюансах работы контейнеризированных платформ хотели бы узнать. Наши инженеры продолжат делится своими знаниями и кейсами.
Читайте также: