Привет, Хабр! В день, когда весь мир в очередной раз обсуждает «умные» ассистенты, генеративные сети и спорит, заменит ли ИИ разработчиков, хочется немного сместить фокус. Генеративные модели — это вершина айсберга, но весь его вес держится на менее заметном, куда более приземленном ИИ: на системах, которые ежедневно переваривают терабайты данных, считают сложные модели и обслуживают высокопроизводительные вычисления. Меня зовут Вячеслав Дегтярев, я руковожу развитием продуктовых решений в К2 НейроТех, и в этой статье мы как раз поговорим об этой «инженерной» стороне искусственного интеллекта — инфраструктуре и платформах, без которых никакой модный LLM или ассистент в IDE просто не взлетит в проде.

16 июля, во Всемирный день ИИ, особенно заметен разрыв между хайпом и реальностью: с одной стороны — обещания «магии» генеративного ИИ, с другой — очередной упавший инстанс с CUDA-конфликтом и рабочий день, потраченный на согласование доступа к GPU-серверу. Поэтому я предлагаю поговорить о критически важном уровне ИИ — готовой инфраструктуре для ML, которая просто работает и позволяет командам дата-сайентистов запускать эксперименты, а не заниматься администрированием. Ниже — о том, как мы подошли к задачам ИИ и высокопроизводительных вычислений через ПАК‑ML и как организована современная зрелая инфраструктура для внедрения технологий искусственного интеллекта в enterprise-мире.  

Бизнесу нужен ИИ, но не нужны проблемы с ним

Предиктивная аналитика, обработка естественного языка, компьютерное зрение, IoT — все это требует не просто хороших моделей, а стабильной инфраструктуры каждый раз, когда CUDA решает обновиться.

Вы наверняка знаете, как это бывает. Компания сама собирает конвейер: серверы, драйверы, фреймворки, среды запуска. Тут одна конфигурация, там другая, а между ними — легендарный MLOps Вася, который «как-то настроил, но лучше не трогать». В таких условиях дата-сайентисты постоянно спотыкаются об одни и те же проблемы: как получить доступ к GPU (и почему опять занято?), какие драйверы нужны, как учесть использование ресурсов, как отследить, что и кем запускалось? 

По-хорошему нужна система, которая просто работает. 

Для этого придумали NVIDIA DGX, HGX и линейки серверов с видеокартами А или L-серии, но с текущими сроками поставки в 50-60 недель «челноками», лицензионными ограничениями и прочими сложностями купить их практически невозможно. Поэтому на основе 19-летнего опыта строительства и технического сопровождения кластеров суперкомпьютеров мы решили собрать собственное решение.

Что такое ПАК-ML

На самом деле архитектура суперкомпьютеров очень близка к платформам для ML/AI, но в отличие от них наш программно-аппаратный комплекс заточен под продуктовую работу команд DS. Здесь важным становится не просто высокая скорость вычислений, а удобство отслеживания экспериментов, управление  версиями моделей, запуска пайплайнов и обмена результатами. Такая инфраструктура воспринимается как готовый сервис (IaaS).

• Внутри уже предустановлены среды разработки с уже настроенными ML-пакетами, JupyterLab, поддержкой CPU и GPU, совместимыми версиями библиотек и образами для разных типов задач.

• Сервер трекинга моделей, который отслеживает метрики, артефакты, версионирование, визуализирует прогресс экспериментов.

• Встроенный каталог моделей для сохранения удачных экспериментов с версией, метаданными и возможностью дальнейшего переобучения или деплоя.

• Мониторинг инфраструктуры: загрузка ресурсов, статистика по VM и GPU, контроль падений и аномалий производительности.

• Интерфейс для управления виртуальными машинами — создаешь нужную конфигурацию, задаешь параметры и получаешь доступ к софту напрямую.

• Преднастроенный кластер на базе Kubernetes с возможностью запускать готовые модели и приложения.

Из чего состоит ПАК: многослойная архитектура

ПАК построен как многоуровневая система:

• Уровень железа — оптимизированные серверы с GPU, настроенные драйверы и прошивки. Все проверено на совместимость и готово к нагрузке. Сюда же входит отказоустойчивая сетевая инфраструктура и система хранения данных.

• Виртуализация и контейнеризация — изолированные VM и контейнеры с поддержкой миграции, автоматическим масштабированием, интеграцией с системами хранения и безопасности.

• Сервисный уровень — базы данных, очереди задач, фичесторы, векторные БД, CI/CD и ML-пайплайны.

• Инструментарий для ML/DS-команд — JupyterLab, MLFlow, среды для PyTorch, TensorFlow, ONNX и других фреймворков. Версионирование, поддержка инференса и контейнеризации для деплоя.

• Инфраструктурный мониторинг: трекинг ресурсов, логирование компонентов ПАК, алертинг.

• Пользовательский мониторинг: сбор метрик заказанных продуктов.

Решение построено по принципу ячеистой архитектуры с кластеризацией серверов и резервированием компонентов. Доступен SDS на рабочих узлах для быстрой работы без сетевых задержек. 

Мастер-сервер управляет control-plane (мониторинг, логирование), выдает ресурсы, запускает трекинг. Все сопровождается FinOps и RBAC подходами для управления доступом, тарификацией и безопасностью. Контейнеры в ПАК-ML используются как инструмент разработчика, но с точки зрения системы — это скорее PaaS с GPU, чем динамическая облачная среда. По сути — это маркетплейс для ML-команд, где каждый специалист получает доступ к нужной инфраструктуре и сервисам.

В качестве технической основы решения мы используем как виртуализацию с поддержкой графических ускорителей, так и контейнеризацию. Платформа предоставляет гибкий выбор GPU-ресурсов. Пользователь может заказать виртуальную машину с целой GPU-картой или несколькими картами (с учетом текущей доступности в сервере), или использовать технологию vGPU. Аналогично при работе с контейнерами доступны варианты с выделением целой GPU-карты, нескольких карт или использованием ресурсов GPU в режиме шаринга.

Таким образом, платформа оперирует двумя типами ресурсов: виртуальными машинами с GPU для изолированных задач и контейнерами в Kubernetes для обеспечения гибкости и масштабируемости.

Поддерживаемые фреймворки

Пользователь входит через единую точку доступа, интегрированную с корпоративной Active Directory. Не нужно создавать отдельные учетки или заново авторизоваться — используется существующая корпоративная идентификация. Контроль доступа осуществляется через RBAC и FinOps-модели — каждый ресурс заказан, учтен и защищен.

Из коробки доступны самые востребованные ML-среды и инструменты: TensorFlow, Keras, PyTorch, HuggingFace Transformers. При этом нет ограничений на кастомизацию — дата-сайентист может установить любые дополнительные библиотеки или версии, с которыми привык работать. Можно использовать свои образы или настраивать среду внутри VM, развертывать собственный MLOps-конвейер (MLflow, Hydra, Optuna и т.д.).

Единственное ограничение — инфраструктурный контур. В изолированной среде доступ будет только к локальным репозиториям. Если есть выход в интернет, ограничений по установке и обновлению фреймворков нет.

Ключевая особенность нашего подхода — мы решаем полную задачу заказчика по внедрению платформ под ИИ и ML-задачи. Начинаем с инфраструктуры, затем подключаем профильные команды для помощи с языковыми моделями, агентами и кастомизацией, прорабатываем вопросы информационной безопасности. Если что-то не можем закрыть сами, привлекаем партнеров.

Как это работает на практике: пользовательский сценарий

Представьте, что вам нужна рекомендательная система для технолога, использующая функционал компьютерного зрения. 

В стандартном мире дата-сайентист сначала месяц выбивал бы доступ к GPU-серверу, детально описывая конфигурацию каждого компонента, который должен установить администратор. Потом несколько недель ждал бы проверки образов и компонентов на наличие уязвимостей и закладок, затем две недели настраивал бы среду, а потом еще неделю объяснял бы начальству, почему нельзя просто взять YOLOv8 из интернета. А в нашем прекрасном новом мире он просто логинится в корпоративный портал, авторизуется через Active Directory и получает доступ к маркетплейсу ML/AI-продуктов: JupyterLab, VSCode, MLFlow, мониторинг, базы данных и т. д.

Он выбирает, например, JupyterLab с GPU-ускорением, указывает нужные ресурсы (тип GPU, объем памяти, пакеты) и в несколько кликов создает среду. После развертывания запускает эксперимент и отслеживает его через MLflow. Полученную модель можно задеплоить в прод и дообучать по мере необходимости.

Платформа поддерживает повторные эксперименты, управление версиями моделей и полный контроль над нагрузкой.

Система хранения настраивается под инфраструктуру заказчика — можно использовать как внешние СХД, так и локальные хранилища. Поддерживаются разные сетевые конфигурации, включая высокоскоростной interconnect.

Внедрение

Доступно два сценария внедрения:

• Внедрение с нуля: проводим комплексный аудит потребностей, консалтинг в области ИИ, подбираем оптимальные решения и осуществляем сайзинг оборудования. Выполняем проектирование и установку ПАК-ML, обучаем как пользовательские команды, так и специалистов по сопровождению и эксплуатации.

• Интеграция в существующую инфраструктуру: адаптируем решение под имеющееся оборудование, настраиваем необходимые сервисы, проводим обучение персонала и предоставляем последующее сопровождение.

В обоих сценариях мы обеспечиваем полный цикл поддержки — от первичного консультирования до долгосрочного сопровождения внедренного решения.

Сложности могут возникнуть в закрытых контурах, где требуется время на staging и проверку пакетов/контейнеров. В остальном внедрение занимает около полутора месяцев.

Что в итоге получаем (кроме сэкономленных нервных клеток)

Конечно, как и любая технология, ML-инфраструктура не стоит на месте. С ростом популярности генеративных моделей и мультимодальных систем растут и требования к железу и софту. Но базовый принцип остается неизменным: инфраструктура должна быть невидимой. Как электричество в розетке — оно просто есть, когда нужно. Поэтому мы считаем, что ПАК-ML будет востребован, ведь это:

• Готовое решение под ключ. Не кластер, а единое окно доступа в инструменты DS, скомпонованное в формате программно-аппаратного комплекса со всем необходимым для запуска ML- и ИИ-сервисов. Пользователи создают окружения, запускают эксперименты, отслеживают метрики, версионируют и внедряют модели — все через один интерфейс.

• Предсказуемость стоимости и поведения всех компонентов. В отличие от облаков — все под контролем, прозрачно и соответствует требованиям ИБ.

• Управляемость через удобный портал с FinOps и аналитикой. Встроенная система биллинга позволяет учитывать и распределять затраты между подразделениями. Ресурсы ПАК можно предоставлять как внутренним отделам, так и внешним заказчикам с точным учетом потребления и формированием отчетности.

• Безопасность — все разворачивается внутри инфраструктуры заказчика. Идеально для компаний с закрытыми данными, собственными серверами или гибридными ИT-архитектурами.

• Поддержка и развитие от команды с опытом в HPC и enterprise-разработке. Из коробки доступны ключевые фреймворки, но сохраняется свобода кастомизации.

По мере того, как ИИ становится стандартным инструментом бизнеса, проприетарные решения для ML-инфраструктуры становятся роскошью, которую компании больше не могут себе позволить. Пора признать: время игр с ML/AI закончилось, наступило время комплексных решений, которые обеспечат уменьшение трудозатрат каждого специалиста. Наступило время более зрелых решений.