До конференции DevOops, посвященной инженерным DevOps-решениям, осталось меньше двух недель. Все спикеры на низком старте, программа составлена, и в этом хабрапосте рассказываем о ней.

На конференции будем не спорить о том, существуют ли девопс-инженеры (что тут спорить, не существуют), а делиться опытом реальных проектов, фейлами и историями успеха. И задавать вопросы об этом всем. Подробно о докладах — под катом, а для затравки скажем:

• Будет много про Kubernetes: как снизить расходы, нужно ли туда лезть разработчикам, какие инструменты использовать и т.п.

• К вопросу о снижении расходов: узнаете, что такое Cloud FinOps и как это позволяет экономить на облаке.

• Барух Садогурский и Алексей Кирпичников перенесутся в 2020 год и вспомнят доклад Джона Уиллиса.

• А Саша Розенбаум заглянет в будущее DevOps.

Оглавление

• Светлая сторона = истории успеха

• Темная сторона = фейлы, пост-мортемы

• SRE

• Облака

• Культура

• Безопасность

Светлая сторона = истории успеха

Повышаем отказоустойчивость и снижаем расходы в Kubernetes

Очень часто при использовании managed Kubernetes в облаке пользователи сталкиваются с тем, что обещанная отказоустойчивость на деле не работает, а снижения цены эксплуатации кластера не происходит.

Но у самого Kubernetes и инструментов вокруг него есть несколько прекрасных возможностей для реализации этих задач. Нужно только знать о них и уметь их грамотно настроить и применить.

Павел Селиванов — developer advocate VK Cloud Solutions и фанат Kubernetes. Он расскажет, как работает Scheduler Kubernetes, и покажет, как можно настроить его под ваши задачи.  

---

Как сделать стабильно, когда тысячи разработчиков могут всё сломать, или как организован CI в монорепозитории «Лаборатории Касперского»

Переходить или не переходить на монорепозиторий — вопрос холиварный и неоднозначный. Например, монорепозиторий есть у Google, но что хорошо для Google — вовсе не обязательно хорошо для других.

Алина Власова работает руководителем группы, занимающейся разработкой инфраструктуры для непрерывной интеграции — и расскажем об опыте работы с монорепозиторием в «Лаборатории Касперского». Вы узнаете, как он изменил жизнь разработчиков и скорость доставки изменений для большинства продуктов компании. С какими трудностями сталкивались до появления монорепозитория, как теперь устроен CI, какие системы разрабатывает для него команда, какие он имеет преимущества и проблемы. 

---

 TSDB – взгляд изнутри. Миграция на Prometheus и Cortex. Опыт Okmeter

Любой инженер, занимающийся задачами эксплуатации, сталкивается с необходимостью собирать телеметрию — а значит, и метрики. Метрики — это особый вид данных, которые требуют специализированного хранилища, TSDB. О внутреннем устройстве таких хранилищ и пойдет речь.

Владимир, Андрей и Дмитрий  имеют большой опыт эксплуатации систем, которые требуют продвинутых инструментов сбора, хранения и отображения метрик, а также опыт разработки инструментов метрик. Компания Флант, где они работают, купила компанию Okmeter, которая занималась разработкой системы метрик. Из доклада вы узнаете, как Владимир и команда мигрировали на живую Okmeter с home-grown решения (на базе Kafka, Cassandra и Elastic) на стек вокруг Prometheus и Cortex. Начнем с паттернов, лежащих в основе любой современной TSDB. Поймем, при чем тут Log Structured Merge Tree. И увидим доказательство, что механизмы, лежащие в основе работы Prometheus, – это лучшее из существующего.

---

 Building Trustable Infrastructure

Возможность описывать инфраструктуру кодом была огромным шагом вперед по сравнению с «просто нажимать на кнопки в пользовательском интерфейсе».

Но с этим пришли и проблемы — индустрия стала настолько сосредоточена на том, «что можно сделать», что потеряла из виду «как следует это делать?».

Керим Сатирли — старший developer advocate в HashiCorp —  расскажет о закономерностях, усвоенных за годы программирования инфраструктуры, и объяснит, как концепция «глубокой защиты» может помочь укрепить вашу инфраструктуру еще до развертывания первого сервиса.

Используя HashiCorp Terraform в качестве основного средства, Керим покажет, как можно писать код, которому можно доверять, и какие процессы нужно учитывать, чтобы снизить зону поражения, если что-то пойдет не так.

---

Темная сторона = фейлы, пост-мортемы 

Перестаньте писать пайплайны, займитесь процессами!

Сталкиваясь со сложностями в процессах команды в различных топологиях, команда видит, что DevOps — это не серебряная пуля, а написанные пайплайны и выстроенный технологический CI/CD, и он далеко не равен хорошо выстроенному процессу разработки в команде.

Поэтому в этом докладе спикер собирается привести примеры хороших пайплайнов и сломанных процессов, которые привели к проблемам. Расскажет, как и с помощью чего строить процессы, даст на выходе решения для использования и напомнит в 2021 году работодателям, что DevOps — это не инженер и не должность, а методология, которая в первую очередь говорит о надлежащем состоянии процессов и подходов к разработке и сопровождению сервисов.

---

Когда тестирование выпало из DevOps, и как его туда вернуть

Пять лет назад истории про Netflix вызывали улыбку или недоумение: вот еще, разработчики будут отвечать за деплоймент, а админы пойдут кодить! Кто бы знал, как все повернется? (@jbaruch знал!) Разработчики вступили в гонку за скорость доставки фичей и сборок, а опсы — за безопасность, автоматизацию пайплайнов и бесперебойные апдейты по два раза на день.

И пока DevOps шагает по миру семимильными шагами, перестав быть просто buzzword, десятки людей в отделах часами кликают на кнопочки в веб-формочках и отмечают галочки в тестовых сценариях на «самых важных» релизах или фичах.

В этом докладе мы постараемся разобраться, в какой момент индустрия тестирования свернула не туда, и куда бежать, чтобы всё заработало как надо.

Расскажет Руслан Ахметзянов, который раньше работал у нас в JUG Ru Group, участвуя в организации DevOops и других конференций — так что он знаком не только с миром тестирования, но и с тем, как должен выглядеть хороший доклад.

---

Kubernetes isn’t the answer, but what was the question again?

Что если мы все это время неправильно выбирали технологии? Мы постоянно думаем о потенциале: «что технология позволяет сделать». Но важнее потенциальное трение:  почти всегда правильный выбор — это самая простая и легко внедряемая технология. Потому что командам редко нужны все технологические новинки сразу — они просто хотят исправить самые больные места, приложив наименьшее усилие. И да: эти узкие места часто носят организационный, а не технологический характер.

Йуп Пискаер — CTO в собственной компании, отраслевой аналитик и создатель технологического сообщества, автор книги Digital-First Events. Он потратил немало времени и усилий, чтобы разобраться в том, что может помочь сделать выбор технологии более осознанным. И на примере Kubernetes Йуп расскажет, как задавать правильные вопросы и как находить правильные ответы. Вы узнаете, как технологии влияют на работу людей и организаций, почему простота и легкость побеждают технологические возможности, и почему ключевым фактором является отсутствие сложности и организационного трения.

---

SRE

[R]Evolution of open source CI/CD tools

«Опенсорс поглощает мир». Подобное происходит и с областью инструментов автоматизации, включая непрерывную интеграцию и непрерывную поставку. На рынке полно опенсорсных CI/CD-инструментов: Jenkins, Jenkins X, Spinnaker, GitLab, Tekton, BuildBot и т. д и т. п. 

В докладе пойдет речь об инструментах и их развитии. Для чего используют CI/CD-инструменты? Как они развиваются в данный момент? И что их ждет дальше: облачно-ориентированное окружение, машинное обучение, что-то еще? И как Continuous Delivery Foundation участвует в развитии опенсорсных инструментов и способствует этому?

А расскажет об этом человек, которому эти процессы видны «изнутри»: Олег причастен к работе над Jenkins уже больше восьми лет.

---

SLA — друг или враг разработчика?

В основе доклада — один крупный инцидент, на примере которого спикер разберет Service Level Agreement (SLA) с точки зрения разработчика в части надежности информационных систем. 

Слушатели доклада научатся выбирать правильные Service Level Objectives (SLOs) и считать метрики по ним. Узнают, как различные архитектурные решения влияют на SLOs. А в качестве бонуса Григорий разберет преимущества и недостатки архитектуры информационной системы федерального масштаба.

Григорий уже знаком участникам DevOops: ранее он рассказывал и про работу с Kafka, и про работу над ошибками при переезде на Sentry. 

---

 SRE, Managed Services and the path to the future

В технологической отрасли постоянны только перемены. За одно десятилетие может измениться весь ландшафт: появятся новые инструменты, новые роли и новые методы работы. Но мы и вправду что-то меняем или просто присваиваем новые названия уже существующим шаблонам и практикам?

Саша Розенбаум — известный в сообществе спикер, автор (Serverless computing in Azure with .NET), организатор DevOpsDays Chicago. За свою карьеру она успела поработать в разных компаниях и разных ролях и была непосредственным свидетелем всех технических и культурных сдвигов парадигмы, о которых будет рассказывать. Недавно мы делали расшифровку ее доклада про путь Microsoft к DevOps.      

Саша поговорит об эволюции практик и инструментов DevOps, о SRE, о связи между PaaS, Kubernetes и управляемыми сервисами, и о том, как каждая новая волна изменений порождает следующую.

---

OpenTelemetry Collector deep dive

OpenTelemetry Collector — универсальное программное обеспечение, способное обрабатывать не только трейсы, но и метрики и логи. Его можно развернуть с такими функциями, как аутентификация, маршрутизация, балансировка нагрузки, tail-based sampling и так далее. Инструментарий обширен: в пакет contrib входят дополнительные модули и дистрибутивы, а также инструмент CLI, позволяющий создать собственный дистрибутив, возможно, с пользовательскими компонентами.

Жураси — один из ключевых мейнтенеров Jaeger — самого популярного опенсорсного инструмента для распределенной трассировки, контрибьютор проекта OpenTelemetry.

В этом докладе он познакомит вас с OpenTelemetry Collector и покажет, как его можно развернуть в различных сценариях — от классического «агент/коллектор на Kubernetes» до масштабируемой выборки на основе «хвостов» (tail-based sampling). Участники увидят, как компонент может быть создан с нуля и интегрирован в собственный дистрибутив. Польза от доклада будет максимальной, если у вас есть практический опыт работы с инструментами наблюдаемости и опыт программирования на Go. 

---

Scalable architecture from the ground up

Орен Эйни (он же Ayende Rahien) — основатель NoSQL-базы данных RavenDB — расскажет о том, как можно разрабатывать и создавать программные системы, которые легко масштабируются до огромных размеров, не вызывая мигрени и не убивая бюджет.

Очевидно, что если выбрать правильный алгоритм для конкретной задачи, то можно получить огромные преимущества в плане эффективности. А вот что не очевидно, так это то, что то же самое относится и к архитектуре глобальной системы. В докладе пойдет речь об архитектурных стилях и подходах, которые выдержали испытание временем и позволяют создавать простые и дешевые в эксплуатации системы, обеспечивая при этом гибкость для роста.

Еще важнее, что большие сложные системы требуют постоянного обслуживания и ухода. Орен расскажет, как обеспечить понимание и видимость внутренностей системы без чрезмерной нагрузки на команду разработчиков и обеспечить rolling-деплой, восстановление и аудит.

---

Прокси, шлюзы и сита. ЧТО-О? 

За последнее годы технологии API-шлюзов (API Gateway) претерпела значительные изменения, получив все более широкое распространение в сфере, которую в отрасли называют "управлением жизненным циклом API". Шлюзы API были просто управлением сетевой средой исполнения, этаким прокачаным прокси-сервером, который обеспечивал безопасность и управлять трафиком. Однако сегодня они предоставляют ряд возможностей для поддержки полного цикла разработки, включая создание, тестирование, документирование, мониторинг, монетизацию, контроль и доступ к API. 

Примерно в 2017 году в индустрии появился еще один паттерн: сервисное сито. Сервисное сито — это инфраструктурный слой для взаимодействия микросервисов. Он абстрагирует базовые детали сети и обеспечивает обнаружение, маршрутизацию и множество других функций. Многие пытались описать различия между шлюзами и сервисными ситами, например, API-шлюзы предназначены для трафика север-юг, а сервисные сита - для трафика восток-запад.О различиях между API-шлюзами и сервисными ситами (и о том, когда прагматично и объективно использовать то или другое) расскажет Виктор Гамов — знакомый и прошлым участникам DevOops, и подписчикам его телеграм-канала, и слушателям подкаста «Разбор полётов».

---

Cloud CI/CD technologies — What to choose?

Технологий CI/CD много, в том числе созданных уже для современных cloud-native реалий — вот только не все новички достаточно зрелые для комфортного применения. Как тогда правильно выбрать в наши облачные времена? Тут вместо простого доклада будет дискуссия-баттл, которую проведут сразу несколько заметных спикеров с разным бэкграундом.

Себастьян — самозанятый Java-консультант и автор, Виктория — специалист по вопросам безопасности и участница ПК DevOops, Мелисса — обладательница званий Java Champion и Docker Captain, Антон — основатель Otomato Software, хорошо знакомый участникам прошлых DevOops. 

---

Облака

Database-as-a-Service в Kubernetes с GitOps

Database as a service дает возможность разработчикам или клиентам быстро развернуть базу данных без обращения к операционным командам. В этом докладе Сергей расскажет про Kubernetes-операторы для баз данных, как построить свой DBaaS в Kubernetes и как управлять всем этим с помощью GitOps.

Мир БД Сергею хорошо знаком: он работает в компании Percona, которая внесла  значительный вклад в развитие популярных опенсорсных баз данных (MySQL, PostgreSQL, MongoDB и других).

---

Технологии и тенденции в мире опенсорс баз данных в 2021 году, которые меняют рынок

 Еще один спикер из Percona, в этом случае — один из ее основателей. Соавтор книги «MySQL. Оптимизация производительности» (High Performance MySQL).

Сегодня мы имеем дело с большим количеством замечательных инноваций в технологиях баз данных. Например, введение новых моделей данных, таких, как time series или graph, фокус которых направлен на решение проблем SQL при масштабировании приложений и превративших NoSQL в синоним масштабирования. Также на рынке появился новый дизайн баз данных Cloud Native, использующий возможности Kubernetes и Serverless-концепции. Особое влияние оказывает открытое ПО, рынок которого растет, но дает свои трещины. Появляется класс частично открытых СУБД.

В своем докладе Петр рассмотрит эти и другие тенденции и объяснит движущую силу этих изменений. Мы поговорим обо всех основных опенсорсных базах данных и их универсальности, рассмотрим конкретные решения для разных ситуаций. Спикер даст информацию об изменениях в опенсорс-лицензиях и о том, чего можно ожидать уже в следующем году.

---

Pulumi и CDK для Terraform: программируем инфраструктуру на языках высокого уровня

Сейчас лидером IaC-решений является Terraform, где широко применяется собственный язык конфигурации HCL (HashiCorp Configuration Language). Хотя этот язык довольно простой, у него есть своя специфика, разные типы переменных и не всегда очевидный подход к циклам. Из-за этого приходится тратить время на понимание его тонкостей и возможностей.

Поэтому в докладе покажут, как работать с IaC, используя реальные языки программирования на примере Pulumi и cdktf от Terraform. Так можно использовать знакомые инструменты и IDE и при работе с инфраструктурой.Сделают это сразу два спикера: у Кирилла Казакова обширный опыт в проектировании и построении CI/CD процессов с нуля до продакшена, а Илья Феоктистов — Head of Devops в компании Bling. 

---

 Есть ли дружба между железом и облаком?

У 2ГИС всю жизнь было только свое железо и аренда стоек в ДЦ. В последний год довольно сильно выросли железом, чтобы держать запланированные нагрузки. Но вырастать железом х2 — это дорого, поэтому вместо х2 2ГИС держит хот-резерв в облаке и планирует активно масштабироваться там, если трафика станет в разы больше или с основным ДЦ что-нибудь случится.

Евгений, уже много лет занимающийся в 2ГИС инфраструктурой, расскажет про трудности унификации деплоя на своё железо + своё облако + облако одного из провайдеров. Про то, какой способ унификации выбрали, как сначала сделали это для своего железа (импровизированный MaaS), а теперь делают для облака (стратегия есть, какие-то технические решения уже сделаны и работа кипит прямо сейчас!).

---

 Cloud FinOps. Что это за дисциплина и как она помогает экономить на облаке

С приходом облаков, DevOps и IaC технические специалисты начали самостоятельно «заказывать» ИТ-инфраструктуру, а финансы и C-level начали получать счета на круглую сумму. Модель управления ИТ-затратами стала децентрализованной мгновенно, а вот отделы финансов/закупок не успели адаптироваться к новой реальности.

FinOps (управление затратами на облачные технологии) — ответ на этот вызов и новая норма. Компании вроде AirBnB, Lyft, Atlassian, Spotify, EA давно развивают эту функцию внутри.

Речь пойдет о ключевых составляющих FinOps-фреймворка: с чего начинать, создавая FinOps в компании, и с какими сложностями вы можете столкнуться. Сколько денег можно сэкономить? Помогут ли точечные оптимизации? Расскажут об этом два спикера: они работают в разных компаниях, но оба активны в российском FinOps-сообществе.

---

 Choreography vs Orchestration in serverless microservices

Мете Атамел — Developer Advocate из Google — уже не раз выступал на DevOops. В этот раз он расскажет о хореографии и оркестровке в serverless-микросервисах.

Преимущества микросервисов известны (например, удобство переиспользования, внесения изменений и масштабирования), но при этом они вызывают новые проблемы. 

Как микросервисы взаимодействуют друг с другом для достижения общей цели? Как выяснить, что пошло не так, когда бизнес-процесс из нескольких микросервисов, дает сбой? Должен ли существовать центральный оркестратор, контролирующий все взаимодействия между сервисами, или каждый сервис должен работать независимо? В докладе посмотрим на разницу оркестрации с хореографией и на инструменты, способные помочь.

---

 Kubernetes is not for developers

В разговорах про Kubernetes часто можно услышать, что он сложный. Даже слишком сложный. И из-за «простыни YAML», и из-за более тонких сложностей с тем, как разработчики проектируют свои приложения для запуска на Kubernetes.

В крупном масштабе (в компаниях, поддерживающих тысячи приложений, часто устаревших и отличающихся друг от друга) все становится еще сложнее. Но при этом Kubernetes и его дизайн направлены на упрощение этих проблем.

Откуда берется это несоответствие? Майкл — программист, автор книг и специалист по корпоративной стратегии — поделится с вами любопытной теорией. На самом деле Kubernetes не предназначен для разработчиков, и, по большей части, разработчики редко должны иметь дело с Kubernetes напрямую.  

---

Cloud Native Culture

Переход в облака влечёт за собой множество новых технологий и подходов. От подхода «12 факторов» до DDD (предметно-ориентированного проектирования) — не перечесть. Тут можно много говорить о платформах, контейнерах и тому подобным, но хотя технологии важны, нельзя не поговорить о значимости культуры. Что меняется, когда мы обращаемся к облакам? Как нам там оказаться? Как влияет закон Конвея? В докладе речь пойдет о том, что влияние cloud-native оказывает влияние далеко не только на архитектуру.

Натаниэль совмещает разные роли: архитектор и developer advocate, автор книг и преподаватель. Сам себя он описывает себя как «architect as a service». 

---

Культура

Воркшоп. Топологии платформенных команд

Платформенные команды — новый тренд, который упоминается в последних отчетах State of DevOps и технологических радарах. Все больше компаний запускают платформенные команды, применяют продуктовый подход в платформах и предоставляют платформы как сервис с фокусом на Developer Experience. 

Но что это: очередная теория, далёкая от практической ценности, или осязаемый инструмент, который может помочь в реальной жизни? 

На это вопрос в своем воркшопе ответят Игорь и Андрей, которые активно распространяют идеи о топологиях команд, заложенные в книге Мэтью Скелтона.

Участники воркшопа побудут в роли социотехнического архитектора, применят новый DSL, поймут, как выполнить переход к платформенным командам, определят способы взаимодействия с другими командами, узнают, как развивать платформу как продукт и предоставлять как сервис.

Задания воркшопа будут индивидуальными, и тех, кто собирается поучаствовать, спикеры просят заранее пройти небольшой опрос — это поможет оптимизировать контент под аудиторию.

---

 Разбор доклада John Willis «Automated governance»

В 2020-м на DevOops выступил Джон Уиллис — один из отцов всего DevOps, автор 10 книг, выпускаемых в течение последних двадцати лет (включая всем известные DevOps Handbook и Beyond the Phoenix Project). 

И когда речь о таких величинах, ценность могут представлять даже не только доклады, но даже их обсуждения. Конечно, зависит от того, кто именно обсуждает. Но Барух и Алексей уже зарекомендовали себя собственными докладами — так что их диалог послушать будет любопытно. А пока что можно освежить в памяти оригинальный доклад. 

---

Безопасность

Безопасность в контейнерах

Здесь разговор пойдет об опыте взаимодействия с СИБ в DevOps-среде. Зачем приходят эти странные люди, чего они хотят и как закрыть их потребности удобными для девопса инструментами?

Вы узнаете, в чем основной конфликт между СИБ и причастными к DevOps людьми, с какими проблемами сталкиваются клиенты, почему недостаточно одного слоя защиты и нужно иметь несколько уровней.

---

 Securing Kubernetes Container Platforms in 2021

С облачными технологиями Ларс работает с 2008 года, причем как в «полях», так и в научных кругах. А в контексте доклада значимо, что он один из архитекторов Compliant Kubernetes — дистрибутива Kubernetes, разработанного специально для удовлетворения требований в регулируемых отраслях (в том числе к безопасности).

Достаточно ли просто запустить Kubescape и следовать рекомендациям, чтобы получить безопасную контейнерную платформу на базе Kubernetes в 2021 году?

Используя лучшие практики Kubernetes Security Guidance, опубликованные NSA и CISA в августе 2021 года, Ларс проведет нас через области Kubernetes и безопасности. Из доклада вы узнаете, как защитить control plane Kubernetes, обеспечить развертывание контейнеров и подов с учетом требований безопасности и как предотвращать атаки.

---

How to use GitHub Actions with security in mind

О GitHub Actions сказано уже немало — но обычно просто в контексте их использования, а Роб расскажет в контексте безопасности. При работе в реальном мире с CI/CD необходимо позаботиться о пайплайнах и о том, к чему они имеют доступ.

• Кто может вводить код в среду?

• Кто может читать и изменять строки подключения к базе данных?

• Кто может создавать новые ресурсы в вашей облачной среде?

• Доверяете ли вы сторонним расширениям?

• К какой части сети имеет доступ ваш конвейер?

Обо всем этом вы узнаете из доклада.

Роб — автор блога https://devopsjournal.io/, консультант по DevOps в Xpirit. Сфера его компетенций — обучение, устранение всяких непонятных проблем, настройка CI/CD конвейеров или внедрение новых моделей и практик DevOps.

---

Заключение

А напоследок напомним, что помимо докладов, на конференции будут и другие активности: интервью, тематические дискуссии, круглые столы и многое другое. Причем доступны участникам как в прямом эфире, так и в записи, а вот дискуссии после докладов (где спикера можно как следует помучить вопросами) мы не записываем — это экспириенс, который можно получить только в реальном времени.

Дополнительную информацию и билеты можно найти на сайте.

Встретимся в онлайне 8-11 ноября!