8-го апреля состоялась ставшая уже традиционной конференция, посвященная отказоустойчивому и быстрому вебу — FailOverConf.
Как вы уже знаете, в этот раз мы решили полностью поменять ее формат. Мы поставили цель — максимально широкий охват аудитории, которая сможет получить полезные и практические знания. Поэтому сделали конференцию полностью в онлайне и бесплатной. И, кажется, цель была достигнута. :) Около 2500 человек приняли участие в мероприятии.
А сейчас, как мы и обещали ранее, мы публикуем все материалы конференции (презентации и видео).
Языки программирования
«Going to Failover: как язык влияет на архитектуру и почему отказоустойчивые проекты выбирают Go?» (Алексей Найдёнов, ITooLabs) — презентация
За свою очень короткую историю язык Go наибольшую популярность приобрел именно среди разработчиков распределенных отказоустойчивых и высоконагруженных систем. Почему так получилось? Какие выгоды, очевидные, и не очень, несет Go разработчикам? Следует ли выбрать Go для вашего будущего отказоустойчивого проекта?
В докладе я дам краткий обзор языка Go, расскажу об истории его возникновения и развития, и приведу характерные примеры использования в отрасли. Я также поделюсь опытом эксплуатации масштабируемой отказоустойчивой телекоммуникационной системы и расскажу о том, как и почему мы переписали её на Go, и что у нас получилось в итоге.
«Как в Badoo перешли на PHP7 и сэкономили $1M» (Юрий Насретдинов, Badoo) — презентация
— Введение
— Опыты с HHVM
— Исправления в ядре и расширениях
— Изменение инфраструктуры тестирования
— Утилиты и код приложения
— «Запуск в бой» и результаты
«Defensive Programming и строгая типизация: от Python до JavaScript» (Григорий Петров, Voximplant) — презентация
— Микросервисы, ошибки и отказоустойчивость
— Почему мы допускаем ошибки: сложность и кошелек Миллера
— Установка капканов на ошибки с помощью строгой типизации
— Строгая типизация: C#, Java, Python, PHP, Ruby, JavaScript
— Gradual Type Checking
Базы данных и NoSQL
«Tarantool: кейсы использования» (Денис Аникин, Почта@Mail.ru) — презентация
«Варианты построения отказоустойчивых систем на основе PostgreSQL» (Михаил Кулагин, Postgres Professional) — презентация
1. Подходы к построению отказоустойчивых систем на примере OpenSource СУБД MySQL и PostgreSQL
1.1. Логическая и физическая репликация
1.2. Подходы по построению и проблемы мультимастер систем
1.3. Сильные и слабые стороны каждого подхода, точки возможной потери данных
2. Штатные возможности отказоустойчивости PostgreSQL
2.1. Синхронная и асинхронная потоковая репликация
2.2. Особенности конфигурирования и точки мониторинга
3. Автоматизация управления отказоустойчивым кластером на примере Pacemaker/Corosync
4. Варианты построения логической репликации в PostgreSQL
5. Ближайшее будущее Postgres: текущие разработки
Эксплуатация и мониторинг
«Медиапроекты Mail.Ru Group: трудовые будни директора луна-парка» (Станислав Михальский, Mail.Ru Group) — презентация
Среднесуточная аудитория медиапроектов Mail.Ru — это примерно десять миллионов посетителей, генерящих примерно шестьдесят миллионов просмотров. В моем выступлении я расскажу:
— о том, как мы обеспечиваем бесперебойную работу в условиях такой высокой нагрузки.
— об общих для всех этих проектов “узких местах”, а также об индивидуальных продуктовых и технологических нюансах
— о мониторинге, DevOps и эффекте домино при использовании внешних сервисов
— о том, есть ли разница между одним и десятью проектами с точки зрения обеспечения отказоустойчивости, восстановления работоспособности и профилактики,
— о преимуществах и недостатках масштабирования и кэширования
— ну и конечно пару баек и курьезов от очевидца.
«Отказоустойчивость 99,999% своими руками» (Николай Мациевский, WEBO Software) — презентация
Я расскажу как с помощью доступных инструментов обеспечить максимальную доступность для веб-проектов, и сколько это может стоить. Затрону вопросы доступности и надежности хостингов, точки отказа работы сайта, балансировку DNS и IP Anycast. Также расскажу как за небольшое время и скромный бюджет гарантировать доступность 4-5 девяток.
«24х7 отслеживание ключевых бизнес-сценариев на вашем сайте. Автоматически» (Степан Овчинников, Интерволга) — презентация
— Нужно быть уверенным, что ключевые сценарии сайта: главная, каталог, заказ, корзина, личный кабинет — работают всегда.
— Нужно, чтобы об ошибках вы узнавали раньше клиентов.
— Нужно, чтобы такой «функциональный мониторинг» стоил недорого, а работал хорошо.
Рассказываем по пунктам: Проблема – Решения – Кому подходит – Что можно проверять – Отчеты – Реальные кейсы – Стоимость – Алгоритм подключения.
«Отказоустойчивость с точки зрения cервис-провайдера – рецепт от Acronis» (Иван Прохоров, Acronis) — презентация
? Почему отказоустойчивость важна сервис-провайдеру? ? Что нужно защищать и от чего? ? 404 или 500 – как бороться? ? Быстрое восстановление – миф или реальность?
«Predictive maintenance — использование машинного обучения для снижения расходов на мониторинг и эксплуатацию. Алгоритмы и технологии» (Александр Сербул, «1С-Битрикс») — презентация
Покрыть веб-проект сеткой тестов — недостаточно для предотвращения аварий, выявления атак и превентивного реагирования на изменение условий эксплуатации. Новый подход — анализ метрик и предотвращение аварий (выявление угроз) с помощью алгоритмов машинного обучения — позволит не только сократить расходы на обеспечение отказоустойчивости, но и реагировать раньше возникновения проблем! Интересно — приходите, расскажем простыми словами и покажем на примерах, как это работает.
Отказоустойчивая разработка
«Continuous Integration. Управление релизами, как оно есть» (Иван Михеев, Agima) — презентация
Процесс доставки разрабатываемого функционала всегда строится на компромиссах между тем, чтобы доставлять быстро, и тем, чтобы не потерять качество. Причем, чем больше времени тратится на деплой, тем меньше времени остается на качество. Проблема становится все более актуальной с каждым этапом роста объемов производства. Существует многообразие различных методологий и технологий, призванных стандартизировать процессы деплоя и релизов, и в своем докладе я хочу рассказать о том, какой процесс мы настроили для себя, и как это помогло нам уделять больше времени на качество.
— Налаживание процессов поставки ПО в заказной веб-разработке — с чего начинать организовывать «хаос»;
— Временной profit — экономия времени при правильном деплое (в короткой и длинной перспективе), сравнение вариантов ручного и автоматизированного деплоя на примере наших проектов;
— Инструменты, которые мы использовали на разных этапах своего роста: GIT, gitolite, gitlab, TeamCity etc.
— Простые, но такие важные hooks — как просто заставить эти технологии приносить вам реальную пользу и экономить время разработчиков;
— Автоматический деплой, continuous delivery, билды и автотесты — когда реально нужно, а когда можно пренебречь — на примере разных типов наших проектов;
— Раньше «компилировалось», теперь «тестируется» — неадекватно долгий процесс доставки — как избавиться от blocker-автотестов.
Бэкапы
«Организация резервного копирования сложных интернет магазинов» (Евгений Потапов, «Сумма АйТи») — презентация
1. Резервное копирование базы данных.
1.1. Как часто делать бэкапы? Чем?
1.2. Как обеспечить сохранность «свежих данных».
1.3. Быстрое восстановление после «человеческого фактора», случайных удалений.
2. Резервное копирование статических файлов, кода и конфигурационных файлов
2.1. Резервное копирование файлов — бэкап, синхронизация.
2.2. Оперативное восстановление из больших бэкапов, подводные камни
2.3. Резервное копирование конфигурационных файлов
3. Мониторинг и проверка бэкапов
3.1. Мониторинг процесса создания бэкапов.
3.2. Мониторинг хранения бэкапов.
3.3. Тестовое разворачивание бэкапов.
Безопасность
«Кто защищает ваш сайт?» (Михаил Кондрашин, Trend Micro Россия) — презентация
Облачные технологии являются будущим для всего ИТ и уже сейчас необходимо представлять себе, как используемая защита от традиционных угроз, таких как удаленный взлом и вредоносный код впишется в новую реальность. Даже поверхностный анализ показывает, что традиционные подходы работают неудовлетворительно. Необходимо, чтобы безопасность, которую предоставляет поставщик облачных услуг бесшовно стыковалась с внутренней системой безопасности компании. С другой стороны, эта безопасность должна учитывать специфику задач, которые решает заказчик в облаке. Каждый перенесенный в облако ресурс, должен быть обеспечен защитой, которая настроена индивидуально и проходит регулярные аудиты, определяющие текущий уровень безопасности. Только в этом случае перенос ИТ-компонент в облако не будет являться компромиссом с безопасностью.
«Tempesta FW: Yet Another Web-accelerator?» (Александр Крижановский, NatSys Lab)
Tempesta FW — это Open Source гибрид Web-акселератора и фаервола, разрабатываемый специально для обработки и фильтрации больших объемов HTTP трафика. Tempesta FW встроена в TCP/IP стек Linux и несет в себе легкую in-memory оптимизированную для NUMA-систем базу данных для хранения Web-кэша и правил фильтрации. Основные сценарии использования системы — это защита от DDoS прикладного уровня и просто доставка больших объемов HTTP трафика малыми затратами на оборудование.
В докладе я расскажу про:
— зачем нужен еще один Web-акселератор и в чем его отличие от Nginx, Varnish, HAProxy и даже TUX и kHTTPd;
— типовые сценарии использования (CDN, cloud, фильтрующие сети и пр.);
— основные фичи (кэширование, балансирову нагрузки, фильтрацию);
— частые вопросы, связные с реализацией проекта в ядре ОС, производительностью и надежностью;
— системные требования, примеры конфигураций и, просто, как это все собрать и запустить.
«Как достичь рейтинга А+ для SSL сертификата на вашем сайте и другие аспекты безопасности хостинга» (Игорь Чередниченко, Rusonyx) — презентация
— Подводные камни SSL, как никого не обидеть.
— Плюсы и минусы стандартного openssl.
— SSL поднимаем скорость согласования.
«Аналитический обзор средств защиты интернет-контента» (Максим Левин, CDNvideo) — презентация
— Современные способы воровства различного контента и масштаб проблемы.
— Враг не пройдет: как защитить контент до того, как его своровали.
— Поздно пить боржом?.. Как защитить контент после того, как его своровали.
— Экспонаты руками не трогать! Методы защиты графического контента.
— Мелодии и ритмы современных пиратов. Методы защиты аудиоконтента.
— А теперь — слайды! Методы защиты видеоконтента.
«Безопасность веб-приложений 101 или введение для не ИБ-специалистов» (Денис Безкоровайный, Cloud Security Alliance) — презентация
— Кто и как атакует веб-приложения и от чего стоит защищаться.
— Аудит безопасности веб-приложения — что выбрать? Статический анализ кода и динамический анализ веб-приложений — плюсы и минусы, сферы применения.
— Системы активной защиты веб-приложений — типология, варианты развертывания, сферы применения.
— Мониторинг безопасности и выявление атак.
— План реагирования на атаки и инциденты, корректирующие меры, практические рекомендации.
Производительность
«Как мы сделали Киберпонедельник» (Алекс фон Розен, ГК «220 Вольт») — презентация
— Что делать, если сегодня вы узнали, что через полтора месяца нужно запустить highload-проект.
— Highload-команда.
— Highload-площадка.
— Как запуститься и не упасть.
— Что делать дальше.
* * *
Лайк, шер, ретвит! :) И — до встречи в следующем году!
Комментарии (14)
zBit
19.04.2016 16:13Все видео, которые я выбрал для просмотра, заканчиваются на самых интересных местах. Так и задумано?
adamant
19.04.2016 16:28Нет, конечно.
Какие, например?zBit
19.04.2016 16:39Ну вот, последняя, которую смотрел: https://www.youtube.com/watch?v=Qv7iUnKvLlU
Сами посмотрите чем заканчиваются все видюшки.adamant
19.04.2016 16:52Да, есть проблема с этим видео и еще с одним.
С остальными все ок.
Сейчас в любом случае разберемся. Спасибо за замечание.zBit
20.04.2016 11:11Видео без неожиданной концовки:
https://www.youtube.com/watch?v=svzZwQKKIV8
https://www.youtube.com/watch?v=9sxiSxbuVA4
https://www.youtube.com/watch?v=o-fBnCQwDJc
https://www.youtube.com/watch?v=XULH9rsfRBI
https://www.youtube.com/watch?v=CE3wHY1_tvU
https://www.youtube.com/watch?v=G4G6HakLVTM
Итого: 6 из 18 не обрываются на полуслове и не остаётся ощущения, что дальше должно быть продолжение.
Полных версий докладов нет совсем или можно ждать их в ближайшее время?
kotomyava
20.04.2016 09:32Спасибо за материалы.
Но Битрикс, отказоустойчивость, быстрый веб? Тут явно слово Битрикс лишнее, хотя ведь так хочется навести на такие ассоциации… =)adamant
20.04.2016 11:37-1Вы зашорены. :) На Битриксе полно highload проектов.
И мы уверены, что нам хватает компетенции в этой теме, чтобы организовывать подобные конференции.kotomyava
21.04.2016 01:17Ну да, тут вы правы. С Битриксом, даже из сайта заштатной конторки с полутора хитами в день, можно сделать хайлоад проект.
Естественно, решая такие проблемы вполне можно набраться ценного опыта.
Также, глядя на код и документацию, с созданием высокой нагрузки на мозг разработчиков сайтов, и на гугл вы тоже хорошо справляетесь. =)adamant
21.04.2016 12:58-1Вы проходили курсы Битрикса, чтобы понять архитектуру и логику, или сразу в код полезли? :)
Евросеть, Эльдорадо, Связной и т.д. — не по полтора хита в день.kotomyava
25.04.2016 03:41Вы всерьёз считаете, что чтобы понять, где хороший код, а где плохой, надо проходить курсы по Битрикс?
«Евросеть, Эльдорадо, Связной и т.д. — не по полтора хита в день.»
И много-ли там осталось от, собственно, Битрикса?adamant
25.04.2016 11:36-1Большинство из проектов — на последних версиях. Соответственно, успешно обновляются. А значит, работают на немодифицированном ядре и модулях.
То есть, от Битрикса там — 100%.
Frank59
Спасибо за конференцию! Было интересно.