Привет, Хабр. Мы задумали встретиться офлайн в Москве и поговорить о том, как строить быстрый бэкенд и развивать его. Будут доклады о том, как живётся с большим кластером MongoDB, как битмап-индексы помогают быстро искать по каталогам и то, как анализировать большие объемы Jaeger-трейсов. Читайте пост: ниже тезисы и ссылка на регистрацию, встречаемся 4 июня.





Как битмап-индексы помогают быстро искать по каталогам — Денис Колпаков, Авито 



image
Это рассказ о том, как как мы решили продуктовую задачу по быстрой фильтрации модификаций в каталогах: начиная от сбора требований до финального решения на продакшене.
В процессе расскажу о контексте и проблематике с которой столкнулись, функциональных и нефункциональных требованиях к ручкам фильтрации. Также какие решения и алгоритмы мы рассматривали, их эволюцию от MVP до production ready (как решение «в лоб» эволюционировало в достаточно эффективный алгоритм основанный на битмап индексах).
В конце поделюсь тем, каких результатов нам удалось добиться, какие есть плюсы и минусы у выбранного подхода, а также о дальнейших шагах в поддержке данного решения.



Ищем боттлнеки за 30 минут с помощью Jaeger трейсов — Артём Клюквин, Joom 



imageЕсли ваш прод уже давно представляет собой большую и запутанную систему из множества сервисов, то, наверняка перед вами неоднократно вставал вопрос: «Что-то все лагает; как бы сделать побыстрее?». Вот и перед нами он встал. Но стандартные средства поиска узких мест (такие как сбор метрик, профилирование и просмотр Jaeger-трейсов), к сожалению, не особо помогают понять, что же конкретно надо делать прямо сейчас.
В процессе решения этой проблемы мы разработали библиотеку для анализа больших объемов Jaeger-трейсов, позволяющую не только искать потенциальные узкие места, но и заранее оценивать эффект от потенциальных оптимизаций. Про нее я и расскажу в докладе. 



30 TiB в MongoDB и как мы с этим живем — Сергей Загурский, Joom  



image В качестве основного хранилища мы используем MongoDB, и у нас одна из самых больших инсталляций в Европе. В своем докладе я расскажу об особенностях топологии наших кластеров, о наших инструментах мониторинга на базе Prometheus и Elasticsearch, работе с бэкапами и о автоматизации развертывания и обслуживания кластеров MongoDB со множеством инстансов. Расскажу о том, как доработали серверы с базами данных, о наших кастомных инструментах для проверки «здоровья» кластеров для повышения отказоустойчивости, а также покажу, какой разработали инструментарий для работы с Terraform. 

Регистрация


Будем рады видеть всех офлайн. Регистрируйтесь на Timepad.
Отчёт и видеозаписи с митапа выложим в этом блоге.

Комментарии (3)


  1. onyxmaster
    30.05.2022 17:36
    +2

    одна из самых больших инсталляций в Европе

    Надо своим сказать что у нас одна из самых больших инсталляций в Европе =)
    mongos> show dbs
    a 131344.482GB
    a_i 11202.452GB
    a_t 117.061GB
    moderation 565.509GB


  1. WhiskyBar
    31.05.2022 09:39

    А онлайн трансляция будет?


    1. rafinirovannoe Автор
      31.05.2022 17:02
      +1

      Нет, но будут видеозаписи, выложим отчёт на Хабре.