28 февраля мы провели SphinxSearch-meetup SuperJob. Рассказываем, что обсуждали участники, делимся видео и презентациями.
Алексей Сладков, ведущий разработчик SuperJob, выступил с темой «Как мы переходили на RT-индексы в поиске Superjob.ru».
Алексей поделился опытом перехода от регулярного перестроения индексов для полнотекстового поиска и отправки обновлений в коде «по месту» к RealTime-индексам и автоматической синхронизации состояния индекса и базы данных MariaDB.
Решить эту задачу удалось при помощи RT индексов Sphinx и самописного сервиса на Go, который вычитывает обновления по протоколу репликации, подготавливает данные и рассылает изменения.
Детальнее можно почитать в статье Алексея или посмотреть видеодоклад:
> Презентация Алексея
Андрей Аксёнов, автор Sphinx и руководитель группы разработки в Avito, рассказал «Про Sphinx и ML-ранжирование».
Андрей рассказал, какого рода задачи, связанные с поиском решают сегодня в Авито, что потенциально полезного умеет Sphinx в разрезе победной поступи ML, и «как конкретно мы собственно с ним зачем-то живём».
> Презентация Андрея с митапа
> Доклад Андрея с Highload Siberia 2018
Все фото с мероприятия доступны в официальной группе Superjob IT-meetup.
Алексей Сладков, ведущий разработчик SuperJob, выступил с темой «Как мы переходили на RT-индексы в поиске Superjob.ru».
Алексей поделился опытом перехода от регулярного перестроения индексов для полнотекстового поиска и отправки обновлений в коде «по месту» к RealTime-индексам и автоматической синхронизации состояния индекса и базы данных MariaDB.
Решить эту задачу удалось при помощи RT индексов Sphinx и самописного сервиса на Go, который вычитывает обновления по протоколу репликации, подготавливает данные и рассылает изменения.
Детальнее можно почитать в статье Алексея или посмотреть видеодоклад:
> Презентация Алексея
Андрей Аксёнов, автор Sphinx и руководитель группы разработки в Avito, рассказал «Про Sphinx и ML-ранжирование».
Андрей рассказал, какого рода задачи, связанные с поиском решают сегодня в Авито, что потенциально полезного умеет Sphinx в разрезе победной поступи ML, и «как конкретно мы собственно с ним зачем-то живём».
> Презентация Андрея с митапа
> Доклад Андрея с Highload Siberia 2018
Все фото с мероприятия доступны в официальной группе Superjob IT-meetup.
greabock
Странно, я почему-то думал, что Sphinx — труп, и все уехали на ElasticSearch, Solr прочие.
grossws
Да не то чтобы труп, но аудитория у него другая, в целом. Его очень любят поверх mysql/postgresql, т. к. почти прозрачно интегрируется в sql. В других случаях, если не нужно много ручек для настройки и хватает простых запросов и простого пайплайна обработки, то почему бы и нет.
Так простой полнотекстовый поиск не на базе Apache Lucene (а что ElasticSearch, что Apache Solr на его базе) постепенно появляется в различных продуктах. Например, MongoDB добавила свой FTS, у Postgres есть свой простой FTS, в MySQL что-то появилось лет 5 назад..