Привет! В этом кейсе хочу описать процесс взаимодействие заказчика с поиском новых объявлений по определенным адресам (координатам) по всей России.

Суть: необходимо мониторить объявления объектов коммерческой недвижимости (аренда) на Авито и ЦИАН по заданным критериям. Необычность задачи - поиск объявлений в определенном радиусе от изначальной точки координаты.

Заказчик: крупнейшая сеть аптек (ввиду коммерческой тайны, раскрыть названия не могу), насчитывающая более 1000 оффлайн-точек по всей России.

Для расширения своего присутствия на российском рынке в формате «на каждом шагу», заказчиком было принято решение занимать данный рынок через поиск объявлений об аренде коммерческой недвижимости.

Сложность: на 4 менеджеров по развитию внутри компании - приходилось отслеживать более 7000 определенных адресов по всей РФ на наличие новых объектов аренды недвижимости в определенном радиусе (и это только на одном ресурсе). На подобный поиск новых объявлений могло уходить от 2х недель до 3х месяцев. Выходило трудозатратно и неудобно (ну а помимо этого, есть же еще и другие бизнес-процессы). При этом, очень крутые, вкусные объявления, улетали за считанные дни, которые даже могли не попасть в обозрение заказчиком.

Скриншот от заказчика, поиск объявлений от перекрестка. За чуть больше чем неделю, на определенном перекрестке было выложено 17 новых объявлений, которые еще не успели просмотреть менеджеры по развитию
Скриншот от заказчика, поиск объявлений от перекрестка. За чуть больше чем неделю, на определенном перекрестке было выложено 17 новых объявлений, которые еще не успели просмотреть менеджеры по развитию

Их такой подход не устраивал, и они обратились к нам, с просьбой получать такую информацию качественно, структурировано и в нужных объемах "на каждый день".

Реализация проекта

Входные данные: Предоставление информации о координатах от заказчика. Формат координат - классическая долгота и широта в градусах (например, 37.552291, 55.684824), по которым надо искать объявления в определенном радиусе

Реализация. Ранее с Авито и ЦИАНом мы работали, знаем их подводные камни и каким образом их обрабатывать, (а учитывая как они защищаются от парсинга, это не так просто, но мы в этом профи). Вопрос заключался в том, как реализовать поиск именно новых объявлений.

Потыкав палкой Изучив доски объявлений, нашли закономерность: на обоих сайтах используется решение от Яндекс.Карты, тем самым совпадает много параметров: отрисовка области поиска, вывод координат, отображение объявлений. Используем подход "убиваем нескольких зайцев"

Технические этапы:

  • Берем изначальный список координат и проходимся по сайтам с поиском всех объявлений на карте

  • Собираем список всех объявлений и сравниваем его с уже ранее обработанным. Фильтруем те объявления, которые уже просматривал заказчик и берем новые

  • Парсим новые объявления и всю ту информацию, которая необходима

На выходе, мы получаем Excel-таблицу, в которую попадают только новые объявления

Пример вывода Excel-таблицы для заказчика
Пример вывода Excel-таблицы для заказчика

Какие потребности решили:

Если смотреть со стороны технической:

  • Освободили заказчика и его менеджеров от рутинного поиска новых объявлений;

  • Ускорили поиск, сбор и выдачу новых объявлений с 3 месяцев ручного подбора - до 1 дня с помощью парсинга;

  • Автоматизировали данный процесс почти до идеала (идеальным же ничего не может быть, верно?)

Если смотреть со стороны заказчика:

  • Вся информация приходит примерно в одно и то же время, когда начинается рабочий день. Тем самым, появившись в офисе сотрудники - уже пользуются готовыми, самыми свежими данными;

  • Менеджеры успевают просмотреть все новые объявления (каждый день в среднем приходит 150-450 объявлений) и обработать их, пропуская дальше "по воронке бизнес-процессов";

  • Благодаря данным, исключили ошибки в повторных прозвонах уже обработанных ранее объявлений;

  • После внедрения системы мониторинга, заказчик сделал замер эффективности менеджеров по развитию. На протяжении 2 месяцев, удалось увеличить «эффективность дня» сотрудников на ~27%, масштабировав "одно из ключевых звений в цепочке рутинных событий".

Дальнейшее видение на расширение проекта

Тут имеем 2 видимых варианта развития:

Логический. Расширяться и дополнительно мониторить другие площадки недвижимости (Яндекс.Недвижимость, N1, ДомКлик и т.д.)

Интересный. Так как мы имеем координаты (как изначальные от заказчика, так и от досок объявлений), можно было бы их вывести визуально, например через конструктор Яндекс.Карты, отмечать новые объявления и то, где они расположены.

Так, мы более детализируем видение на карте (выводя только новые объявления каждый день), тем самым мы расширяем визуальную геолокацию работы каждого менеджера на карте (например, один менеджер работает объявлениями из Центральной Россией, второй – с Уралом, третий – с Сибирью, четвёртый - с Дальним востоком и т.д). Ну и неочевидные на первый взгляд факты - на карте сразу видно, с какой стороны вход, удобен ли подход к помещению, будет ли там нужная проходимость и т.д.

Оба варианта развития имеют место быть. Время покажет, возможно из идеи и видений появится что-то еще.

Вместо вывода

Проект получился одновременно нестандартным и крутым. Нестандартным, потому как запрос и реализация - немного отходят от классических решений. И крутым, потому что такие большие объемы информации сложных сайтов - обрабатывать (в плане парсинга) может не каждый специалист или компания.

На связи был Егор Кадышев, основатель RUFAGO.

Комментарии (8)


  1. alexandershelupinin
    06.05.2024 12:36
    +3

    краткое содержание статьи - спарсил сайт. и еще один.


    1. egor_kadyshev Автор
      06.05.2024 12:36

      Боюсь, тут больше кроется смысл в том, чтобы донести мысль о том, как парсинг может быть полезен при разных условиях и возможностях в бизнес-процессах, который как раз и был приведен в кейсе


  1. ArkadiyShuvaev
    06.05.2024 12:36

    Если не секрет, как вы обошли капчу? Ведь наверняка процесс как бот определяется.


    1. egor_kadyshev Автор
      06.05.2024 12:36

      Секреты фирмы :) как один из вариантов, для робота-парсера к авито и циану - нужно показать себя максимально «человекоподобным», чтобы не поймать капчу сразу при первом посещении


  1. gennayo
    06.05.2024 12:36

    А почему вообще авито и циан против парсинга своих сайтов? Они что, с покупателей разве зарабатывают, а не с продавцов?


    1. egor_kadyshev Автор
      06.05.2024 12:36
      +1

      Многие крупные сайты против парсинга. Лишняя нагрузка на сервера, может восприниматься как DDOS-атака, лишние затраты на расходники и защиту, и ещё дюжина прямых и косвенных причин, почему они против


      1. igorts
        06.05.2024 12:36

        Думаю API для доступа с данным сайта и с подпиской за малую денежку решил бы вопрос к обоюдной пользе


        1. egor_kadyshev Автор
          06.05.2024 12:36

          Было бы все так просто - парсинга бы не существовало :)

          Есть, кто предлагает доступ за денежку, но она далеко не малая

          Да и не выгодно все равно это, те кому надо так или иначе получат то, что им нужно