Привет! Меня зовут Полина, я присматриваю за соцсетями в клиентской службе Циан. Три последних года мы мониторили соцсети с помощью одного из старейших сервисов — YouScan. Этой весной YouScan уведомил всех, что уходит с российского рынка. В этой статье расскажу, как мы нашли ему замену среди российских систем.

Тестируем YouScan, Медиалогию, Brand Analytics и IQBuzz

Клиентская служба мониторит соцсети, чтобы реагировать на упоминания и собирать инсайты и аналитику. Нам нужна система, которая находит максимум пользовательских реакций, точно размечает данные и быстро и качественно их сортирует. Ещё нужны интеграции с HelpDesk, выгрузки, уведомления и опции командной работы. Мы выбрали системы мониторинга соцсетей, которые заявляют больше всего нужных нам параметров, запросили тестовый доступ и на практике сравнили между собой.

Новизна этого обзора по сравнению с другими [например 1, 2, 3] в том, что он новый ???? и ориентирован прицельно на работу с упоминаниями для реагирования и аналитики.

В этой статье:

• Расскажем о подводных камнях сбора и автоматической разметки на конкретных кейсах Циан.

• Сравним Youscan, Медиалогию, Brand Analytics и IQBuzz по ключевым параметрам и объясним, кого и почему в итоге выбрали для мониторинга.

В конце каждого раздела — сравнительные таблички.

Сбор данных: переезжаем со своим запросом

Как собрать все упоминания Циан в соцсетях? Да вообще легко! Парсим соцсети и фильтруем по ключевому слову «Циан». В выдаче обнаруживаем комету, напичканную аммиаком и цианом, и еще маленького Циана с пушистым хвостом, который ищет дом. Между прочим, он привит. 

Они отправляются в стоп-слова, которые задаются логическими операторами. В данном случае можем подобрать характерные низкочастотные термины: «-аммиак» и «-привит». В нашей теме недвижимости их употребляют редко, так что исключаем все упоминания с этими словами. Операторами можно задавать и более сложные условия. Чем дольше работаешь с выдачей по теме, тем длиннее твой поисковый запрос. 

Он сам по себе ценен и хорошо, если отлаженный запрос получается переносить из системы в систему. Тут на Хабре можно почитать, как в Brand Analytics сделали детектор сбоев брендов. Так вот, в процессе отладки они выяснили, что полный поток упоминаний хуже по точности, чем клиентский (то есть уже отфильтрованный ручками), почти в два раза.

Сравнили синтаксис логических операторов у всех четырёх систем. Он почти одинаковый, переносить из системы в систему поисковые запросы легко.

Откуда берем данные?

Из текста. Текстовые упоминания собирают все четыре системы. Данные с картинок, из сториз и чекинов тоже могут пригодиться, зависит от аудитории бренда.

Попробовали ещё распознавание текста видео в Медиалогии и в Brand Analytics: выдача выросла процентов на 30, подавляющее большинство упоминаний к Циан отношения не имели. Хорошо иметь в запасе, но пока не критично.

Таблица сравнения источников

Глубина сбора: никогда не достаточно

Все сервисы предоставляют её в зависимости от оплаты, но не более 500 000 упоминаний в теме, а у IQ Buzz — не более 100 000 упоминаний. Для текущего мониторинга и аналитики в рамках одного года хватает средних тарифов. 

А вот сбор за много лет для большого бренда никогда не влезет в аналитическое окно. Его можно потерять при переходах от сервиса к сервису. Поэтому лучше определить приоритетные данные, которые мы хотим хранить годами, и упаковывать их к себе.

Результаты сбора: склеиваем выдачи

Настроить близко по параметрам к Youscan удалось только в Brand Analytic, распределение по источникам было похоже в пределах +- 10%. 

В Медиалогии распределение по источникам отличалось +- 30%, а если смотреть по местам публикации, в топе были совсем другие сообщества. 

Сравнить по источникам c IQBuzz не вышло, дашборд «Источники» не работал. Так как времени на настройку выдачи было в каждом случае не слишком много (порядка десяти дней), это не было решающим результатом.

Все четыре системы имеют похожие системы сбора. Меньше всего опций у IQBuzz.

Таблица сравнения сбора данных

Разметка: дьявол в деталях

Если вы собираете в день сотни, тем более, тысячи упоминаний, то качество автоматической разметки становится критичным. Ни одна система пока ещё не настолько хороша, чтобы полностью исключить работу человека, но есть нюансы. 

Тональность не так проста, как кажется: «Тебя что, на Циан забанили?»

Приходилось встречать упоминания, что какая-либо система мониторинга определяет тональность с точностью 85%, даже 98% и, соответственно, в ней доступно автоопределение индексов лояльности и удовлетворённости клиентов на основе тональности. 

Дьявол в деталях. Тут на Хабре есть статья об автоопределении тональности. Дальше будут ссылки и на другие научные статьи.

 Чтобы достичь точности 80—90% в автоопределении тональности, текст должен быть длинным и посвящён одной теме, для которой мы определяем тональность. Например, в подборке отзывов на фильм можно довольно точно оценить тональность каждого из отзывов. 

При прямой речи в соцсетях, чаще всего в коротком посте или в комментарии, точность определения тональности падает. На русском это будет ~60—65%.

Почему?

• Тему короткого текста, особенно если это прямая речь, определить сложнее Например «Мне понравился котик на фотке квартиры в Циан» это добрые слова про котика, а не про Циан. (Исследование) 

• Эмоциональная реакция сильно зависит от контекста. Например, «Тебя что, на Циан забанили?!» —- это позитив, если в контексте был вопрос, где найти квартиру. (Исследование)

• Определить тональность русского языка сложнее, чем английского. Это связано со структурой языка. В русском можно использовать нечёткие конструкции. А их труднее анализировать. 

  Исследований по русскому языку пока мало, есть работа про сходные проблемы на чешском. Так вот, им удалось достигнуть максимум 66-68% точности в определении тональности отдельных упоминаний, в то время, как на английском та же система даёт 75—77% точность. 

  В довольно старом белорусском исследовании максимальная точность на цитатах — 62% 

  Кроме структуры языка, есть ещё культура. Например, «Я в восторге от Циан, опять повысили тарифы» — это негатив. И это сарказм.

Заранее требовать от авторазметки высокого качества по тональности и темам нельзя. Но можно учить систему на сетах, которые мы сами уже разметили вручную. Для этого надо, чтобы разметку было удобно редактировать со стороны пользователя.

Правим правилами

Правила — это способ применять разные массовые действия к упоминаниям определённого вида.

Пример: «По данным аналитического центра Циан, положение на рынке новостроек существенно улучшилось». Автоопределение тональности, ставит тут позитив. А если положение с новостройками ухудшится, то поставит негатив. На самом деле тема сообщения — положение на рынке новостроек, а автоопределение считает, что тема сообщения — Циан. 

 Аналитику Циан упоминают часто, так что задаём для неё правилом нейтральную тональность:

Сразу видно, что ключевых слов маловато — нужны, хотя бы, ещё падежные формы. Это потому, что у Brand Analytics стоит ограничение на количество слов при создании правила. Приходится делать несколько.

Правила есть у всех, кроме IQBuzz. Возможности настройки правил в разных системах сходные.

Автокатегории: нецензурная лексика, дачники и благотворительность

Каждая система предлагает свой набор автокатегорий. Это их собственные разметки, которые могут быть полезны для фильтрации срезов выдачи. Отлажены они могут быть по-разному, так что надо проверять качество. В Youscan есть крайне полезная категория Word of Mouth (WOM), и она довольно точная. В Brand Analytics она тоже есть, а ещё «агрессия» и «нецензурная лексика», они тоже работают хорошо. Обе системы умеют размечать поисковый спам, объявления и рекламу, розыгрыши, благотворительность, вакансии. С ними уже хуже по качеству. В категорию «вакансии» по теме Циан падают вакансии агентств недвижимости, которые хотят, чтобы кандидат умел размещать объявления на Циан. 

А объявления и реклама, наоборот, часто уплывают мимо фильтра — это наблюдали у всех систем. У Медиалогии вместо WOM есть раздел мнений, и свои сегменты аудитории — зумеры, ЗОЖники, дачники. 

YouScan ещё размечает аспекты продукта, такие как сервис, цена, функциональность, качество и т. д. Сама по себе фича очень интересная, если бы она работала. Мы сравнили сет, размеченный аспектами продукта вручную, с авторазметкой YouSscan и точность была, увы, примерно 50%.

Теги

Теги на упоминания дают ставить все системы, в Brand Analytics есть ограничение по количеству в разных тарифах. В YouScan есть автотеги внутри правил.

В Brand Analytics в правиле на тег можно написать расширенный поисковый запрос. Так мы сразу же смогли автоматически проставлять тег «посуточная аренда» на все упоминания, потому что там чёткий набор уникальных ключевых слов.

Сравнение разметки YouScan и Brand Analytics дают больше всего возможностей

Таблица сравнения разметки

Работа с выдачей и аналитика

Проваливаемся в фильтры

Фильтры есть у всех. IQBuzz фильтрует по 5 основным параметрам. 

В Медиалогии нет фильтров по группам и авторам, но можно провалиться в данные по клику на группу. Не очень удобно, они планируют эту область развивать.

В Brand Analytics нет логических операторов для сочетания фильтров. Можно сделать только пересечение. И то, если фильтров больше двух, система виснет. А сделать так, чтобы часть фильтров сочеталась как «ИЛИ», а часть как «И», в длинном запросе вообще нельзя. А это часто бывает нужно. Например, чтобы посмотреть только необработанные упоминания из нескольких сообществ. Эту задачу решают персональные фильтры. И они всем хороши, кроме того, что каждый раз нужно создавать новый фильтр, вместо пары тыков по чекбоксам в YouScan.

YouScan и Brand Analytics дают больше всего возможностей.

Таблица сравнения фильтров

Визуализация данных

Каждая система умеет ранжировать по основным параметрам, сравнивать несколько тем, у всех есть дашборды.

О классных фичах. 

Красивая и лёгкая визуализация аналитики в виджетах IQBuzz. Там кликабельны все элементы, и каждый ведёт на другой кликабельный виджет.

 У Brand Analytics настраиваемые дашборды с несколькими наборами цветовых гамм. 

У YouScan отличная визуализация трендов — самых горячих тем обсуждения. 

Медиалогия единственная умеет показывать аналитику по тегам, проставленным самими пользователями в постах:

Сравнение аналитики: у всех систем качественные визуализации данных.

Таблица сравнения аналитики

Интеграции и командная работа

У YouScan и Brand Analytics реализованы интеграции с Telegram и основными HelpDesk. Это для клиентской службы немаловажно. Уведомления о резких всплесках упоминаний присылают только Brand Analytics и IQBuzz. Причём в Brand Analytics можно очень подробно настроить эту функцию, задавая фильтрами типы упоминаний и настраивая динамику, при которой уже надо кричать «караул». 

Совместная работа доступна во всех системах мониторинга. У Brand Analytics есть функция «Журнал», где можно посмотреть график работы каждого участника. 

Настройку и рассылку отчётов можно настроить тоже во всех системах, как и выгрузки упоминаний. 

У Brand Analytics максимальное количество функций.

Таблица сравнения интеграций и опций для команды

Результаты

Медиалогия — крутая система для медийного отслеживания, как и следует из названия. Она ориентирована на глубокие выборки в самых разных направлениях, когда используют в основном автоматические функции. 

IQ Buzz — очень лёгкая «миллениальная» система, сделана на HTML5, оптимизирована для смартфонов, имеет самые лучшие показатели для быстрого просмотра, но минимум настраиваемого функционала. При этом все критически важные показатели она отслеживает. 

Brand Analytics получила больше всего зеленых огней в нашем светофоре, в сравнении с «эталонным» YouScan, который позволяет много пользовательских настроек. У BA придраться можно только к неудобствам в настройке фильтров и ну о-о-о-очень медленной загрузке каждого действия. А интеграций в Brand Analytics больше, чем в Youscan.

По итогам тестирования мы выбрали победителя и с сентября мониторим соцсети с Brand Analytics.

Для других целей, например, для мониторинга СМИ или быстрой аналитики, возможно, больше подошли бы другие системы. Мы сравнивали только те функции, которые нужны конкретно в наших задачах. Полный функционал каждой из систем мониторинга можно посмотреть в базах знаний:

UPD: Сейчас мы уже месяц используем Brand Analytics. Всё так, как было при тестировании. Остались проблемы с определением тональности. Обучение на сетах идёт, правила настраиваем. Поддержка и разработчики постоянно в контакте, что важно. Копаем дальше.