Как часто, имея массив текстов (любой тематики) мы хотим увидеть тематическую выжимку? Какие темы обсуждаются? Какие наиболее популярные? Как было бы здорово ввести поисковые слова и получить тренды вокруг них!
image


Система умеет:
  • Получать массив данных и сохранять их под Вашим пользователем.
  • Строить список тем с группировкой документов по темам.
  • Делать realtime поиск по документам и строить темы по найденной выборке.


Все перечисленные функции доступны через API, которым легко воспользоваться, подключившись к одному из тарифных планов (есть бесплатный триал на месяц!).

Мы проиндексировали соц. медиа (твиттер, facebook, вконтакте) в начале осени 2015 года и сделали скриншоты системы для визуальной оценки.

Консьюмерский сегмент: Магнит.
image

Yota:
image

Политика: выступление Путина в ООН.
image

Так выглядит тема изнутри:

image

На предыдущем скриншоте представлено содержимое темы “ООН 2015”, включающее 7 новостей.

Как видно из скриншотов, система представляет из себя полноценную поисковую систему (с поддержкой русской морфологии) и является удобным инструментом для быстрой навигации по массивам информации. У нас нет ограничений по поддерживаемым тематикам и типу данных — соц. медиа, новостные ленты либо Ваши корпоративные документы. Все описанные функции доступны как в виде SAAS продукта с пользовательским интерфейсом, так и в составе Insider API, который можно встроить в Ваши существующие системы и мобильные приложения.

Принцип применения API:

1. Загрузить данные (посты, статьи) в систему.
End-point: /articles/uploadJson
Тип запроса: POST
[
  {
   "id": 2134657,
   "title": "Оскар",
   "description": "Наши дети уже не поймут всех этих приколов про Лео и Оскар. Ушла эпоха. Мы - особое поколение.",
   "link": "https://twitter.com/palnom6/status/704979632127418369"
  }
]


В одном запросе можно переслать до 50 текстов. В ответ API отвечает кодом 200, если всё прошло успешно.

Обратите внимание на параметр id: по значению этого параметра мы получим привязку данного поста к определенной теме / тренду на следующем шаге.

2. Получить тренды: либо по документам в целом, либо в привязке к ключевым словам.

End-point: /articles/cluster
Тип запроса: POST
{
  "query": ""
}


В ответ API генерирует тренды.

[
  {
    "labels": [
      "Оскар"
    ],
    "score": 1.510325122396045,
    "docs": [
      "2134657",
      "2134656",
      "2134655",
      "2134654"
    ]
  },
  {
    "labels": [
      "Политика"
    ],
    "score": 1.2447816860782057,
    "docs": [
      "2134653",
      "2134652",
      "2134651",
      "2134650",
      "2134649",
      "2134648"
    ]
  }
]


Значение score отображает релевантность данной тематики запросу пользователя.
На шаге два можно передать и некоторое ключевое слово, вокруг которого будут построены темы / тренды.

Insider API доступен здесь: market.mashape.com/dmitrykey/insiderapi

Помимо трендов, другими удобными фичами являются:

Сфера применения

Проголосовало 11 человек. Воздержалось 6 человек.

Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.

Поделиться с друзьями
-->

Комментарии (15)


  1. zenn
    18.05.2016 13:06
    +2

    Вот хоть убейте, но каким образом этот рекламный пост относится к разделу разработки? Вы серьезно считаете, что ~1к тексто-символов, размытые 4мя скриншотами и 1 логотипом можно считать за техническую статью?!
    Почему эта «пиарщина» не в блоге компании?! Почему не в «я пиарюсь» (кармы нахватает?)?
    Каким боком это относится к Data mining? Вы описываете технические аспекты реализации или просто пришли вбросить 4 ссылки на ваш сервис?
    П.с. — вы не на мегамозг пишите, будьте добры, либо оформляйте статьи так, как соответствует техническим материалам, или пишите в соответствующие разделы/хабы.


    1. DKey
      18.05.2016 14:09
      -2

      спасибо за рекомендации. Data mining — например, извлечение адресов из текстов. Какой хаб вы бы порекомендовали?


      1. zenn
        18.05.2016 14:52
        +1

        Вся принципиальная разница лишь в том, что вы не описываете этот самый процесс (нет никаких технических аспектов, ни алгоритмов, ни ПО, ни программного кода), а просто рекламируете свой сервис. Единственный хаб для данного, кхм, поста — это «Я пиарюсь».


        1. DKey
          18.05.2016 15:08

          мне действительно не доступен хаб «Я пиарюсь». Поэтому на посте есть тэг.


        1. DKey
          18.05.2016 15:25
          -1

          Добавлено описание взаимодействия с end-point'ами.


          1. zenn
            18.05.2016 16:01
            -1

            Выглядит так, будто вы пытаетесь сдать реферат в институте, а у вас его не принимают и вы пытаетесь добавить «больше воды». Возможно вы невнимательно прочли мой вопрос, а возможно некомпетентны в нем, постараюсь разъяснить. Вы описываете «скриншотами» некий технический комплекс, который по средствам взаимодействия с его API позволяет получить ту или иную релеватную выдачу в зависимости от запроса и данных, введенных пользователем. Так вот, технический интерес представляет как раз таки работа вашего технического комплекса и его организация, но никак не алгоритм взаимодействия с его API по средствам JSON (это пожалуй известно даже новичкам, а детальная информация уже есть на сайте сервиса). Под «работой технического сервиса» понимается набор приложений (баз данных, поискового движка, программного кода который все это связывает) и то как они организованы, чего здесь нет и статья вряд ли может находится в техн. разделе этого ресурса.


            1. DKey
              18.05.2016 20:00

              Дело в том, что данная публикация преследует ознакомительную цель с данным продуктом. А относится ли это к разработке — имхо, да. Ведь продукты на основе данного API вполне себе разработка.


  1. ServPonomarev
    18.05.2016 13:22

    Обязательная регистрация для теста? Ввод данных кредитки для бесплатной месячной подписки — для теста?!

    Вам совсем плохо?


    1. DKey
      18.05.2016 14:07

      Кредитка не нужна для теста: скиньте свой mashape id и я сделаю личный план.


  1. vshemarov
    18.05.2016 13:52

    Какие темы обсуждаются?..
    Мы проиндексировали соц. медиа (твиттер, facebook, вконтакте) в начале осени 2015 года…

    Т.е. сейчас это интересно только тому, кто хочет знать, какие новости обсуждались более полугода назад


    1. DKey
      18.05.2016 14:08

      Чем старше данные, тем меньше вопросов от соответствующих организаций. Для новых данных система тоже работает.


      1. vshemarov
        18.05.2016 16:48
        +1

        А ФБ ведь в нынешнем АПИ не позволяет поиск. Интересно, как вы получаете свежие данные?


        1. DKey
          18.05.2016 20:17

          Это правда. Остался открытым Graph API, при помощи которого можно загрузить странички-хабы по брендам / политике / спорту и тд с комментариями, лайками и тд. Помимо этого есть scrappers (например: http://scrapy.org/).


  1. elingur
    19.05.2016 09:22
    +1

    Дмитрий, выкладывайте алгоритмы. Мы в вас верим. Все остальное от лукавого.


    1. DKey
      19.05.2016 10:29

      Спасибо за доверие. В следующий раз — обязательно.