Привет Хабр!

Рынок криптовалют растет каждый день, а вместе с ним растет и кол-во информации.

Поэтому мы решили запустить проект intwt.com — это агрегатор новостей и постов из соцсетей для трейдеров и всех кто интересуется криптовалютами.



Простой, удобный и понятный интерфейс сервиса призван сделать его реально эффективным инструментом для мониторинга важной информации.

На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно.

Каждый материал анализируется системой на упоминания криптовалют и популярность в соцсетях.

Используя фильтр новостей вы можете настроить свою индивидуальную ленту, сохранить ее в своем аккаунте и если нужно включить трансляцию в свой телеграм канал.

Мы постоянно отслеживаем важные индикаторы по 2716 криптовалютам и следим за появлением новых валют на рынке.

Используя специальный интерфейс для просмотра списка криптовалют вы можете видеть лидеров роста и падения на рынке.

Для каждой валюты можно посмотреть последние новости и все индикаторы на отдельной странице, например такие как Цена, Капитализация и т.д., а также график цены за весь период существования валюты на рынке.

В личном кабинете вы можете сформировать портфель криптовалют и отслеживать его динамику на графике.

На данный момент о монетизации не думаем, т.к. сервис совсем молодой и набирает аудиторию, но скорее всего это будет реклама и платный доступ по подписке к PRO функциям.

Немного технических деталей


Сервис можно разделить на две части

  1. Фронтенд представляет из себя SPA приложение написанное на Vue и бэкенд написанный на Go, который раздает минимальный HTML с контентом для поисковиков и код для запуска SPA приложения. Такой подход позволяет избежать серверного рендеринга и дружить с поисковиками. Хотя Яндекс нас сразу заблокировал, как дорвея.
  2. Парсер выделен в отдельный сервис со своей базой и админкой, так чтобы его можно было без проблем вынести на отдельный сервер. Здесь мы использовали Go, PostgreSQL, Beanstalkd для организации очередей парсинга и Rotating TOR proxy который позволяет избежать блокировки по IP. Для парсинга некоторых сайтов приходится использовать browserless chrome, чтобы обойти защитные механизмы. Админка для парсера сделана на Laravel.

Все сервисы работают внутри Docker, на данный момент запущено 19 контейнеров. Все это деплоится через GitLab CI. Для мониторинга системы используем Prometheus и Grafana, а для лога ошибок Sentry.

Что планируется дальше?


Разработка мобильного приложения для ios и android, создание платформы для специалистов с возможностью размещать авторские статьи, видео и обзоры по криптовалютам. Подписка на автора. Ну и конечно автоматизированный регрессионный анализ влияния новостей на движение цены валюты.

Будем рады услышать критику или идеи для развития проекта.

P.S. настоящий автор поста Дмитрий, все вопросы к нему.

Комментарии (11)


  1. Nikopol25
    12.04.2019 08:51

    Можно выбрать язык сайта, но почти все новости на других языках, да и не новости а просто лента из твиттера, почему просто не подписаться на твитерре на эти новости.


    1. atdima
      12.04.2019 09:14
      +1

      Язык сайта это язык интерфейса. В фильтре новостей можно выбрать язык новостей, например русский и английский. Также там можно указать другие настройки фильтра. Постов из твиттера действительно много, но если они вам не нужны, можете отключить соцсети используя фильтр.


  1. pavelpromin
    12.04.2019 10:43
    +1

    Хайп же прошел и широкие массы забили на криптовалюты. Гопники у подъезда уже не подходят с фразами "есть крипта?!, а е.....".
    Кто ЦА?!


    1. atdima
      12.04.2019 10:56

      На данный момент ежедневный объем торгов криптовалютами ~50 млрд долларов, а это значит что тема все еще актуальна. Заметил такую тенденцию, что если биткоин начинает заметно рости, то и трафик на сайте поднимается.


      1. developeAR
        12.04.2019 17:28

        На данный момент ежедневный объем торгов криптовалютами ~50 млрд долларов

        Очень спорная цифра, так как:
        1) большинство бирж специально накручивают объёмы торгов, чтобы быть повыше в CoinMarketCap;
        2) самые крупные сделки проводятся мимо бирж, по тихому, через OTC (это заметно по движению активов на кошельках «китов»)


    1. ne_kotin
      12.04.2019 14:02

      Пару раз за последний квартал получал оплату в криптовалюте.
      ? \ _ (?) _ / ?


      1. YemSalat
        13.04.2019 13:17

        А теперь расскажите где/кем работаете и все встанет на свои места.


        1. ne_kotin
          15.04.2019 09:57
          +1

          Программистом на удаленке. И что?


  1. aleks_raiden
    12.04.2019 10:58
    +1

    Конкуренции на этом рынке, конечно много. Сами думали о похожем продукте, но отказались. Буду следить.

    А есть/будет какое-то разделение по тематике — например, я хочу отслеживать только связанное с лигал или биржами или только о разработке, без маркетинга и возгласов. Или только официальные анонсы, без частных разговоров?


    1. atdima
      12.04.2019 11:02

      Хорошая идея, подумаем над этим. Можно выделить основные категории и научить систему автоматически классифицировать посты по этим категориям.


  1. ericgrig
    14.04.2019 02:08

    Спасибо за публикацию!
    Для трейдеров занимающихся виртуальной валютой, вы сделали большой объем работы. Думаю, посещая Ваш сайт, каждый найдет себе что-то интересное, хотя объем представленной там информации очень большой.

    «На данный момент мы анализируем более 3 тысяч новостных источников, на английском, русском и китайском языках, в результате мы получаем около 3 тысяч новых материалов ежедневно»

    Мне кажется, посетителю сайта будет не так просто извлекать ценные знания из 3000 новых материалов. Лента коротких блоков информации – это хорошо. Может, стоит подумать об обработке этих коротких блоков информации, с целью их обобщения по тем или иным направлениям для удобства пользователей?
    В целом, молодцы. Сделан хороший первый шаг. Надеюсь, на этом не остановитесь. (Если сочтете интересным алгоритмическую поддержку с моей стороны – напишите: ericgrig@gmail.com)