Предисловие

Сейчас многие используют инстаграм (далее инста): кто-то там собирает альбомы, кто-то продает, кто-то покупает, а я там ленюсь. Мне всегда было интересно как там поживают мои друзья, одноклассники, коллеги и инста в этом помогала. Захотел узнать, что там нового — зашел, полистал ленту, увидел все, что интересовало ушел… НО! Мне почему-то всегда нужно было лайкнуть каждый пост (не могу обьяснить зачем, но такие вот дела). И вот представьте, неделю туда не заходил, сидишь, лайкаешь недельный пул, а когда у тебя 200+ подписок — это вообще ад.

Активные действия

В итоге, как и любому нормальному человеку, мне стало лень лайкать все подряд и я забил. Вроде бы все стало хорошо, я перестал тратить кучу времени на бесполезные лайки, но меня съедала совесть. Я понимал, что подписчикам плохо без моего царского лайка, они грустят и бла бла бла… В общем, было решено, что нужно написать что-то простое и легкое, которое сможет решить проблему негодования, а может и помочь еще кому-то. От знакомых много слышал о python и о том, как клево тестить приложения с помощью selenium или использовать его в качестве некого crawler'a. Было решено использовать python и selenium в связке с phantom js, все это было для меня ново, т.к. до этого я с данными технологиями вообще не был знаком.

Почему Selenium и phantom?

Тут все очень просто. Клиентская часть instagram написана на react, следовательно, какие-либо данные можно дернуть там только после того, как страница будет срендерена. Т.к. selenium как раз и служит для автоматизации действий в браузере, а phantom js помогает делать это все без какого-либо отображения, было решено их использовать. Забегая наперед скажу, что от phantom js я решил отказаться в силу того, что он достаточно медленный, а у chrome появилась опция headless, что и позволило использовать его в качестве «безголового» браузера.

Почему python?

Я много слышал и читал о том, что этот язык отлично подходит для работы с big data, отсюда я сделал вывод, что в нем удобно работать вообще с какими-либо данными (парсить, сортировать, сравнивать, форматировать и т.д.), также я где-то читал, что к нему удобно и быстро писать свой мини-библиотеки (а это то, что нужно для бота, чтоб сделал его как можно универсальнее). Взвесив все, решил остановиться на python3 (до этого часть проекта уже была написана с возможностью запуска на python2 и python3).

Разработка библиотеки для бота

Весь процесс описывать глупо, поэтому остановимся на самых интересных моментах:

• Авторизация

  
  Так как бот — это повторение большого кол-ва одних и тех же действий для которых нужно быть авторизованным, то нужно было что-то придумать с этим процессом. Каждый раз логиниться через форму очень подозрительно, было решено попытаться дернуть куки и использовать их для авторизации.
  
  
  Оказалось, что у instagram с этим все просто (а вот mail ru доставил мне дикую головную боль):

  import pickle
  import time
  import tempfile
  import os
  import selenium.common.exceptions as excp
  
  
  def auth_with_cookies(browser, logger, login, cookie_path=tempfile.gettempdir()):
      """
      Authenticate to instagram.com with cookies
      :param browser: WebDriver
      :param logger:
      :param login:
      :param cookie_path:
      :return:
      """
      logger.save_screen_shot(browser, 'login.png')
      try:
          logger.log('Trying to auth with cookies.')
          cookies = pickle.load(open(os.path.join(cookie_path, login + '.pkl'), "rb"))
          for cookie in cookies:
              browser.add_cookie(cookie)
          browser.refresh()
          if check_if_user_authenticated(browser):
              logger.log("Successful authorization with cookies.")
              return True
      except:
          pass
  
      logger.log("Unsuccessful authorization with cookies.")
      return False
  
  
  def auth_with_credentials(browser, logger, login, password, cookie_path=tempfile.gettempdir()):
      logger.log('Trying to auth with credentials.')
      login_field = browser.find_element_by_name("username")
      login_field.clear()
      logger.log("--->AuthWithCreds: filling username.")
      login_field.send_keys(login)
      password_field = browser.find_element_by_name("password")
      password_field.clear()
      logger.log("--->AuthWithCreds: filling password.")
      password_field.send_keys(password)
      submit = browser.find_element_by_css_selector("form button")
      logger.log("--->AuthWithCreds: submitting login form.")
      submit.submit()
      time.sleep(3)
      logger.log("--->AuthWithCreds: saving cookies.")
      pickle.dump([browser.get_cookie('sessionid')], open(os.path.join(cookie_path, login + '.pkl'), "wb"))
      if check_if_user_authenticated(browser):
          logger.log("Successful authorization with credentials.")
          return True
      logger.log("Unsuccessful authorization with credentials.")
      return False
  
  
  def check_if_user_authenticated(browser):
      try:
          browser.find_element_by_css_selector(".coreSpriteDesktopNavProfile")
          return True
      except excp.NoSuchElementException:
          return False

  
  При неудачной авторизации куками, авторизируемся логином/паролем, сохраняет куку и используем ее в дальнейшем, стандартная схема.
  
  #TODO: никак не дойдут руки до проверки возраста куки
  

• Лайкинг ленты новостей

  
  Т.к. в первую очередь я писал это для себя, мне было интересно, чтоб у меня всегда была отлайкана новостная лента. Изначально все было просто, листается сверху до последнего обработанного поста, веб-элементы постов заносятся в массив, включается задняя и лайкается все на обратном пути, проложенном через веб-элементы постов, которые лежат в ранее созданном массиве. Я был счастлив, что все работает именно так, как мне того хотелось, но где-то через два месяца «луна была козероге» и мой бот тупо перестал работать. Проверял все как мог, на разных веб-драйверах, визуально ничего не изменилось, но при этом ничего и не работает. В общем, убил я на поиски проблемы около трех дней. Оказалось все очень просто: раньше когда бот проходил по проскролленым постам, он брал их объекты из массива, скроллил к посту (имитируя действия человека) находил там кнопку «лайк», нажимал ее и шел дальше; теперь же инстаграм решил хранить в html-разметке только ~ 9 постов из которых в структуре 5ый — активный у пользователя, предыдущие 4 и следующие 4, а все остальные из html просто удалялись. Пришлось решать вопрос собиранием тех постов, которые нужно лайкнуть в массив по их ссылке, потом при скроллинге вверх (тупо вверх) искать текущий пост в раннее собранном массиве и при наличии его там — лайкать.
  
  
  Та еще наркомания..

  for post in progress:
              real_time_posts = br.find_elements_by_tag_name('article')
              post_link = post.get('pl')
              filtered_posts = [p for p in real_time_posts if self._get_feed_post_link(p) == post_link]
              if filtered_posts.__len__():
                  real_post = filtered_posts.pop()
                  # scroll to real post in markup
                  heart = real_post.find_element_by_css_selector('div:nth-child(3) section a:first-child')
                  self.browser.execute_script("return arguments[0].scrollIntoView(false);", heart)
                  # getting need to process elements
                  author = real_post.find_element_by_css_selector('div:first-child .notranslate').text
                  heart_classes = heart.find_element_by_css_selector('span').get_attribute('class')
                  # check restrictions
                  is_not_liked = 'coreSpriteHeartOpen' in heart_classes
                  is_mine = author == login
                  need_to_exclude = author in exclude
  
                  if is_mine or not is_not_liked:
                      self.post_skipped += 1
                      pass
                  elif need_to_exclude:
                      self.post_skipped_excluded += 1
                      pass
                  else:
                      # like this post
                      time.sleep(.3)
                      heart.click()
                      time.sleep(.7)
                      self.db.likes_increment()
                      self.post_liked += 1
                      log = '---> liked @{} post {}'.format(author, post_link)
                      self.logger.log_to_file(log)

  
  ПОБЕДА!
  
  

• Лимиты действий

  
  Чтоб не привлекать много внимания, нужно ставить боту какие-то ограничения. Чтоб придерживаться этих ограничений, нужно куда-то сохранять счетчики произведенных действий. Для хранилища всякой внутренней информации было выбрано sqlite — быстро, удобно, локально. Прям в библиотеке я написал небольшой модуль для работы в бд, туда же добавил миграции — для последующих релизов. Сохраняется в бд каждый лайк/фоллоу с часом, в который он сделан, потом считаются лайки/фолловы за сутки/текущий час, исходя из этих данных решается можно ли еще кого-то лайкать или фолловить. Лимиты пока жестко прописаны в библиотеке, нужно будет сделать их конфигурируемыми.

• Ответвление в процессе разработки

  
  Пока писалась библиотека для бота, в голове засел вопрос о циферках. Стало интересно сколько у пользователя лайков, просмотров, комментов в разрезе поста или сумарно. Для удовлетворения интереса был написан небольшой класс библиотеки, который через приватное api инстаграмма собирал всю доступную (без авторизации) статистику и выдавал ее пользователю:
  
  
  Скрытый текст

  +-- https://instagram.com/al_kricha/ --------------------------+
  |   counter                    |             value             |
  +------------------------------+-------------------------------+
  |   followed                   |              402              |
  |   posts                      |              397              |
  |   comments                   |             1602              |
  |   likes                      |             20429             |
  |   following                  |              211              |
  |   video views                |             6138              |
  |                                                              |
  +--------- https://github.com/aLkRicha/insta_browser ----------+
  +--------------------------------------------------------------+
  |                       top liked posts                        |
  +--------------------------------------------------------------+
  |       https://instagram.com/p/BVIUvMkj1RV/ - 139 likes       |
  |       https://instagram.com/p/BTzJ38-DkUT/ - 132 likes       |
  |       https://instagram.com/p/BI8rgr-gXKg/ - 129 likes       |
  |       https://instagram.com/p/BW-I6o6DBjm/ - 119 likes       |
  |       https://instagram.com/p/BM4_XSoFhck/ - 118 likes       |
  |       https://instagram.com/p/BJVm3KIA-Vj/ - 117 likes       |
  |       https://instagram.com/p/BIhuQaCgRxI/ - 113 likes       |
  |       https://instagram.com/p/BM6XgB2l_r7/ - 112 likes       |
  |       https://instagram.com/p/BMHiRNUlHvh/ - 112 likes       |
  |       https://instagram.com/p/BLmMEwjlElP/ - 111 likes       |
  +--------------------------------------------------------------+

  
  Имея такие данные мы с другом (txwkx) решили визуализировать их и создали instameter.me — небольшой сервис, где можно посмотреть «резюме» любого открытого instagram-аккаунта.
  
  
  Пример

  

• Что умеет бот?

  
  На сегодня бот умеет не так много как хотелось, но все же, ключевые действия он совершает:
  
  
  • Лайкает ленту новостей до последнего не лайкнутого.
  • Лайкает тег на указанное кол-во постов
  • Лайкает локацию на указанное кол-во постов
  • Автофолловит людей из постов локации/тега, при включении настройки, но не всех подряд, а только тех, которые потенциально могут стать подписчиками
  • Собирает статистику по пользователю
  • Хранит статистику по часам о совершенным действиям
  
  

• Что хотелось бы сделать в будущем?

  
  
  • Написание ± осмысленных комментариев
  • Отписываться от ненужных аккаунтов
  • Лайкать несколько постов только что зафолловенного человека
  • Переписать алгоритм прохождения новостной ленты
  • Сравнивать несколько аккаунтов

Заключение

Еще много чего нужно сделать, оптимизировать, переписать. Всегда можно использовать эффективно инструмент не по назначению. Лень — это точно двигатель прогресса. Надеюсь, кому-то мой бот поможет или в работе, или в хобби. Репозиторий с pypi-пакетом может помочь начинающему автоматизатору. Репозиторий с примерами может быть полезным для SMM-щиков. Всем спасибо за внимание.

Ссылки

• insta_browser — моя мини-библиотека, сердце бота
• insta_bot — examples репозиторий, сам бот (в таком виде я его и использую)
• instameter — проект для снятия статистики по instagram-аккаунту