Зачем
У каждого молодого DS в какой то момент времени возникает проблема - очень хочется тяночку, всмысле спарсить тиндер и сделать тематическое моделирование на описаниях профиля.
Как
Ответ короткий - легко, вот ссылка на collab
Длинный ответ - тиндер обменивается открытым json с https://api.gotinder.com, а в XHR лежит наш x auth key. Остальное - дело техники и библиотеки Response.
Парсинг
Код для профиля
import datetime
from geopy.geocoders import Nominatim
AuthKey = ''
# Ключ пихуем сюда
TINDER_URL = "https://api.gotinder.com"
geolocator = Nominatim(user_agent="auto-tinder")
PROF_FILE = "./images/unclassified/profiles.txt"
class Person(object):
def __init__(self, data, api):
self._api = api
self.id = data["_id"]
self.name = data.get("name", "Unknown")
self.bio = data.get("bio", "")
self.birth_date = datetime.datetime.strptime(data["birth_date"], '%Y-%m-%dT%H:%M:%S.%fZ') if data.get(
"birth_date", False) else None
self.gender = ["Male", "Female", "Unknown"][data.get("gender", 2)]
self.images = list(map(lambda photo: photo["url"], data.get("photos", [])))
self.jobs = list(
map(lambda job: {"title": job.get("title", {}).get("name"), "company": job.get("company", {}).get("name")}, data.get("jobs", [])))
self.schools = list(map(lambda school: school["name"], data.get("schools", [])))
if data.get("pos", False):
self.location = geolocator.reverse(f'{data["pos"]["lat"]}, {data["pos"]["lon"]}')
def __repr__(self):
return f"{self.id} - {self.name} ({self.birth_date.strftime('%d.%m.%Y')})"
def like(self):
return self._api.like(self.id)
def dislike(self):
return self._api.dislike(self.id)
Ничего интересного тут нет, просто ходим по html и тянем то что нужно
Работа с API
import requests
TINDER_URL = "https://api.gotinder.com"
class tinderAPI():
def __init__(self, token):
self._token = token
def profile(self):
data = requests.get(TINDER_URL + "/v2/profile?include=account%2Cuser", headers={"X-Auth-Token": self._token}).json()
return Profile(data["data"], self)
def matches(self, limit=10):
data = requests.get(TINDER_URL + f"/v2/matches?count={limit}", headers={"X-Auth-Token": self._token}).json()
return list(map(lambda match: Person(match["person"], self), data["data"]["matches"]))
def like(self, user_id):
data = requests.get(TINDER_URL + f"/like/{user_id}", headers={"X-Auth-Token": self._token}).json()
return {
"is_match": data["match"],
"liked_remaining": data["likes_remaining"]
}
def dislike(self, user_id):
requests.get(TINDER_URL + f"/pass/{user_id}", headers={"X-Auth-Token": self._token}).json()
return True
def nearby_persons(self):
data = requests.get(TINDER_URL + "/v2/recs/core", headers={"X-Auth-Token": self._token}).json()
return list(map(lambda user: Person(user["user"], self), data["data"]["results"]))
Тут мы получаем json, разбираем его и тащим все что нам нужно(список юзеров)
Кладем все в .csv
import time
import pandas as pd
df = pd.DataFrame()
prf = []
prsn= []
vuz = []
gender = []
job = []
if __name__ == "__main__":
token = AuthKey
api = tinderAPI(token)
while True:
persons = api.nearby_persons()
for person in persons:
#тут нет логики, напишите сами если захотит
print(person)
time.sleep(1)
person.dislike()
prf+=[person.bio]
prsn+=[person]
vuz+=[person.schools]
job+=[person.jobs]
gender+=[person.gender]
print(person.bio)
df['vuz'] = vuz
df['jobs'] = job
df['person'] = prsn
df['bio'] = prf
df['gender'] = gender
df.to_csv('tinder.csv')
Два часа спустя получаем все что хотели!!
Спасибо за прочтение, скоро будет вторая часть про тематическое моделирование с помощью BERT
Большое спасибо я хочу сказать своим подписчикам в телеграмме
Так же в моем телеграмме есть много ноутбуков и статей про DS и не очень. Например рендер 3д моделей на https://colab.research.google.com/ А в рубрике #чтивонаночь я рассказываю про самое интересное, что я нашел за последние время.