Дело было год назад, не помню что я там забыл, но мне определенно хотелось скачать какую‑то картинку с behance.net, но как вы знаете — опции скачать там нет. Зная, как работает веб — я без проблем забрал нужное изображение найдя ссылку в HTML коде, но не все готовы так заморачиваться, поэтому я решил автоматизировать этот процесс.

Так появился python‑модуль behance‑py, который, если верить статистике с pepy.tech, имеет более 5 тысяч установок и расширение для Chrome, о котором чуть позже.

Логика простая, отправляем запрос на ссылку с альбомом, парсим HTML код, находим там нужный объект, содержащий ссылки на картинки. После чего библиотека скачивает локально нужные объекты.

Парсинг HTML и поиск картинок:

raw_html = self._request(link)
tree = BeautifulSoup(raw_html, "html.parser")

for _item in tree.find_all("img"):
	try:
		src_set = _item.get("srcset").split(",")
		for _image in src_set:
			image = _image.strip()
			if image[: len(self.storage_path)] == self.storage_path:
				self.pictures.append(image.split()[0])
	except AttributeError:
		pass

Функция локальной загрузки:

def _download(self, link: str):
	with httpx.stream("GET", link) as response:
		file_name = link.split("/")[-1]
		path_to_save = Path(self.path_to_save) / file_name \
        if self.path_to_save else file_name
		with open(path_to_save, "wb") as image_file:
			for chunk in response.iter_bytes(chunk_size=1024):
				if chunk:
					image_file.write(chunk)

Сохранение альбома:

def download_pictures(self):
	self.check_path_to_save_exist()
	if not self.pictures:
		pass
	for image_url in self.pictures:
		self._download(image_url)

Пример использования:

from pybehance import Behance

EXAMPLE_URL = "https://www.behance.net/gallery/157806987/Folio-Reader-Types"

behance = Behance()
behance = Behance(path_to_save="/path/to/save/example_dir")
data = behance.get_pictures_list(EXAMPLE_URL)
behance.download_pictures()

Но опять — это не для всех, хотелось чтобы даже неподкованный пользователь имел доступ к некой «кнопке скачать», которая решала бы его проблему.

Так мы выпустили расширение behace saver для Google Chrome, которое за 10 месяцев набрало более 3 тысяч пользователей и 5 тысяч установок.

Применили аналогичную python-модулю логику, только через добавление кнопки на веб страницу.

Почему бы не начать собирать статистику, подумали мы и добавили в новой версии функцию с отправкой POST запроса, включающая 5 параметров: альбом, автор, операционную систему, вид браузера и его язык.

Обновление выпустили 2 октября, за это время пользователи скачали 42 тысячи картинок — это больше, чем мы себе представляли. В среднем — 2000 скачиваний в сутки, а это уже та цифра, которую можно визуализировать. Поэтому мы сделали страницу с ежедневной статистикой.

Инфографика

Дополнительная статистика в трех разрезах: Операционная система, Вид браузера и Язык браузера.

Заключение

Не знаю как у вас, но у меня разработка таких мини проектов вызывает внутреннее удовлетворение от того, что их используют люди, а значит это решает какую‑то их проблему, быстро и бесплатно.

Тоже самое с автоматизацией, сбором данных и визуализацией статистики. Наша страничка с цифрами и графиками греет душу.

Большое спасибо всем за внимание! Мой телеграм канал artydev & Co — там я рассказываю о других своих проектах,подписывайтесь!