Ранее нам попадались относительно «простые» капчи:

• Как обойти капчу, используя распознавание звука
• Как обойти капчу: нейросеть на Tensorflow,Keras,python v числовая зашумленная капча

В этот раз поработаем над чем-то более серьезным и давно знакомым:



Итак задача: обойти капчу, желательно с первого раза.

Воспользуемся возможностями сверточных нейросетей, а именно vgg16.

Джентельменский набор, который используется:

• python 3.6.4
• tensorflow 2.0.0, keras 2.2.1
• opencv 4.1.2

В качестве полигона для тестов выберем какой-нибудь сайт с формой обратной связи, защищенной капчей гугл. Например, этот https://captcha.guru/ru/feedback/ (*искренне не знаю кто это такие, сайт выбран случайно).

Беглый анализ капч подобного вида показывает, что капча попадается в двух базовых вариантах:

— на 9 картинок (приведена в начале поста) и



Также, статистика по капчам говорит о том, что капчи попадаются как минимум в 20-ти категориях с говорящими названиями: автобусы, гидранты и т.п.

Та же статистика говорит, что можно сэкономить силы и не обрабатывать все 20-ть и более категорий, а остановиться на наиболее часто встречающихся:



Поэтому, нейросеть была обучена только на усеченном количестве категорий, и будет работать с категориями капч, которые наиболее вероятны, остальные будет пропускать.

Общий алгоритм работы будет выглядеть так:

• зашли на сайт с капчей, нажали «Я не робот»;
• сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов;
• разрезали капчу на части;
• скормили каждый кусок капчи нейросети;
• понажимали на картинки, где объект распознан нейросетью;
• обработали ошибки, и возможно, прошлись по 2-му, 3-му кругу капчи.

Итак, как говорится, ближе к коду.

Зашли на сайт с капчей, нажали «Я не робот»

Здесь воспользуемся фреймворком selenium в python.

import webbrowser,time,os,pyautogui
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import random
import os

browser = webdriver.Firefox()
browser.implicitly_wait(5)
browser.get ('https://captcha.guru/ru/feedback/')
time.sleep(5)
iframe = browser.find_elements_by_tag_name('iframe')[0]
browser.switch_to.frame(iframe)
act = browser.find_element_by_css_selector('.recaptcha-checkbox-border')
act.click()

В коде видно, что капча появляется в отдельном так называемом фрейме. Это необходимо учитывать при переключениях между основным контентом и фреймами капчи.

После выполнения кода результат будет примерно следующий:


Теперь необходимо:

• получить категорию объекта капчи (здесь «мосты»);
• сохранить картинку в нужных пропорциях, если она в нужной категории объектов;
• разрезать картинку на 9 частей.

Сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов

t=random.uniform(1, 4) #пауза между скачиваниями случайна
browser.switch_to.default_content()
iframe = browser.find_elements_by_tag_name('iframe')[3]
browser.switch_to.frame(iframe)
time.sleep(3)
act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[1]/div[1]/div/strong')
print(act.text)

Здесь время t для случайной паузы, чтобы гугл, не слишком сразу определил нас как робота. Данную t мы применим позднее.

Этот код выведет категорию объекта, изображенного на капче (здесь «мосты»).

Задаем категории, с которыми будем работать, не пропуская:

a=['велосипеды','пешеходные переходы','гидрантами','автомобили','автобус']

Остальные категории отсекаются, так как они встречаются значительно реже, либо в капче 16-ть картинок вместо 9-ти.

Сделали скрин капчи с экрана, если она совпадает с определенными категориями объектов

Рассмотрим следующий фрагмент:

if act.text not in a:
                #обновили картинку с капчи        
                act = browser.find_element_by_xpath('//*[@id="recaptcha-reload-button"]')
                act.click()
                time.sleep(t)
                browser.switch_to.default_content()
                iframe = browser.find_elements_by_tag_name('iframe')[3] #узнаем категорию капчи:автобусы,гидранты...
                browser.switch_to.frame(iframe)
                time.sleep(2)
                act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[1]/div[1]/div/strong')
                print(act.text)
        if act.text in a:      
                #сохраняем картинку        
                os.chdir('C:\\1\\')
                im=pyautogui.screenshot(imageFilename=str(0)+'.jpg',region=(509,411,495,495))

                #нарезаем картинку
                img = Image.open('0.jpg')
                area1=(0,0,163,163) #спереди,сверху,справа,снизу)  
                img1 = img.crop(area1)
                area2=(163,0,326,163) 
                img2 = img.crop(area2)
                area3=(326,0,489,163)
                img3 = img.crop(area3)    

                area4=(0,163,163,326) 
                img4 = img.crop(area4)
                area5=(163,163,326,326)  
                img5 = img.crop(area5)
                area6=(326,163,489,326) 
                img6 = img.crop(area6)    

                area7=(0,326,163,489)
                img7 = img.crop(area7)
                area8=(163,326,326,489)
                img8 = img.crop(area8)    
                area9=(326,326,489,489)
                img9 = img.crop(area9)    

                img1.save("1"+".png")
                img2.save("2"+".png")
                img3.save("3"+".png")
                img4.save("4"+".png")
                img5.save("5"+".png")
                img6.save("6"+".png")
                img7.save("7"+".png")
                img8.save("8"+".png")
                img9.save("9"+".png")

Здесь вначале происходит проверка категории объекта. Если объект из категории «велосипеды»,«пешеходные переходы»,«гидранты»,«автомобили» либо «автобус», то программа работает далее. В противном случае, обновляет картинку капчи.

Далее картинка сохраняется по пути C:\1\vgg-net\0.jpg (в windows).

И нарезается с сохранением 9-ти файлов .png в этой же директории.

Скормили каждый кусок капчи нейросети

Понадобится предобученная модель нейросети, в которую для анализа будут поступать нарезанные картинки.

from keras.models import load_model
import argparse
import pickle
import cv2

def prescript(file):    # функция нейросети        
        ap = argparse.ArgumentParser()
        ap.add_argument("-i", "--image",type=str, default=file,help="path to input image we are going to classify")
        ap.add_argument("-m", "--model",type=str,default="simple_nn.model",help="path to trained Keras model")
        ap.add_argument("-l", "--label-bin",type=str,default="simple_nn_lb.pickle",help="path to label binarizer")
        ap.add_argument("-w", "--width", type=int, default=32, help="target spatial dimension width")
        ap.add_argument("-e", "--height", type=int, default=32, help="target spatial dimension height")
        ap.add_argument("-f", "--flatten", type=int, default=1, help="whether or not we should flatten the image")
        args = vars(ap.parse_args())
        
        image = cv2.imread(file)
        output = image.copy()
        image = cv2.resize(image, (args["width"], args["height"]))
        image = image.astype("float") / 255.0        
        if args["flatten"] > 0:
                image = image.flatten()
                image = image.reshape((1, image.shape[0]))
        else:
                image = image.reshape((1, image.shape[0], image.shape[1], image.shape[2]))
        
        model = load_model(args["model"])
        lb = pickle.loads(open(args["label_bin"], "rb").read())        
        preds = model.predict(image)
        i = preds.argmax(axis=1)[0]
        label = lb.classes_[i]        
        text = "{}: {:.2f}%".format(label, preds[0][i] * 100)
        print(text[0]) # 1-предмет есть на картинке, 0 - предмета нет
        global result
        result = text[0]

Нейросеть помещена в функцию, которая отдает либо 1 ('объект есть на картинке') либо 0 ('нет объекта').

Еще одна функция, с помощью которой будем кликать по картинкам, если нейросеть вернула '1' (наличие объекта):

def clicks(x,y):
        if result=='1': # если предмет есть на картинке, нажимаем на картинку
                act = browser.find_element_by_xpath('/html/body/div/div/div[2]/div[2]/div/table/tbody/tr['+str(x)+']/td['+str(y)+']')
                act.click()

Ну и собственно, функция, которая будет вызывать 9-ть раз (картинок 9 штук) функцию нейросети и функцию «нажимания на картинки»:

def predict():
        prescript("1"+".png")
        clicks(1,1)       
        prescript("2"+".png")
        clicks(1,2)
        prescript("3"+".png")
        clicks(1,3)
        prescript("4"+".png")
        clicks(2,1)
        prescript("5"+".png")
        clicks(2,2)
        prescript("6"+".png")
        clicks(2,3)
        prescript("7"+".png")
        clicks(3,1)
        prescript("8"+".png")
        clicks(3,2)        
        prescript("9"+".png")
        clicks(3,3)        
        act = browser.find_element_by_css_selector('#recaptcha-verify-button')
        act.click()
        time.sleep(1)
predict()

Обработали ошибки, и возможно, прошлись по 2-му, 3-му кругу капчи

Иногда, после даже после нажатий на «правильные» картинки капчи, предлагается заново ее пройти с фразами: «Попробуйте еще раз», «Вы слишком стары для этого» и т.п.

Поэтому добавим код для учета ситуаций:

try:
        act = browser.find_element_by_css_selector('.rc-imageselect-error-dynamic-more') #Посмотрите также новые изображения.
        captcha() # заново сохраняем картинки
        predict() # заново распознаем картинки
       
except:
        try:
                act = browser.find_element_by_css_selector('.rc-imageselect-incorrect-response')#Повторите попытку.
                captcha() # заново сохраняем картинки
                predict() # заново распознаем картинки
        except:
                pass

О минусах реализации:

• работает не со всеми категориями картинок (это сделано намеренно, чтобы облегчить размер модели);
• ошибается (все-таки обучающий набор был не размера imagenet, а google неохотно отдавал экземпляры для обучения);
• работает неспеша, так как последовательно обрабатывается каждая из 9-ти картинок;
• не работает с 16-сегментными картинками.

*Статья носит научно-познавательный характер, не направлена на нарушение действующего законодательства и не содержит призывы к данному нарушению.

Программы для скачивания (программа и модель) — скачать.