Источник.
CAPTCHA — технология для защиты веб-сайтов от мошенничества, атак, злоупотреблений, спама и прочих угроз. Изначальная цель — обеспечить доступ к сайту и его наполнению только реальным пользователям, а не ботам. В целом, технология работала, но с определенного момента что-то пошло не так. Обо всем этом — под катом.
История и основные затруднения CAPTCHA
В начале 2000-х использование капчи было эффективным барьером для ботов. Но с развитием ИИ эта технология стала почти бесполезной. Алгоритмы машинного обучения справляются с ней лучше, чем люди 15 лет назад. На сегодня даже самые сложные методики CAPTCHA — ресурсы для машинного обучения.
В 2019 году Google попыталась исправить это и поменяла CAPTCHA на reCAPTCHA. Но уже тогда технический руководитель команды Аарон Маленфант предупреждал о коротком сроке службы даже обновленного технологического решения. Согласно его прогнозам, он должен составить 5-10 лет.
«По мере того как люди вкладывают все больше и больше средств в машинное обучение, задачи капчи будут становиться все сложнее для людей», — сказал Маленфант. Его прогноз оказался правдивым. ИИ-боты быстро развиваются и превосходят методологию reCAPTCHA. Вредоносные программы решают тесты Тьюринга, имитируя работу человеческого мозга в сочетании со зрением. Фактически, боты не просто сравнялись с людьми по возможностям прохождения reCAPTCHA, но даже превосходят нас в некоторых аспектах.
Источник.
Вред для бизнеса
От неэффективности капчи страдает не только пользователь сайта, но и бизнес. Раздражающий и даже местами унизительный для клиента процесс прохождения верификации — совсем не то, с чем компании хотели бы ассоциировать свои товары и услуги, особенно на этапе знакомства пользователя с сайтом.
С другой стороны, нет возможности сделать CAPTCHA простой, незаметной для человека и эффективной против ботов. Сегодня тесты на роботов бесполезны в случаях автоматизированной атаки на компании. Боты без проблем крадут и парят информацию, совершают мошеннические действия, блокируют клиентскую базу и многое другое. В конечном итоге капча никак не защищает бизнес от злоумышленников, при этом разочаровывает потенциальных клиентов
«Мы точно знаем, что люди ее (CAPTCHA) очень не любят. Нам не нужно было проводить дополнительные исследования, чтобы прийти к такому выводу», — сказал Джин Цудик, исследователь из Калифорнийского университета в Ирвайне. «Общество не знает, оправдывают ли себя огромные усилия, который вкладываются в развитие CAPTCHA ежедневно, ежемесячно и ежегодно».
Докажите, что вы не робот
22 июля 2024 года была опубликована научная работа, где исследователи привлекли 1400 участников для тестирования CAPTCHA на сайтах, входящих в число 120 из 200 самых популярных интернет-ресурсов в мире. Результаты показали, что точность работы ботов варьируется от 85% до 100%, причем у большинства она превышает 96%. Для сравнения: точность выполнения задач людьми составляет от 50% до 85%. Боты также решали задачи значительно быстрее людей во всех случаях, за исключением reCAPTCHA, где время решения задач людьми составляло 18 секунд против 17,5 секунд, которые уходили у ботов. В естественной обстановке время решения задач людьми увеличивалось до 22 секунд.
Дженгиз Ачартюрк, ученый в области когнитивных наук и компьютерных технологий из Ягеллонского университета в Кракове, отмечает, что при разработке лучших вариантов CAPTCHA есть свои ограничения. «Если задача слишком сложная, люди сдаются», — объясняет Ачартюрк. Поэтому решение по добавлению капчи зависит от того, насколько важно пользователю попасть на этот сайт.
Источник.
reCAPTCHA как инструмент сбора данных?
Ученые из Калифорнийского университета в Ирвайне утверждают, что от CAPTCHA следует отказаться. По их мнению, минусов у технологии намного больше чем плюсов. Кроме уже озвученных выше недостатков, авторы исследования Эндрю Сирлз, Ренесанс Тарафдер Прапти и Джин Цудик говорят, что истинная цель reCAPTCHA — собрать информацию о пользователях и их действиях на веб-сайтах.
Как говорится в статье, еще в 2016 году при помощи автоматизированных сервисов, включая Google Reverse Image Search (GRIS), исследователи обходили reCAPTCHA v2 в 70,8% случаев. Среднее время выполнения задачи при этом составляло 19,2 секунды. Повторное исследование в 2020 году показало, что боты могли обойти reCAPTCHA v2 уже со скоростью 17,5 секунд в 85% случаев.
reCAPTCHA v3 тоже показала себя не с лучшей стороны. Авторы статьи симулировали атаку на сайты с использованием методов обучения с подкреплением, которая позволяет обходить поведенческие задачи последней версии капчи в 97% случаев.
«Эти технологии были побеждены еще до того, как они были внедрены на глобальном уровне», — говорит Эндрю Сирлз. «Проблемы с выбором изображений были решены компьютерными системами еще в 2009 году, хотя Google внедрила эту технологию только в 2014 году. Использование сторонних файлов cookie для поведенческого анализа в reCAPTCHA ввело уязвимость под названием «кликджекинг», что значительно упростило автоматический обход этих проверок».
Результаты исследования авторов основаны на изучении поведения пользователей в течение 13 месяцев в 2022 и 2023 годах. Было зафиксировано и проанализировано более 9000 сеансов reCAPTCHA v2 от ничего не подозревающих участников, а также опрошены 108 человек.
Авторы исследования подсчитали, что за 13 лет использования reCAPTCHA потрачено 819 миллионов человеко-часов, что соответствует $6,1 млрд в виде заработной платы. При этом сгенерированный трафик потребил 134 петабайта пропускной способности, что равно 7,5 млн кВтч энергии и эквивалентно 3,4 тыс тонн CO2.
Источник.
«Это демонстрация того, как CAPTCHA создает эксплуататорскую систему, где вредоносные боты заставляют людей выполнять задачи за них», — объяснил Сирлз. «Несправедливо обязывать людей решать задачи безопасности, в то время как капча не обеспечивает никакой реальной защиты». Ученый справедливо считает, что все затраты должны нести сам Google, а не пользователи веб-сайтов. «Если сервис утверждает, что обнаруживает ботов, то он должен действительно их обнаруживать — особенно если это платный сервис», — говорит он.
В ответ на обвинение Google заявил, что данные пользователей reCAPTCHA используются исключительно для улучшения сервиса, что ясно указано в условиях использования. Но Сирлз и его команда подвергли сомнению заявление Google, предложив провести публичный аудит всех записей для подтверждения этих слов. Он отметил, что заявление компании юридически неоднозначно и не исключает возможности продажи данных пользователей. Google было предложено официально раскрыть все данные по историческим решениям reCAPTCHA для подтверждения заявлений.
А что вы думаете об этой технологии? Пишите в комментариях, обсудим.
Комментарии (33)
ABy
29.07.2024 08:45+2Думаю что от примитивных ботов каптча таки спасает.
gsaw
29.07.2024 08:45Того же мнения. Все зависит от порогового значения, окупятся ли трудозатраты на обход капчи. По крайней мере школьников вооруженных скриптами вполне может и отпугнуть. Человек могущий обойти капчу зарабатывает вероятно больше денег зарплатой, чем сможет ему принести обход капчи среднестатистического сайта из интернета.
А остальные отдают контент уже через аутентификацию к примеру. На крупных порталах я уже редко встречаю капчу. Ну может как защиту от перебора паролей.
Hint
29.07.2024 08:45+3Дверные замки бесполезны, потому что 95% замков вскрываются опытным медвежатником за минуту. При этом каждый человек в год тратит час и более на открытие и закрытие дверных замков. Предлагаю всем отказаться от замков.
Если серьезно, то подобные статьи появляются как минимум раз в год. И почему-то до сих пор никто от captcha полностью не отказался. В том числе гугл в том числе при поиске. Потому что одно дело отправить миллион запросов и получить миллион ответов, а другое дело добавить к этому миллиону запросов еще и миллион решенных captcha. Цена атаки существенно возрастает даже для опытных автоматизаторов. А большинство неопытных наличие captcha просто отпугнет.
Решение recaptcha у популярных сервисов стоит 1-2$ за тысячу решений, что дешево, но далеко не бесплатно.
kuznetsovkd
29.07.2024 08:45+1По-моему в этом примере капча это не замок, а дверная ручка. И добавление капчи на сайте равносильно отвинчиванию дверной ручки перед уходом из дома.
event1
29.07.2024 08:45Дверные замки бесполезны, потому что 95% замков вскрываются опытным медвежатником за минуту.
В этом заключается, и прелесть, и проблема, цифровых технологий. Опытных медвежатников мало, найти их трудно, и вскрывать они могут лишь ограниченное число замков в день. Но, как только появляется рабочий сервис по решению капчи, он сразу доступен "неограниченному кругу лиц", находится поиском за 30 секунд и стоит вполне разумные деньги.
akakoychenko
29.07.2024 08:45+1ну, кстати, да
были б роботы-медвежатники доступны к заказы на алиэкспрессе по цене $100 за контейнер роботов, и, как замки, так и отношение к хранению ценностей дома, были б совсем-совсем другимиevent1
29.07.2024 08:45тут стоит добавить, что "посещение" чужого жилища без приглашения — уголовная статья, даже если там вообще нет замка. А автоматическое создание учётки, в нарушение пользовательского соглашения, в каком бы то ни было сервисе, (как и помощь в таком создании), в крайнем случае тянет на административку. И то, надо причинить ущерба столько чтоб владельцам сервиса было интересно почесаться.
gun_dose
29.07.2024 08:45+4Капчу ставить придумали не от хорошей жизни. Любая форма, не закрытая капчей, на любом хотя бы минимально раскрученном сайте сразу же притягивает ботов и владелец сайта получает ежесуточно сотни сообщений о покупке виагры, горячих фоточках и т.д (это не утрированно, а именно такие вещи и шлют). Я не понимаю, кто может заказывать спамерам такие рассылки, неужели это всё ещё работает? Но так или иначе, админ сайта в этом потоке спама может пропустить сообщение от реального клиента. Более того, если сайт шлёт уведомления на почту, то почтовые сервисы могут отправить сайт в чёрный список и больше никакие письма не будут приходить с сайта даже в папку "Спам".
Но с другой стороны, заставлять людей разгадывать все эти картинки - это уже перебор. Есть куда более простые способы отсеять большинство ботов, например, простой js код, который разрешает отправку форм только после того, как на странице произошло событие mouseover, touchstart или keypress. Реальный юзер такую защиту вообще не увидит, и она никак не будет ему мешать. Причём эффективность такого способа может быть 90% и выше. Не в том смысле, что 90% ботов будет отсеяно, а в том, что 90% владельцев сайтов такой способ по итогу устраивает.
akakoychenko
29.07.2024 08:45+2...или специальное, скрытое версткой, поле в форме, которое ни один нормальный юзер НЕ заполнит, ибо глазами его не видит (реальный пример с дейтинг индустрии, хотя, сейчас вот думаю, что могло тех, у кого автозаполненние, за ботов считать)
Но, вообще, если серьезно, то все вышеперечисленные подходы, наоборот, намного проще для роботов, чем велосипеды. Уверен, что новое поколение роботов с большими моделями под капотом без проблем заполнитт любую форму, не парся HTML, а запуская полноценный браузер, и смотря на него оптическим анализатором. Навскидку, для последних поколений капч, где все картинки с подвохом и покрыты шумом, надо куда более серьезная нейронка, чем для анализа формы и управления мышьюgun_dose
29.07.2024 08:45Этих роботов с моделями под капотом наберётся от силы 10%. И поскольку они стоят денег, то используют их более экономно. Большинство сайтов с ними никогда не сталкивается. Либо трафик от таких ботов настолько мал, что можно просто не обращать на него внимания. Хотя есть отдельные сайты, куда постоянно ходят такие хитрые боты. Там уже бесспорно нужна или recaptcha, или что-то в этом роде. Но проблема же в том, что все суют эту капчу где ни попадя, заставляя всех подряд разгадывать картинки. А вот если бы владельцы сайта ставили рекапчу только в том случае, когда простые способы не помогают, нам бы всем значительно реже приходилось всё это разгадывать, при этом для владельцев сайтов ничего бы не изменилось.
akakoychenko
29.07.2024 08:45+1суют эту капчу где ни попадя, заставляя всех подряд разгадывать картинки
Не совсем так. Как правило, ставят невидимую капчу. Она проводит базовый скоринг, главным образом, смотря, есть ли кука гугла, но, также, и на другие факторы, вроде упомянутых вами, но не показываясь юзеру. Если базовый скоринг не пройден, тогда уже анальные кары начинаются.
gun_dose
29.07.2024 08:45+2Да, там учитываются всякие поведенческие факторы, и вот тут кроется самое забавное - каждый отдельно взятый юзер ведёт себя всегда приблизительно одинаково, поэтому капча тригерится всегда на одних и тех же юзеров)) У нас был клиент, на которого рекапча срабатывала почти со 100% вероятностью. Говорит "хочу защиту себе поставить, как на вот этом сайте", мы всем офисом полезли смотреть, никто ничего не понимает, никто не видит никакой защиты, пришлось скрины просить, а там картинки с рекапчи. Мы ему на сайт её поставили, и опять же у нас в офисе она ни на кого не тригерилась, а на клиента постоянно.
Вот по этой причине иногда в интернете можно встретить прямо очень гневные статьи о злой капче, которая не даёт людям жить. Потому что автор как раз из тех людей, кого не любит рекапча. И потом эти авторы часто сталкиваются с непониманием со стороны читателей, потому что многим читателям проблема кажется преувеличенной.
akakoychenko
29.07.2024 08:45+2взятый юзер ведёт себя всегда приблизительно одинаково
Как правило, там все намного прозаичнее. Например, достался динамический IP, с которого вчера публичная прокси, или выходная нода тора работала, - все, отдувайся за плохую карму. Или какая-то особенность в работе браузера из-за нестандартного железа/расширения есть. Врядли прям поведение триггерит
Примерно, как, когда купил сим карту с плохой кармой, и постоянно коллекторы звонят
gun_dose
29.07.2024 08:45+1Там чел с айфона через сафари по мобильному интернету сидел. То бишь железо и браузер максимально заурядные. И айпишник, соответственно, динамический, но ситуация там годами одна и та же была.
akakoychenko
29.07.2024 08:45+2Может, в соседнем доме таки ферма стояла и всю округу зашкварила? У одной базовой станции, в зависимости от оператора и конфигурации его сети, может быть единый IP адрес, а клиенты все через NAT сидеть. Ибо ну очень странно, чтобы столь базовую и стандартную конфигурацию, да еще и столь устойчивую к фингерпринтингу, так гугл невзлюбил...
MaFrance351
29.07.2024 08:45реальный пример с дейтинг индустрии
А у кого там такое было, кстати?
akakoychenko
29.07.2024 08:45Сетка дейтинг сайтов, ориентированная на северную Европу. Если еще название холдинга может что-то сказать, то конкретные домены точно ничего не скажут. Практически весь траффик от аффилиатов по СРА, что и побуждало нечестных на руку вебмастеров размешивать свой траф ботами, дабы повысить итоговую выплату
MaFrance351
29.07.2024 08:45+1И ладно просто картинки, так теперь надо разгадывать какой-то нейросетевой бред (hCaptcha, например), либо что-то ещё более забористое (Янчик с его пазлами из таких же нейросетевых картинок, Microsoft с его "Переместите с помощью стрелок изображение на нужную орбиту", где даже не сразу понятно, что вообще делать). А когда это всё всплывает даже от ерундового действия типа захода в режиме инкогнито, сложно остаться равнодушным...
olku
29.07.2024 08:45Классическая капча это однозначно плохой UX. Гугловская может ставить идентификатор, что является нарушением GDPR. Формы можно защищать множеством способов, и необязательно делать их анонимными. Маркетинг за новые контакты ещё и спасибо скажет.
Andrey_PSK
29.07.2024 08:45+1Сколько нервов убито на прохождение капчи) Особенно при плохом интернете.. )
beduin01
Лучше сделайте доступ к сайту платным. Я готов платить деньгами, но не временем и нервами потраченными на разгадывание капч. Ну вот честно. Не представляю какой это ад для пожилых людей.
Snysnym
Сколько вы готовы платить? За один сайт, всего за все сайты (ежемесячно)? Всего подписок в месяц?
onepumpum
Так а к этому и так идёт все, когда у каждого первого блокировщик рекламы стоит, то и доходы сайтам / площадкам приходится искать в других местах. Мир с рекламой vs мир с пейволом за всё
ABy
Реклама может быть разной. Можно всю страницу баннерами завесить, а можно интегрировать рекламу в контент так, чтобы она была ему релевантна и не вызывала раздражения. Первый способ тупой и экстенсивный, а второй требует более креативного подхода. И что-то мне подсказывает, что второй способ может даже эффективнее для рекламодателя.
Для примера сравните рекламу у контентмейкеров на YouTube и рекламу от гугла. Первая меня редко раздражает, если ее не зачитывают половину ролика. У некоторых даже получается подавать рекламу так, что она интереснее основного конкурента, но это очень редко, конечно. В остальном ей достаточно быть короткой, чтобы посмотреть ее было быстрее чем перемотать. Реклама от Гугла - это почти всегда кровь из глаз.
onepumpum
большинство сайтов зарабатывают на контекстной рекламе, а не нативных интеграциях, которые, к слову, также блокируются, например, спонсор блоком. Нету рекламы - нету возможности создавать/содержать контент и два выхода - не создавать/содержать и другие способы по типу пейволла. Бусти/патреон и прочие сервисы тоже не на пустом месте набирают обороты.
На примере рф за 2 года тоже можно отчётливо проследить, как авторы переходят за пейволлы т.к даже минимальный доход тупо пропал, но чуток по другой причине отсутствия рекламы.
Вот и имеем, что через пару лет из-за блокировки рекламы мы получаем: повсеместный пейвол, потерю контента, море нативной/скрытой рекламы. Всё это выглядит просто шикарно
ABy
Почему бы в том же YouTube не брать деньги с крупных каналов у которых есть рекламодатели?
xSVPx
Эээ с каналов :)? Брать надо с пользователей вообще-то, а каналам давать.
Там же вроде так и есть, либо смотришь бесплатно, либо без рекламы, вполне нормальный вариант.
ABy
Ну да, с каналов. Сейчас цепочка денег: РЕКЛАМОДАЛЕЛЬ => ГУГЛ. Будет: РЕКЛАМОДАТЕЛЬ => КАНАЛ => ГУГЛ
Вроде логично, учитывая что гугл не может делать хорошую рекламную интеграцию, делегировать эту функцию контентмейкерам.
Paranoich
А что мешает владельцам ботоферм поступить так же?
Повысят расценки на 1 цент за тысячу рассылок. Заплатят за вход.
«Всего и делов-то».
Grey83
Им искать их приходится в других местах с нулевых, как минимум, емнип.
beduin01
Если мне сайт нужен, то за прохождение капчи 1$ более чем нормальная цена.
akakoychenko
как понять, сайт реально нужен, или там, за капчей, пустышка сеошная с говнотекстом из искомых ключей?
electrofetish
Представляете какой будет ад для пожилых, если еще и доступ платный сделать. Потому что в корне проблему не решит, а вот с оплатой могут возникнуть трудности.