Пока мы просто хотели попасть на сайт — скачать файл, зарегистрироваться на форуме, оставить комментарий — мы, сами того не подозревая, участвовали в самой масштабной краудсорсинг-кампании в истории человечества, в которой с 2007 по 2013 год приняло участие 750 миллионов уникальных юзеров.

Возможно, среди них были вы. Возможно даже, введенное вами слово осело в цифровой версии какой-нибудь старинной журналистской заметки о пользе всякого разного для психического здоровья или рентгеновского излучения для эпиляции женских усиков. При охватах, характерных для интернета 2000-х, это почти гарантировано.

Одних авантюра, о которой тут пойдет речь, бесила, и они устраивали саботаж, вписывая в поле ввода ругательства и бессмысленные комки букв. Другие, наоборот, были рады почувствовать себя частью чего-то большего, чем они сами. Основная же масса просто молча вводила капчи, ничего не зная о тайных целях проекта reCAPTCHA и его создателя — романтика human computation Луиса фон Ана.

Сегодня мы исправим это недоразумение и расскажем о том, куда шли наши капчи 15 лет назад и почему reCAPTCHA — это круто, хоть и этически спорно, и бесперспективно… но красиво.

В начале была капча

История, как часто бывает, началось с одного человека, мечтавшего изменить мир (но в итоге ставшего создателем Duolingo — грустный смайл). Луис фон Ан был молодым информатиком из Университета Карнеги в Меллоне, который пытался решить проблему спама в интернете. Именно ему и его коллегам в 2000 году пришла в голову роковая идея под названием Completely Automated Public Turing test to tell Computers and Humans Apart — собственно CAPTCHA. Принцип работы теста был прост — люди без нарушения зрения легко читали искаженные символы на экране, а вот у роботов с этим были явные проблемы. 

Незатейливое, но гениальное изобретение фон Ана сработало, распространилось и было готово прославить своего создателя — однако подвижному юному уму не было покоя. Переложив страдания юзеров на математику, фон Ан с ужасном понял, что капча — настоящий пожиратель времени. Каждый раз, когда вы ее вводите, вы тратите 10 драгоценных секунд. А если умножить это на 200 миллионов (число вводов капчи в день), то получается, что теряется больше 500 тысяч человеко-часов (или 57 лет) ежедневно! 

Как признается сам фон Ан, от таких новостей ему стало не по себе. С одной стороны, его очаровывала идея огромного суперкомпьютера, в который могли собираться интернет-пользователи. С другой — расстраивало текущее положение дел: человек выполнял бесцельные действия «в пустоту», а часто еще и с проклятиями. Нужно было изобрести контрибуцию за массовые капча-мучения — направить коллективный разум в полезное русло.

Фон Ан в своей гейм-эре

Сначала фон Ан пытался разобраться с проблемой через геймификацию. В 2003–2006 годах он стал экспериментировать с тем, что назвал human computation games — играми, где пока человек развлекается, машина обучается. 

• Первая из них — ESP Game. Вот как она работала. Двум случайным игрокам показывалось одно и то же изображение, и они должны были угадать слова, которые лучше всего его описывают. Совпадение засчитывалось как «победа», а совпавший «тег» становился меткой в базе данных для обучения алгоритмов компьютерного зрения. Позже эту игру купили и встроили в поиск картинок под названием Google Image Labeler. 

• Аудиовариация той же механики, игра InTune, позволяла людям «тегировать» звуки — лай, смех, шаги, звон бокалов, дождь. То есть на территорию распознавания аудио тоже зашли.

• Еще одна игра — Peekaboom, в ней один игрок видел изображение целиком, а другой — серую маску. Первый (Boom) открывал маленькие фрагменты картинки, пока второй (Peek) не угадывал, что на ней. Так система училась не просто узнавать, что нарисовано, а понимать, где именно оно находится. Peekaboom стала одной из первых систем разметки локализации объектов — предтечей технологий автопилотов и Google Lens.

• Другим экспериментом стала Matchin. Игрокам показывали две фотографии, и нужно было выбрать, какая из них красивее. В итоге пополнялась база данных человеческих предпочтений: то, как люди воспринимают красоту, симметрию, цвет, контраст. Эти данные потом использовались для ранжирования изображений и визуальных рекомендаций — от поисковиков до дизайнерских систем. Кстати, игроки, которые часто совпадали, могли «представиться» и таким образом познакомиться (эдакий прототиндер). 

Таким образом, игры фон Ана не только были популярны, но и выполняли большую работу по разметке данных еще до появления этого понятия. Правда, случались и чисто человеческие казусы — так, игроки прикрепили метку «Саддам» к фотографии усатого актера Уолтера Маттау, а снимок Джорджа Буша-младшего получил популярные теги «тупой» и «фу». 

Возникла проблема и посерьезнее — появились первые системы, вроде Mechanical Turk от Amazon, которые платили за подобные задачи по разметке деньги, что-то вроде 10 центов за таск. В нашем капиталистическом обществе уже этого было достаточно, чтобы по фантазии фон Ана о бесплатном и добровольном human computation пробежала трещинка. 

Рождение легенды

Но пока фон Ан не сдавался. Червь вины за муки капчи (I felt bad — сабж) по-прежнему грыз его мозг, и надо было что-то решать. И фон Ан решил — перезапустив капчу и удвоив число слов в ней.

Так себе решение, скажете вы, и будете неправы, ведь второе слово в новоявленном проекте reCAPTCHA не было случайным — оно принадлежало литературе и истории.

В 2007 году фон Ан объединился с The New York Times, которая оцифровывала старые номера, и некоммерческой организацией Internet Archive, переводившей в цифру тысячи изданий дней минувших. Эти проекты использовали программы оптического распознавания текста (OCR), у которых была та же слабость, что и у спам-программ: они не считывали искаженные буквы. Угадайте, где еще искаженных, выцветших, изъеденных временем букв было пруд пруди? Верно — в старых книгах, газетах и журналах. В текстах старше полувека ошибки OCR достигали 30%, и перепроверять такие объемы вручную было бы (очень дорогим) безумием.

Луис фон Ан и его reCAPTCHA решили задачу элегантно. Новая капча показывала пользователю два слова: одно контрольное, уже известное системе, и одно новое — из скана книги или газеты. Если человек правильно вводил первое, компьютер полагал, что и второе, скорее всего, верно. 

Далее вариант юзера сверяли с ответами других пользователей. Когда 10 человек расшифровывали одно и то же слово одинаково, оно считалось распознанным и само становилось первым контрольным словом. 

Люди так часто проходили капчу, что годовой объем статей NYT расшифровывали каждые четыре дня. Всего за несколько месяцев юзеры по всему миру оцифровали выпуски газеты New York Times за двадцатилетний период! В течение только первого года эксперимента reCAPTCHA было расшифровано 440 миллионов слов, что эквивалентно 17 600 книгам. К настоящему моменту оцифрована вся библиотека NYT (включая печатные издания с 1851 по 1980 год). 

Подведя первые итоги, институт CyLab при Университете Карнеги в Меллоне, тот самый, в котором работала группа фон Ана, сообщил о 99,1% точности распознавания — результат, близкий к профессиональному в транскрибировании. 

В 2009 году проект reCAPTCHA купила Google и с его помощью запустила уже Google Books — амбициозный проект по «оцифровке всех существующих книг». К 2019 году компании удалось с помощью reCAPTCHA отсканировать более 40 миллионов книг (около трети всего мирового фонда). 

Без толики безумия не обошлось и здесь — так, reCAPTCHA породила мем inglip, когда люди делали снимок экрана двух слов капчи и дорисовывали к ним зловещие детали. Иногда рядом смешно вставали два слова — например, bad christians на христианском сайте. А иногда возникали случаи, когда слово, оторванное от контекста, как в reCAPTCHA, упорно опознавалось неверно (это называется лексическая подстановка — редкое или непривычное слово автоматически заменяется на более знакомое). Например, так однажды почтенный участник Трафальгарской битвы Captain Infernet превратился в Captain Internet.

Но это все мелочи жизни, и даже классные мелочи, однако возникла новая проблема — этика. Этично ли заставлять людей бесплатно работать уже не на благо человечества, а на Google? В интернете, особенно в бедных странах, существовали спам-фермы, предлагающие работникам деньги за решение тысяч капч. Получалось, что, помимо труда за гроши, эти люди пахали еще и на корпорацию — причем бесплатно.

Была и другая проблема — оцифровывать памятники культуры Google больше не хотел: к 2014-му проект вошел во вторую итерацию, хорошо знакомую всем присутствующим, — со светофорами, пешеходными переходами и пожарными гидрантами. Теперь Google использовал reCAPTCHA, чтобы улучшать собственные визуальные алгоритмы: сначала для расшифровки номеров домов на снимках Street View и Google Maps, а затем и для распознавания других объектов.

Позже ситуация изменится еще раз — ИИ взломает капчу, а Google заключит с юзером сомнительную с точки зрения приватности сделку — начнет собирать личные данные о поведении в Сети в обмен на лаконичное тыканье в чекбокс «Я не робот». 

Так душа reCAPTCHA умрет. Но фон Ана это уже не будет волновать — ведь вдохновившись успехом в книжной оцифровке, он с головой погрузится в свой opus magnum — проект Duolingo (да, тот самый, с зеленой совой).

Глава о Duolingo (из которой вы, возможно, поймете, почему приложение так плохо учит языкам)

Мы не можем обойти вниманием эту главу — ведь именно Duolingo стал апофеозом фантазий фон Ана и горьким доказательством их несбыточности. Важно это нам и чисто эгоистически — пора сбросить покров тайны с приложения, которое учит языкам, мягко говоря, так себе. Разгадка проста: создатель — не лингвист, а евангелист human computation.

Итак, в 2011 году Луис фон Ан решил: если миллионы людей готовы помогать расшифровывать старые тексты, значит, можно перекодировать — перевести — и весь интернет. Так и родился Duolingo, где пользователи «учат языки», а на деле обучают алгоритмы и выполняют работу машинного перевода.

Фон Ан рассуждал так. Возьмем «Википедию». Перевести ее с английского на испанский стоит $50 миллионов. Если бы этим занялись 100 тысяч юзеров, на это ушло бы пять недель, а если уплотнить массовку до миллиона — всего 80 часов. Почему бы не попробовать, используя алгоритмы, уже обкатанные reCAPTCHA: сравнение нескольких переводов, выбор лучшего — при необходимости, объединение для улучшения качества? И юзерам хорошо — бесплатно учат язык, и тексты переведены. 

Однако первыми партнерами Duolingo стали не социальные проекты, как это было с книгами, а бизнесы — CNN, BuzzFeed и The Huffington Post. Юзер выполнял задания, не подозревая, что за эти кусочки новостного материала Duolingo получает деньги.

Вскоре идея забуксовала. Во-первых, вопрос этики/мотивации никак не хотел закрываться, а тут даже распахнулся еще шире: люди не хотели, чтобы на них обогащались, — а работать надо было усердно, чтобы не срывать дедлайны. Во-вторых, переводы получались пестрыми и странными — результат деятельности распределенного переводчика все больше напоминал ситуацию с Вавилонской башней. В-третьих, о бесплатном переводческом труде стали критически писать СМИ. В-четвертых, ученики жаловались, что после месяцев практических занятий в приложении по-прежнему не могут говорить. 

Если коротко — капча была необходимостью, а перевод стал выбором. И его не сделали.

В итоге Duolingo отказался от собственной философии. Механика крауд-перевода исчезла, а на ее место пришли сердечки, очки опыта, серии и знаменитая сова Дуо. Теперь пользователи не переводили интернет в обмен на знания — они играли. Неэффективный краудсорсинг-учитель превратился в геймифицированный конвейер, где человек «учил языки», чтобы не потерять серию.

Впрочем, не будем слишком суровы к герою этого текста. Все-таки фон Ан стал первопроходцем EdTech, показав, что обучение можно подать как интерактив (или краудсорсинг-проект) и за счет миллиона микровзаимодействий выстроить устойчивую пользовательскую базу. А это подарило нам много новых классных продуктов. К тому же идеи human computation по-прежнему работают — просто там, где нужно большое сердце: в социальных проектах, науке, искусстве. 

Напоследок хочется вспомнить, о чем мечтал сам фон Ан:

«Если оглянуться на самые масштабные достижения человечества — строительство египетских пирамид, прокладку Панамского канала, высадку человека на Луну — можно заметить любопытную закономерность: все они были сделаны примерно одинаковым числом людей — около 100 тысяч.

До появления интернета координировать столько участников было попросту невозможно. Но теперь, в эпоху Всемирной сети, я показал вам проект, в котором 750 тысяч человек сработали слаженно и помогли оцифровать человеческие знания.

А потому вопрос, который движет моими исследованиями сейчас, звучит так: если 100 тысяч человек смогли отправить первопроходца на Луну, то что способны сделать 750 миллионов?» 

Как выяснилось, не так уж и много — особенно если им не платить. 

P. S. Небольшой список игр и платформ, который напомнит вам, что human computation еще существует:

• Foldit — здесь можно пособирать белки, помогая ученым расшифровывать их структуру.

• Eyewire — здесь удастся пораскрашивать нейроны, чтобы построить карту человеческого мозга.

• Zooniverse — платформа для классификации галактик и живых организмов во имя науки.

• EteRNA — сборка молекул РНК, которые затем проверят в лаборатории.
  

P. P. S.

А вот тут можно «отдохнуть» за игрой про капчу.