Каждый раз, когда вы доказывали сайту, что не робот, кто-то получал бесплатную работу. Эта история — о том, как раздражение миллионов людей стало топливом для одного из самых масштабных проектов оцифровки в истории.
В середине двухтысячных Луис фон Ан, молодой профессор информатики из Carnegie Mellon University, проделал нехитрый подсчёт, от которого трудно отмахнуться. Люди по всему миру решали CAPTCHA — эти корявые, перекошенные буквы на входе в почту, форумы, интернет-магазины — и тратили на каждую загадку секунд по десять. Умножьте на десятки миллионов решений в день, и получится цифра, от которой у экономиста дёрнется бровь: более 150 000 часов человеческого труда ежедневно, растворённых в воздухе (сам фон Ан в ту пору считал от 60 миллионов капч в день, а к 2008 году оценка подросла до сотни миллионов — порядок величины не менялся). Ни один завод в мире не мог позволить себе такой расход впустую. Фон Ан, уроженец Гватемалы, к тому моменту уже получивший грант фонда Макартуров — ту самую «стипендию для гениев», — смотрел на эту воронку потерянного времени и видел в ней не проблему, а ресурс.
Идея была проста в формулировке и дьявольски хитра в исполнении. Если человек всё равно доказывает сайту свою человечность, распознавая искажённый текст, — почему бы не подсунуть ему текст, который действительно нуждается в распознавании? Старые книги, газеты с пожелтевшей бумагой и расплывшимися чернилами, рукописные пометки на полях — всё то, перед чем алгоритмы оптического распознавания символов (OCR) пасовали. Вместе с коллегами — профессором Мануэлем Блумом, студентом бакалавриата Беном Маурером и исследователем-программистом Майком Кроуфордом — фон Ан собрал систему, которая превращала рутинную проверку в микрозадачу с реальной пользой. Так появилась reCAPTCHA.
Первым крупным партнёром стал Internet Archive — некоммерческий проект, администрировавший Open Content Alliance, при поддержке корпорации Intel. Сканы старых газет и книг, которые OCR не мог переварить, нарезались на отдельные слова и отправлялись в капчи по всему интернету. Миллионы людей, сами того толком не осознавая, начали работать на крупнейший архив оцифрованного текста в мире — и при этом каждый из них всего лишь хотел оставить комментарий или зарегистрировать аккаунт.
Пользователь видел два слова. Это ключевой момент, и его часто упрощают до карикатуры — «люди бесплатно оцифровывали книги». Реальность была устроена тоньше: одно из двух слов система уже знала. Если вы его вводили правильно, сайт убеждался, что вы человек. Второе слово было фрагментом скана, в котором OCR-алгоритм споткнулся: размытая буква, слипшиеся символы, чернильное пятно на полвека старше пользователя. Ваш ответ на второе слово не проверялся напрямую — система не знала «правильного» варианта. Она его искала.
И здесь начинается статистика. Один человек мог ошибиться, опечататься, ввести абракадабру. Но когда одно и то же слово показывали десяткам, а то и сотням пользователей, и большинство вводило одинаковый вариант, система получала основание принять этот вариант как расшифровку. Грубо говоря, reCAPTCHA работала по принципу жюри присяжных: единичный голос ненадёжен, а коллективное согласие — уже аргумент. При этом качество результата зависело от исходного изображения: если скан был совсем неразборчив, никакое количество ответов не могло родить из мусора осмысленный текст. Были и последующие этапы обработки — сверка с контекстом, сопоставление с соседними словами в строке, фильтрация выбросов.
Меня подкупает честность этой конструкции: она не притворялась всеведущей. reCAPTCHA не утверждала, что каждый решённый тест — это оцифрованное слово. Она строила вероятностную мозаику, где каждый кусочек мог оказаться бракованным, но картина в целом складывалась. Ежедневно через систему проходило более 100 миллионов решений — к 2008 году фон Ан оценивал поток именно так.
16 сентября 2009 года Google объявила о покупке reCAPTCHA. Объявление сделали двое: сам Луис фон Ан как сооснователь проекта и Уилл Каткарт, продакт-менеджер Google. К этому моменту сервис защищал от спама и мошенничества более 100 000 сайтов. Цена сделки не была официально раскрыта, но логика покупки была прозрачна до неприличия: у Google уже были два гигантских проекта оцифровки — Google Books и Google News Archive Search, — и оба задыхались на одном и том же узком месте. Сканировать страницы умели машины, но читать старый, деградировавший текст — нет.
Google Books к тому времени уже оцифровал миллионы томов, но «оцифровал» — слово обманчивое. Отсканировать страницу и превратить её в фотографию — одно дело. Превратить фотографию в текст, который можно искать, копировать, индексировать — совсем другое. Для свежих изданий с чётким шрифтом OCR справлялся неплохо. Но стоило взяться за газету 1890-х или книгу с готическим шрифтом XVIII века, и алгоритм начинал выдавать кашу. reCAPTCHA закрывала именно эту брешь — и закрывала руками тех самых пользователей, которые в этот момент просто пытались купить билет на концерт или войти в почту.
Google News Archive Search, в свою очередь, работал с газетными архивами — материалом ещё более капризным, чем книги. Газетная бумага стареет быстрее, типографская краска расплывается, колонки наезжают друг на друга, заголовки набраны шрифтами, которых давно нет ни в одном каталоге. После интеграции reCAPTCHA потоки нераспознанных слов из обоих проектов стали поступать в капчи, и различить, откуда именно пришёл конкретный фрагмент — из книги Диккенса или из выпуска «New York Times» за 1920 год, — пользователь, разумеется, не мог.
Здесь начинается территория, на которой комфортных ответов нет. Миллионы людей выполняли работу, результат которой имел коммерческую ценность для Google. Никакого контракта, никакой зарплаты — только доступ к сайту, который сам по себе часто не имел к Google никакого отношения. Владелец форума ставил reCAPTCHA, чтобы отсечь спам-ботов; посетитель форума решал капчу, чтобы написать пост; а побочным продуктом этого взаимодействия становился расшифрованный фрагмент архивного текста, уходивший в базы данных корпорации.
Назвать это «тайной эксплуатацией» было бы передёргиванием. reCAPTCHA не скрывала своей двойной функции: о ней писали на сайте проекта, в академических публикациях, в прессе, а фон Ан ездил с лекциями и TED-током. Часть сайтов, использовавших сервис, размещала пояснение: «Решая эту капчу, вы помогаете оцифровывать книги». Но «часть» — ключевое слово. Подавляющее большинство пользователей не читало мелкий шрифт и не смотрело TED. Они просто вбивали кривые буквы, чертыхались и шли дальше.
Этическая конструкция reCAPTCHA держалась на нескольких опорах. Во-первых, пользователь всё равно тратил бы эти десять секунд на обычную капчу — reCAPTCHA лишь перенаправляла усилие. Во-вторых, результат шёл (по крайней мере, изначально) на общественное благо: оцифровку книг и газет, доступных через Internet Archive. В-третьих, альтернатива — оставить старые тексты нечитаемыми — тоже не выглядела привлекательно. Общественное благо никуда не делось, но после покупки Google рядом с ним появился вполне конкретный коммерческий интерес, и провести границу между ними стало трудно.
Признаюсь, я до сих пор не могу решить, восхищает меня эта схема или настораживает — и подозреваю, что обе реакции одинаково уместны.
Где-то в начале 2010-х пользователи reCAPTCHA стали замечать, что вместо кривых слов им всё чаще подсовывают фотографии: размытые номера домов, фрагменты уличных вывесок, куски дорожных знаков — открытым текстом это случилось весной 2012 года, когда такие картинки попали в капчи уже официально. Переход произошёл без фанфар. Google к тому моменту активно развивал Street View — сервис, для которого автомобили с камерами на крышах фотографировали улицы по всему миру. Автоматически считывать номера домов с этих снимков было необходимо для привязки адресов к координатам на карте, но алгоритмы спотыкались на выцветших табличках, нестандартных шрифтах, тенях от деревьев.
Принцип остался тем же: показать человеку то, что не смогла прочитать машина, и собрать статистическое согласие ответов. Но предмет труда сменился радикально. Оцифровка книг — дело, которое легко романтизировать: вы спасаете культурное наследие, буква за буквой. Распознавание номера дома на улице Сан-Паулу для улучшения навигации Google Maps — задача полезная, но романтики в ней примерно столько же, сколько в заполнении налоговой декларации. Этический аргумент «вы помогаете оцифровывать книги» перестал работать, и Google не стал его заменять новым.
Параллельно появились задачи с распознаванием дорожных объектов: светофоры, пешеходные переходы, автобусы, велосипеды. Если вы когда-нибудь кликали по квадратикам с вопросом «Выберите все изображения с автобусами», вы, вероятно, помогали обучать модели компьютерного зрения — те самые, что потом использовались в проектах автономного вождения. Google не подтверждал эту связь напрямую, но хронология и тематика совпадений оставляли мало пространства для альтернативных объяснений. Система, начавшая жизнь как помощник библиотекарей, тихо переквалифицировалась в тренировочный полигон для машинного зрения.
В 2014 году Google представила reCAPTCHA v2 — ту самую галочку «Я не робот». Вместо того чтобы заставлять пользователя расшифровывать текст, система анализировала поведенческие сигналы: как двигается курсор мыши, с какой скоростью заполняются поля формы, какие куки хранятся в браузере, какова история взаимодействий с другими сайтами Google. Если поведение выглядело достаточно «человеческим», достаточно было одного клика. Если нет — выскакивали те самые картинки со светофорами и автобусами.
Ещё через несколько лет появилась reCAPTCHA v3 (анонс — в конце 2018 года), работающая полностью в фоновом режиме. Пользователь вообще не видит никакого теста. Система присваивает каждому визиту оценку от 0 до 1 — насколько вероятно, что это человек — и передаёт решение владельцу сайта. Эволюция завершила полный круг: от задачи, которую человек решал явно и осознанно, к наблюдению, о котором человек может даже не подозревать.
Параллельно с исчезновением явных тестов исчезла и та полезная нагрузка, ради которой всё затевалось: слова из старых книг, пешеходные переходы, номера домов. reCAPTCHA v3 просто наблюдает. Механизм, придуманный для того, чтобы человеческое усилие не пропадало зря, превратился в систему, которая кормится другим: не трудом распознавания, а данными о поведении.
Оглядываясь на всю эту историю, я ловлю себя на двойственном чувстве. reCAPTCHA в её изначальном виде — одна из самых элегантных инженерных идей двухтысячных. Взять неизбежное трение, встроенное в архитектуру интернета, и превратить его в полезную работу — это ход, достойный лучших страниц учебника по проектированию систем. Фон Ан и его команда нашли способ утилизировать то, что до них считалось чистыми потерями, и направить энергию миллионов микроусилий в русло, имеющее культурную ценность.
Но элегантность идеи не отменяет вопроса о согласии. Информированное согласие — штука скользкая даже в медицине, где его формализовали десятилетиями. В случае reCAPTCHA информация формально была доступна, но практически — невидима для большинства. Человек, вбивающий капчу на сайте пиццерии, не заключал договор с Google о помощи в оцифровке газетного архива «New York Tribune» за 1903 год. Он заключал договор с пиццерией о праве заказать маргариту. Всё остальное происходило за кулисами, пусть и не за запертыми дверями.
Была ли reCAPTCHA остроумным союзом человека и машины в эпоху, когда OCR не справлялся с готическим шрифтом? Безусловно. Была ли она образцом того, как цифровая инфраструктура научилась извлекать ценность из каждого касания пользователя? Тоже да. Эти два утверждения не противоречат друг другу — они описывают одно и то же явление с разных точек обзора. Фон Ан, по сути, изобрёл способ монетизировать раздражение, и мир сказал ему спасибо грантом Макартуров. Сегодня reCAPTCHA по-прежнему работает на сотнях тысяч сайтов, но книги она больше не читает.