Бывший глава Google Эрик Шмидт рассказал, что в компании осознали необходимость поиска по картинкам в интернете благодаря известной поп-певице Дженнифер Лопес. В 2000 году, когда сервиса Google Images еще не существовало, в компании отметили бурный рост числа поисковых запросов, в которых пользователи желали посмотреть на певицу. Именно в результате желания удовлетворить потребности аудитории Поиск по картинкам и был запущен.

На церемонии вручения музыкальных наград Grammy Awards 2000 Дженнифер Лопес появилась в откровенном зелёном платье, крайне впечатлив телевизионную и интернет-аудиторию того времени. Тогда в поисковой выдаче Google показывались только текст и ссылки. В итоге чтобы посмотреть на Дженнифер Лопес необходимо было ввести соответствующий запрос и надеяться, что среди показанных ссылок окажутся те, которые ведут на нужные фотографии. Несмотря на такое неудобство, запрос «JLo green dress» стал самым популярным поисковым запросом за всю историю Google того времени. В итоге Google Images был запущен летом 2001 года и к тому времени успел проиндексировать 250 миллионов картинок.

^{Фото (AP Photo/Reed Saxon)}

Правда, несмотря на своё платье, лауреатом церемонии Джей Ло тогда так и не стала.

Сейчас для поиска по картинкам Google использует технологию распознавания изображений, основанную (pdf) на свёрточных нейронных сетях. На основании содержания картинки в сочетании с её названием, контекстом веб-страницы и EXIF-данными, с картинками удаётся ассоциировать специальные поисковые теги. Автором технологии такого поиска была компания DNNresearch из Торонто, купленная Google в 2012 году. Профессор Джеффри Хинтон, автор методики поиска, говорит:

Наша нейронная сеть включает 60 млн оцениваемых параметров и 650 тыс. нейронов. Она обладает серьёзным запасом мощности. Мы обучаем её распознавать образцы размером 224?224 пикс., случайным образом получаемые из изображений размера 256?256, и их горизонтальные отражения

Это даёт возможность выполнять поиск и по общим понятиям, так и по конкретным объекта, примерами которых могут быть такие, как автомобиль, танец, поцелуй, гибискус, георгин, закат, белый медведь, медведь гризли и другие. Если попробовать поискать Дженнифер Лопес в зелёном платье сейчас, то можно убедиться, что поисковый алгоритм прекрасно справляется со своей задачей.