Люди могут использовать не только достопримечательности, чтобы понять, где сделана фотография. Место можно определить по блюду в ресторане, по направлению дорожного движения, по корове на улице, архитектуре зданий и совмещению всех этих факторов. А на что способна машина?
Разработчики технологии PlaNet разделили большую часть суши на 26000 зон различного размера в зависимости от количества фотографий, сделанных в конкретной местности. Большие города получили больше «ячеек», так как в них сделано больше фото, в то время как в сельской местности «ячейки» были большего размера. Моря, океаны, полярные зоны пропустили.
Была использована база из 126 миллионов фотографий из интернета вместе с их EXIF-данными. 91 миллион фотографий использовали для обучения нейросети, а оставшиеся 34 миллиона — для оценки её работы.
Для проверки эффективности нейросети использовали 2,3 миллиона геотаргетированных изображений из Flickr. 3,6% изображений PlaNet узнала с точностью до улицы, 10% — с точностью до города. Страну нейросеть определила в 28,4% случаев, а континент — в 48%.
Этот результат сравнили с возможностями десятка путешественников с помощью игры GeoGuessr.com, в которой вы угадываете место по Google Street View. PlaNet обыграла людей со средним результатом ошибки в 1131,7 километров. Люди ошибались в среднем на 2320,75 километров.
По словам одного из главных исследователей Тобиаса Уэйанда (Tobias Weyand) преимущество машины состоит в том, что нейросеть «видела» гораздо больше, чем любой живой человек, всю жизнь путешествовавший по миру.
Разработчики пошли дальше и начали работать с фотографиями, которые сделаны в помещениях. Узнать их можно в тех случаях, когда фото является частью альбома — машина просматривает альбомы полностью и ищет наиболее специфические изображения, сделанные в одном и том же месте
Сама нейросеть занимает всего 377 мегабайт.
Комментарии (75)
Artoo-Detoo
27.02.2016 21:30+36На правах юмора: <img src="http://
" alt="image"/> 
kaaquantum
28.02.2016 01:48+11а может Украина? Беларусь? Или остальные стране, где сохранились старые советские знаки?)
CrazyViper
29.02.2016 18:11+1Достаточно указать точку схождения трех границ и получим минимальную погрешность для определения страны =)
lksdfj89
27.02.2016 21:31+1Крупные корпорации и спецслужбы некоторых стран скоро будут знать почти всё о людях. Так может быть пора вообще отказаться от идеи приватности и воодушевить/обязать каждого расшаривать те сведения, которые могут быть вычислены? Ну или корпорации обязать расшаривать то, что они смогли вычислить.
Idot
28.02.2016 06:35Не нужно пользоваться соцесетями, а видеокамеру в телевизоре, планшете, ноутбуке, и смартфоне — выжечь паяльником.
lksdfj89
28.02.2016 09:41> Не нужно пользоваться соцесетями
Трудновыполнимо.
> выжечь паяльником
А что делать с видеокамерами в городе, других людях снимающих фото на которые вы случайно попадёте?
Ну и помимо камер есть ещё миллион и один способ узнать о человеке то, что он не хотел рассказывать.
Sadler
28.02.2016 11:02+1Трудновыполнимо.
Нифига подобного. Просто не регистрируйтесь там.А что делать с видеокамерами в городе, других людях снимающих фото на которые вы случайно попадёте?
Во-первых, это чуть менее ценная информация, во-вторых, на улице можете натянуть капюшон куртки или hoodie, от части камер поможет.lksdfj89
28.02.2016 11:33Нет, если требуется рассказывать о себе как можно меньше любой ценой, то способы есть. Начать жить в лесу, например.
Но для большинства людей способы уровня «перестать общаться с некоторыми людьми» (aka отказаться от соц. сетей) и «начать выглядеть странно» (aka натягивать капюшон и везде носить hoodie) неприемлемы.Sadler
28.02.2016 12:24+1О том и речь. То, что трудновыполнимо или неприемлемо для Вас, для других людей может быть может быть вполне естественно. Но конечно, "он не такой, как мы! Давайте закидаем его камнями!"
isden
28.02.2016 11:44Несколько лет назад я как-то зашел в салон сотовой связи, натянув на голову это самое худи. Было холодно, а снять как-то не догадался. Так там охрана чуть ли не на входе меня крутить начала, подошли, любезно поинтересовались чем могут помочь. И потом глаз не сводили, пока не вышел.
Idot
28.02.2016 13:47lol Надо было пробовать зайти в баклаве с очками и шлемом — типа тех что велосипедисты ездят.
lgorSL
28.02.2016 18:16У меня зимой при температуре ниже -5 почему-то начинают сильно мёрзнуть нос и щёки. Обычно заматываюсь шарфом, закрывая нос и рот (практически всё лицо), повышенного внимания со стороны окружающих вроде бы нет.
Sadler
28.02.2016 19:46Тоже наматываю шарф до носа, плюс капюшон. Правда, у нас чаще -30, а не -5, потому я тут не один такой.
ivansychev
28.02.2016 10:59Про соцсети: когда я брал ипотеку (только не надо про "зло", иначе квартиру в Москве купить тяжеловато), меня Сбербанк проверял в Линкедине. Если бы они ничего про меня не нашли в сети — могли бы и не дать ничего, а так предложили кредит в полтора раза больше запрошенного.
adlkhkmlln
28.02.2016 16:44А как вы узнали про то, что вас в Линкедине смотрели, можно поинтересоваться?
Nepherhotep
28.02.2016 19:09+1А там показывает, кто профиль смотрел. Во вконтакте, думаю, тоже искали, но информацию об этом никто не узнает )
ivansychev
28.02.2016 23:20Как правильно написали уже — можно увидеть, кто смотрел. Мой профиль смотрели два аналитика из Сбербанка. Спустя сутки после подачи заявки на ипотеку. Ещё через сутки заявку одобрили.
dinizzzo
27.02.2016 21:53с помощью игры GeoGuessr.com
О! Статистику им пополню немного.
P.S. Вот как могла машина с армянскими номерами в деревушку в Эстонии попасть? В итоге промах в 2500 км :(
alltiptop
27.02.2016 22:34По миру не ездил, но у меня на GeoGuessr.com от максимума в 1500км (что характерно — в пределах одной страны, даже на одном побережье — на западе США (вычислил по знакам и гористой зелёной местности)) до минимума в 500 км — Германия/Ниделанды. То есть с таким же турестическим опытом как у PlaNet результаты у нас совпадают. Какая то не очень продвинутая нейросеть, моя во всяком случае не хуже, что уже радует.
EwgenW
28.02.2016 10:59Как так? Мне удавалось вычислить до ± 100 м. ЧЯДНТ?
alltiptop
28.02.2016 13:45Ну у меня все дороги попадались посреди поля, «ездить» в поисках города надоедало и тыкал по местности.
force
01.03.2016 19:36Пфф… мне удалось как-то вычислить до 1 метра. Потому что фотография была из соседнего города и показывала достопримечательность с очевидного ракурса :)
Так что зависит от фотографий.
idiv
27.02.2016 23:47P.S. Вот как могла машина с армянскими номерами в деревушку в Эстонии попасть? В итоге промах в 2500 км :(
Я вот возле Амстердама видел машину с московскими номерами. Мираж?Zzzuhell
28.02.2016 00:25+3В МСК на ливанских номерах машину видел. Законом не запрещено въезжать в страну иностранным машинам. Главное — страховка и права международного образца.
А вот увидеть в США машину с австралийскими номерами — это уже посложнее. Но, опять же, не невозможно...idiv
28.02.2016 11:28А вот увидеть в США машину с австралийскими номерами — это уже посложнее. Но, опять же, не невозможно...
Серые импортные схемы приводили к появлению в Киеве машин с американскими номерами. Так что в общем все возможно.Zzzuhell
28.02.2016 21:03Теоретически и это возможно. Я просто говорю, что увидеть номера с того же континета вероятнее, чем с другого. Фрахт overseas тупо дороже :)
radiolok
27.02.2016 22:20Хотелось бы подробностей насколько хорошо нейросеть "понимает" что изображено на фотографии и на некоторых примерах почему она считает что фото сделано именно в %имя страны% стране.
Artoo-Detoo
27.02.2016 22:31По поводу "как понимает", не в курсе не специалист. А страна опознается по характерным для нее признакам. Если по простому, как мой коммент выше.
vedenin1980
27.02.2016 22:36+3Вроде бы суть нейросети в том что у неё трудно (или невозможно) получить ответ почему она приходит к тому или иному решению.
Sadler
28.02.2016 07:08Если используются Sparse Encoders или свёрточные сети, то очень просто: активируйте конкретный нейрон слоя, и увидите, на что тот реагирует. Если не sparse, то, конечно, всё сложнее. Подозреваю, что в данном случае сетка научилась на цветовой гамме и других характеристиках камеры, используемой гуглом в данной стране. Так в GeoGuessr можно безошибочно отличить Небраску и Австралию, если Вы понимаете, о чём я.
ProLimit
27.02.2016 23:22Конечно она ничего не понимает, это просто классификатор которые на основе огромной обучающей выборки научилиотвечать на один конкретный вопрос: какие координаты на карте для этой фотографии. Если нужны ответы на другие вопросы, например, "на фотографии изображены люди и сколько их", можно научить отвечать и на них, проведя повторное обучение, но принцип остается таким же простым.
grozaman
27.02.2016 23:48Тем не менее нейросети это рабочая, но узкая реализация некоторых человеческих способностей.
Поэтому нейросети вероятно один из ключевых элементов гипотетического сильного ИИ.
Пока что человек остается «универсальной нейросетью» решения практически любых задач.zim32
28.02.2016 01:42+1Что самое удивительное что человеческий мозг не заточен под что-то одно. Это метанейронная сеть которая умеет строить нейронные сети
Sychuan
28.02.2016 02:39Я не специалист, но из книжки Маркова "Обезьяны, нейроны и душа" у меня сложилась впечатления, что человеческий мозг как он пишет очень универсален, но в целом ограничен и существуют такие вещи, на которые его фундаментально нельзя "запрограммировать". Но может я не все понял.
Sadler
28.02.2016 07:37+1А с чего Вы взяли, что он не заточен? Вспомнить хотя бы систему пространственной ориентации. Или, скажем, чисто на бытовом уровне: мы куда эффективнее справляемся с задачами классификации и распознавания образов, нежели, скажем, с задачами, требующими запоминания большого объёма информации. Истина в том, что наш мозг очень заточен под что-то одно (и это "что-то одно" сильно завязано на выживание в естественной среде), но мы всё равно умудряемся вполне успешно использовать его даже там, где он уже не вполне справляется без дополнительных средств.
zim32
28.02.2016 12:52Вы не совсем правы. Существуют люди (саванты) с фотографическрй памятью, есть которые вычисляют в уме огромные цисла. Да это сворее отклонения чем норма, но это говорит о том что мозг может быть заточен и под это. Просо для выживания человеку не нужно помнить все до крупинки с рождения.
Sadler
28.02.2016 13:24Это не я не совсем прав, это Вы нашли пару фриков с ошибкой в генотипе. Формально нейросеть можно натаскать на что угодно, если это вообще вычислимая задача и достаточно вычислительных ресурсов при относительно полных входных данных. По факту всё зависит ещё и от генетики, т.к. могут формироваться различные более или менее специализированные нейроны. Никакой магии здесь нет.
zim32
28.02.2016 13:59Если сравнить наш мозг с комьютером с ИИ это все равно чтобы ваш копьютер в один прекрасный день сказал — слушай, я тут решил, что для оптимальной работы я не буду хранить всю твою библиотеку флак файлов на SSD, а буду ужимать старые записи в mp3 и перенесу на HDD, все равно ты не слушаешь песни годичной давности, а быстрая память нужна здесь и сейчас. А от самых старых и вовсе оставлю сжатый образ и проиндексирую его хеш таблицей с разными органами чувств, чтобы ты, если что, мог найти их подумав о старом знакомом или почувствовав запах любимых духов. Это и есть настоящий ИИ, когда ты не вовлечен в эти процессы напрямую.
Разница в том, что мозг не знает наперед все типы задач с которыми ему придется сталкиваться и подстраивается под окружающую среду сам.
>>Вы нашли пару фриков с ошибкой в генотипе.
Это лишь доказывает что мозг теоретически способен на такое, просто ему это не надо.Sadler
28.02.2016 14:14… окей. И к чему был этот поток сознания? В Вашем видении мира нейросеть, искусственная или естественная не может параллельно решать несколько задач? Абсолютно не имеет значения задача(задачи), если есть общий метод оценки результата.
edogs
27.02.2016 22:50+1PlaNet обыграла людей со средним результатом ошибки в 1131,7 километров. Люди ошибались в среднем на 2320,75 километров.
Звучит как «тренированный спортсмен из урюпинска в среднем бегает быстрее чем средний человек из америки на 25 мер длины в секунду»©ivansychev
27.02.2016 22:59+1Прочитайте абзац полностью. Сравнивали с путешественниками, а не обычными людьми.
edogs
28.02.2016 00:07+6Вы же понимаете, что абстрактный путешественник ничем особо не отличается от абстрактного человека? Спец.средство победило среднее среди десятка любителей.
К тому же учитывая куда обычно приземляет тот сайт, который выбрали для теста, т.е. крайне редко в города, тут человек знакомый с природоведением и не выходящий за пределы квартиры будет более точен чем путешественник объехавший 120 городов.
AngusMetall
01.03.2016 14:31Технологическая сингулярность во всей красе прям. Вы хоть понимаете, что буквально лет десять назад, задачи распознавания образов на изображениях считались чуть ли не невозможными, или как минимум требующими чуть ли не сильного ИИ? А тут вот, нейросеть обставила живого человека, чёрт с ним, даже пускай среднего, в задаче классификации. Это мегакруто!
NeoChudic
27.02.2016 22:59+5Черт, хотел приобщиться к исследователям, но ссылка ведет на pdf- документ на arxive. org. То есть какой-то доклад. А нет-ли ссылки на движок? Ну то есть — запостить фотку и проверить — где снято?
darkfrei
27.02.2016 23:58Пачку фотографий квартиры с мебелью из ИКЕИ — и как она страну определит?
vedenin1980
28.02.2016 00:21+1По языку на которому написан журнал, лежащий на столике, по породе кота, спящего на диване, по виду из окна, по лицам хозяев, наконец. Естественно, 100% точности ни ИИ, ни самый эрудированный человек не даст.
tormozedison
28.02.2016 11:14+1Кстати, про Икею. И про язык. В Икее в Химках есть один ручной пожарный извещатель с надписями по-шведски. Можно потроллить нейросеть фотографией этого извещателя.
Keyten
28.02.2016 13:03+12Можно потроллить нейросеть
21 век.tormozedison
28.02.2016 21:05Если, конечно, она там есть, а не просто анализатор геотегов присылаемых фоток. Кто-нибудь пробовал присылать без геотега — ошибку не выдавало?
ingumsky
28.02.2016 00:27+2В продакшен-версии она будет выводить в качестве ответа сниппет со временем работы и адресом ближайшей Икеи :)
dydyman
28.02.2016 00:03Получается для России определить город и улицу не получится? Эта территория состоит только из крупных участков.
Интересно бы узнать какое количество нейронов в сети — это количество участков карты в квадрате, или что-то более сложное с множеством алгоритмов определения паттернов на изображениях (множеством слоев)?Sadler
28.02.2016 07:13А Вы сами насколько точно сможете без чтения какого-либо текста определить своё местоположение в России? Посмотрите летсплееров зарубежных, те тупо всегда тыкают Казань, когда попадают в Россию, а если вокруг светло и тепло, то тыкают Украину (и всегда промахиваются, т.к. GeoGuessr крайне редко попадает на Украину).
Idot
28.02.2016 08:53Почему же не получится? Фото с Андроидов + Geo-Tag позволяют вполне составить подобную карту местности.
dydyman
28.02.2016 17:29Там на изображении карты в статье видно, что на территорию России приходится всего 4-5 участков. Похоже, что у Гугла было мало фоток из России при создании карты. А сама сеть, судя по всему, может установить принадлежность фото определенному участку с этой карты, а не координатам.
Mad__Max
01.03.2016 00:39Не видно — на самом деле на Россию там приходится не меньше сотни-другой сегментов. Просто большая их часть сосредоточена компактно в европейской части. Но это особенность не карты/алгоритма, а самой страны — у нас и население подавляющая часть проживает весьма компактно в европейской части — соответственно и массивы фото им генерируемых так же распределены. А вот уже плотность "координатной сетки" нейросети пропорциональна кол-ву фото из соответствующего региона, поэтому большие пустые необжитые территории сливает в один крупный сегмент. + проекция Меркатора как обычно искажающая пропорции(резко завышая площади визуально) в высоких широтах.
Вот участок приходящийся на РФ детально:
TimsTims
28.02.2016 01:46Сразу вспомнился фильм, где по фотографии преступника где-то в горах — компьютер выделил рельеф, по положению солнца, высоте тени человека и углу падения тени определил, что такой угол мог быть только такого-то числа и только в таком-то месте земного шара)))
arheops
28.02.2016 06:34+1Это из разряда "увеличили и выделили номер по четырехпиксельному отражению". Весь рельеф в компьютер не заложишь, да и меняется он все же чуток. А также картинка зависит от обьектива средства сьемки.
tmin10
28.02.2016 15:42Был какой-то боевик, по фотографии вычислили высоту солнца, по дате снимка определии, что эта фотография была сделана в антарктиде. Мне кажется, что такое возможно, но точность конечно не будет даже близко около 1км.
007913
28.02.2016 17:45Три месяца назад когда была популярна гугл игра про порталы мне один коллега подобное сказал :), что они собирают "маяки" для уточнения имеющихся карт в части содержания — люди сами приносили данные (плюс к тому статистически много данных от разных людей — ошибок минимум!) о позиционированиии конкретных мест в множестве городов в игровой форме.
impetus
01.03.2016 14:00Мне эта "игра" как-то слишком что-то ещё вторым-третьим слоем в ней спрятанное подозрения вызывает. Как-то в ней серьёзно всё что ли...
baldr
28.02.2016 23:46Просто умная нейросеть способна вытащить GPS-метки из фотографии, на что большинство современных пользователей не способны.
Более того, они даже не имеют представления что их телефон и некоторые фотоаппараты геотеги сохраняют.impetus
01.03.2016 14:06Да как минимум часовой пояс, заводской номер камеры и версию софта привязать к людям и по ним найти альбомы этих людей в фейсбуках, сравнить время снимков с их собсвенными чек-инами, подписями к фоткам и названиям альбомов и т.п.(номерам авиарейсов, бронью номеров в гостиницах и столиков в ресторанах, посещение афишных концертов, выставок, метео-аномалий (снег/гроза))…
Utopia
ФБР радостно потирает руки
d2ghost
С радиусом в 1131 км они могут еще и начинать ноги разминать )