Internet Archive будет сканировать сайты вне зависимости от настроек robots.txt +23
Интернет-сайт — это обычный набор файлов и папок, который лежит на сервере. Среди этих файлов почти всегда есть один, который называется robots.txt, его размещают в корне. Он служит для инструктирования «пауков», его настраивают для того, чтобы поисковые роботы понимали, что можно сканировать, а что нет. В ряде случаев веб-мастера закрывают при помощи таких инструкций дублирующийся контент (теги, категории и т.п.) для улучшения SEO-показателей, кроме того, защищают от роботов и данные, которые не должны по какой-либо причине оказаться в сети.
Идея с robots.txt появилась более 20 лет назад и с тех пор, хотя различные настройки для различных поисковых ботов менялись, все работает так же, как и много лет назад. Инструкций, сохраненных в этом файле, слушаются почти все поисковики, а также бот Internet Archive, который бродит по интернету в поисках информации для архивации. Сейчас разработчики сервиса считают, что пришло время перестать обращать внимание на то, что размещено в robots.txt.
Проблема в том, что во многих случаях домены брошенных сайтов «дропаются», то есть не продлеваются. Или просто содержимое ресурса уничтожается. Затем такие домены «паркуются» (с самой разной целью, включая получение денег за размещаемую на припаркованном домене рекламу). Файлом robots.txt веб-мастера обычно закрывают все содержимое припаркованного домена. Хуже всего то, что когда робот Internet Archive видит в файле инструкцию по закрытию директории от индексации, он удаляет уже сохраненный контент для сайта, который раньше находился на этом домене.
Другими словами, был сайт в базе Internet Archive, и нет его, хотя владелец домена уже другой, а содержимое сайта, сохраненное сервисом, давно кануло в Лету. В итоге удаляются уникальные данные, которые вполне могли представлять собой большую ценность для определенной категории людей.
Internet Archive создает «снимки» сайтов. Если сайт существует в течение определенного количества времени, таких «снимков» может быть много. Так что историю развития различных сайтов можно отследить от самого начала до новейшей версии. Пример тому — habrahabr.ru. При блокировании доступа ботам к сайту при помощи robots.txt отследить его историю или получить хоть какую-то информацию становится невозможным.
Несколько месяцев назад сотрудники Internet Archive прекратили отслеживать инструкции в указанном файле на государственных сайтах США. Этот эксперимент прошел успешно и теперь бот Internet Archive прекратит обращать внимание на инструкции в robots.txt для любых сайтов. Если же веб-мастер захочет удалить содержимое своего ресурса из архива, он может обратиться к администрации Internet Archive по почте.
Пока что разработчики будут отслеживать поведение робота и работу самого сервиса в связи с грядущими изменениями. Если все будет хорошо, то эти изменения сохранят.
Только зарегистрированные пользователи могут участвовать в опросе. Войдите, пожалуйста.
Поделиться с друзьями
Agel_Nash
Теперь некому будет отвечать за утечку персональных данных через Internet Archive. Жаль, далеко не все понимают, что прятать персональные данные через robots.txt это не выход…
grishkaa
Какая утечка, если эти «персональные данные» уже и так доступны всему интернету?
Agel_Nash
Ога, да. Смотрим сюда:
edogs
И каким образом интернет архив найдет эту ссылку?
Гугл понятно — по гугл аналитиксу, по панелькам и так далее.
Но интернет-архив декларирует именно браузинг.
Так что проблема именно с данным примером несколько надуманная.
Agel_Nash
Да хотя бы из моего комментария. Гугл увидя эту ссылку и заглянув в robots.txt — ее просто проигнорирует. А интернет-архив пойдет дальше. Поэтому давайте не будем путать мягкое с теплым…
Ziptar
А может, всё таки, люди будут отучаться оставлять ценности за запертой дверью, в замочной скважине которой оставлен ключ от замка этой двери?
Какая может идти речь о сохранности персональных данных или о какой либо безопасности, если вся безопасность обеспечивается табличкой «пожалуйста, не заходите сюда и сюда, спасибо за понимание»?
edogs
Поэтому на Вашу ссылку на левом ресурсе ему плевать. Это как бы его политика — такая же как раньше соблюдение роботса и теперь отказ от него.
Например гугл с вебархивом.
skylevels
Только вчера наткнулся:
http://webcache.googleusercontent.com/search?q=cache:38y06wAJM0MJ:elpts.ru/node/69/webform-results/table%3Fresults%3D50%26sort%3Dasc%26order%3D%25D0%259E%25D1%2582%25D0%25BF%25D1%2580%25D0%25B0%25D0%25B2%25D0%25BB%25D0%25B5%25D0%25BD%25D0%25BE+&cd=2&hl=ru&ct=clnk&gl=ru
причем в этой анкете не последние
Agel_Nash
В robots.txt не запрещены эти страницы
sumanai
Думаю, они вполне удалят по личному запросу, если доказать, что там реально утечка. Данная мера- лишь защита от автоматической очистки истории сайта при смене владельца домена.
staker
Странное решение. Могли бы сохранять сам robots.txt и не удалять ранее сохранённый контент. Теперь веб мастера будут просто блокировать ненужный им Internet Archive по useragent.
andreymal
Наконец-то здравый смысл восторжествовал!
Старые сайты не вернут, с концами удаляли?
Вообще возможность запретить сохранять сайт в Wayback Machine хорошо бы оставить для совсем уж параноиков, но не так радикально, как это было раньше (а через явное прописывание какого-нибудь
User-Agent: Waybackв robots.txt например)hardegor
Я правильно понимаю, что если robot.txt изменился, то уже скачанная информация в архиве удаляться не будет?
А то статья выглядит как-будто Internet Archive вообще будет игнорировать наличие robot.txt.
alan008
А он и будет просто его игнорировать, если я правильно понял.
edogs
Именно игнорировать.
we stopped referring to robots.txt files on U.S. government and military web sites for both crawling and displaying web pages
hardegor
Печалька. У меня сайт с большой базой файлов, каталог сканировать разрешено, а скачивание файлов ограничено robot.txt — т.е. отдать юзерам 300-400 файлов в день не проблема, а вот если начнет скачивать какой-нибудь crawler, то канал ляжет. Делать динамическую отдачу не очень-то хочется…
andreymal
Сабж — очень ленивый crawler, думаю он не создаст проблем
Aversis
Прэлэстно! Каков будет следующий шаг?
seven_hh
Архив на то и архив чтобы создавать историю. Для меня это новость что архивариусу указывает какой-то robots.txt
Gendalph
Как бы robots.txt он на то и robots.txt чтобы указывать всем краулерам куда смотреть, а куда — нет. Чем бот Архива отличается от других ботов?
seven_hh
Это все равно что
1. говорить шпиону вот эти данные бери, а эти не трогай
2. вести исторические данные о ВОВ но при этом намеренно закрыть глаза на что-то важное
3. и последующие можно придумывать на свой вкус
Одно дело когда рекомендации robots.txt помогает игнорировать ненужные данные (мусор), другое дело когда намеренно упускается возможность сохранить ценный материал имеющий или будет иметь не только историческую ценность но и народное достояние
Gendalph
Пример из жизни:
Сайты на WordPress в определенной конфигурации прячут нутря в /wp/
Поєтому в robots.txt пишут
На дев-версии у нас стоит
Теперь просто будем по UA закрывать доступ.
andreymal
Что такое «нутря» в данном случае? У меня пара рандомных вордпресс-сайтов по /wp/ выдаёт ошибку 404
Gendalph
Мы ставим WP используя Bedrock
Поэтому сайты видны как обычные сайты, но WP находится в директории '/wp/', соответственно для входа в админку надо идти по адресу
/wp/adminBarafu
За robots.txt важную информацию прячут дураки, а нормальные люди прячут там управляющие и технические страницы. Так и вижу: начинающий админ что-то криво настроил и спрятал за robots.txt. Пришёл бот и закольцевался в этой нетленке. Молодому админу пришёл счёт за трафик.
Delics
robots.txt был цивилизованным способом сдерживания ботов.
Если создатели ботов нарушают это негласное соглашение, ботов можно сдерживать и менее цивилизованными способами.
Garbus
Хм, ни у кого не возникает ощущения, что всё это до того момента как они пару-тройку раз наступят на «любимую мозоль» правообладаелей? После чего вынуждены будут делить на тех кого пожно архивировать нормально, и тех кого по предварительному договору?
LSDtrip
А что могут предъявить то? Все сайты в интернете и их страницы, доступные без авторизация, являются публичной информацией доступной каждому, в том числе и боту. Файл robots.txt лишь рекомендация для бота, если бот не хочет рыть лишние объемы информации, но он вовсе не обязан придерживаться её. Если критические данные по какой-либо причине не должны оказаться в сети, то они должны быть отделены через air gap. Свободы должно быть максимально много для всех (для ботов тоже) и не только в инете.
Garbus
Ну для сравнения, некоторые здания фотографировать нельзя, владелец данное запрещает. Хотя ходить мимо, и смотреть можно. Так и тут — появиться возможность отсудить денежку, долго ждать не будут.
Deosis
Приведите пример.
Иначе можно штрафовать всех художников, прошедших мимо этого здания.
EnigMan
Насколько я помню, подсветка Эйфелевой башни является предметом авторского права, и распространять ее фото без лицензии ни-ни.
А по сути возможных претензий правообладателей — веб архив копирует и распространяет информацию. Т.е. правообладатели не против того, чтобы человек зашел на сайт и просмотрел лицензионный контент, но против, чтобы его распространял еще кто-либо.
Charg
И насколько юридически корректен такой запрет (и в какой, кстати, стране)? А то с таким успехом можно запретить с себя взимать налоги.
drcolombo
В Германии, при попытке фотографирования частного дома хозяин может выйти и попросить этого не делать, а также удалить уже снятый контент. Маловероятно, конечно, что он пойдет до суда, если Вы откажетесь, то полицию вызвать может запросто.
Также запрещена (именно запрещена) фотосъемка самих полицейских во время их работы.
EviGL
Забавно, это, видимо, тот случай, когда российские законы лучше немецких.
Интересно, какой смысл в запрете съёмки полиции?
В гугле нашёл пишут что это, мол, из-за права полицейского на приватную личную жизнь (в общественном месте при исполнении служебных обязанностей, ага).
Ну и, вроде как, не запрещена именно съёмка полицейских во время работы, а запрещена ровно так же как и съёмка кого угодно когда угодно. Или я не прав и есть какой-то смысл?
edogs
Где-то это направлено на защиту прав неискажения информации о работе полиции (видео с камер видонаблюдения — ок, а вот частная съемка обрезанная в самом интересном месте уже нет). Вполне достаточно съемок когда полицейского сначала битой избивают трое малолетних имбицилов за то что он увидел их за изнасилованием девочки из детского сада, а потом появляется видео как полицейский гонится за «несчастным ребенком» и вбрасывается в общество.
А где-то это связано с закрытостью информации о работе полиции, в основном это касается спец.подразделений. По той же причине закрывают методы их подготовки, инструктаж, не дают фотографировать стратегические объекты и т.д… Затрудняется незаметность получения информации для криминальных элементов.
В общем ситуации разные, где-то обоснованные, где-то нет, вот так сразу запрет съемок действий полиции назвать чем-то плохим нельзя.
При чем запрет по 2 варианту часто снимается в тех случаях, когда полицейских обязывают носить камеру для регистрации своих действий, т.к. тогда шансы на фейки резко уменьшаются.
LSDtrip
Почти все запреты на фотографию в общественных местах незаконны. Независимо от страны. Могут быть проблемы с фотографированием режимных объектов в некоторых странах типа Израиля, но они связаны с подозрением на шпионаж, а не нарушение авторских и прочих прав.
ksil
Еще может быть нарушение частной жизни (как в примере про Германию, видимо).
FSA
А в чём проблема не применять ограничения robot.txt для уже созданного архива? Берём текущий файл и создаём с этого момента копию по его правилам. Если они дропают весь сайт, то флаг в руки. на кой чёрт его сохранять. Нормальный сайт не будет так делать, да и старой информации там, скорее всего, уже нет.
Stiver
По опыту последних лет скорее наоборот — почти все игнорируют. Помогает только фильтровать user agent и показывать им вручную
шиш403.hardegor
А меня на сайте постоянно пасутся разные поисковики — ни разу «за флажки не заходили».
mwambanatanga
Пошёл удалять robots.txt со всех сайтов. Только зря место занимают. (сарказм, если что)
А вообще, нарушителей конвенции полагается бить.
Alter2
Странное решение. Чтобы справиться с описанной проблемой, достаточно бы было отключить влияние robots.txt на прошлое: был документ доступен тогда-то — значит и в снимке сайта на указанную дату должен быть доступен. Зачем полностью игнорировать — непонятно. Хотя «приватности больше нет, смиритесь», наверняка какой-нибудь АНБ-аналог архива уже давно выкачивает и сохраняет все доступное содержимое, в том числе через не прикрытые общеизвестные уязвимости, под видом хакерской активности. Терабайты дешевеют, а информация дорожает.
EndUser
Можно точнее рассказать, что произошло, а) или б)?
а) архив отныне будет архивировать всё, невзирая.
б) при противоречии нового robots.txt с архивом архив отказывается стирать ранее архивированное.
Мне кажется, что б), но комментаторы имеют в виду а)
Tachyon
Стоп!
И их ещё не забанили в России? странно, там же по любому есть архив какого-нибудь запрещённого сайта. Сожжём библиотеку из-за одного листа! Вперёд Роскомпозор! (сарказм, для тех кто не понял, а то наминусуют сейчас тут)herr_kaizer
Давно уже забанили.
KorDen32
Еще в 15 году. Ну и так еще много
Temych
Угу.
Правда год назад все записи исключили из реестра.
Samoglas
Периодически из-за этого становится неудобно, у моего провайдера он очень медленно начинает работать (и так то не быстро) в случае блокировки. Так сразу и не поймешь, снова его забанили или он просто тормозит.
Их забанят еще не раз, в стране, в которой текст «Плана Даллеса» попал в список экстремистских материалов, а Свидетели Иеговы — теперь запрещенная за экстремизм организация.
Вот такая ссылка:
https://web.archive.org/web/20170428190037/https://ru.wikipedia.org/wiki/План_Даллеса
и можно банить.
Вместе с Википедией, конечно же.
Ziptar
Поскольку Internet Archive — это не тот сервис, который каким-либо образом влияет на доходы сайтов с рекламы — этот шаг давно пора было сделать. Вопросы безопасности иррелевантны, т.к. никакой безопасности, обеспечиваемой robots.txt нет и быть не может.
herr_kaizer
Это вопрос банальной сетевой этики.
Ziptar
Персональные данные — это вопрос безопасности, а не сетевой этики.
l0ser140
Я имел дело с одним криво написанным каталогом интернет магазина. Когда по нему начинали ходить кравлеры, они индексировали сотни тысяч страниц (за счет использования фильтров каталога), генерируя сотни гигабайт кэша в сутки.
Одной регулярной в robot.txt вышло отучить их использовать фильтры.
Если какие-то кравлеры будут игнорировать предписания robot.txt, ну будут получать 403 по юзер-агенту.
Ziptar
Ключевое слово — криво.
Опять же, безопасность тут не при делах. Проверка юзер-агента как средство обеспечения безопасности — как robots.txt, то есть не имеет к безопасности никакого отношения.
Подчёркиваю, я говорю о безопасности, а не о способе, правилах и этике взаимодействия кравлеров и сайтов.
l0ser140
Так а при чем тут безопасность? robots.txt задуман был не для обеспечения безопасности, а для управления кравлерами.
А теперь получается, что владелец «легального» кравлера заявляет, что не собирается следовать стандарту. Что мгновенно переносит его в разряд «нелегальных» на один уровень со сканерами уязвимостей и т.д.
Ziptar
Скорее для взаимодействия с поисковыми краулерами. Логично, что владелец сайта хочет, что бы индексировался не весь контент, и логично, что поисковикам не нужно индексировать всякий мусор.
Проблема здесь в том, что механизм взаимодействия сайта с поисковиками владельцы сайтов расширили до взаимодействия с любыми краулерами вообще. Это неправильная позиция изначально.
Ziptar
Скорее для взаимодействия с краулерами поисковиков.
Так точнее.
fukkit
Согласен.
Из серии «Нам плевать, что вы просите не ходить здесь и не фотографировать. Мы будем. Потому что можем и законом не запрещено.»
daggert
Вообще немного странно. У меня через robots.txt закрыты разделы статистики людей (никакой приватной инфы) и разного рода временные файлы. Получается при скане этот мусор будет попадать в архив? Зачем?
andreymal
Вот статистику как раз будет очень интересно отслеживать в зависимости от времени)
daggert
Поверьте — там не та статистика которая будет интересна кому-либо кроме своих десктопных приложений. А файлы еще xml — они точно в индекс попадут… По итогу будут лежать и впустую занимать место архива. Мне, как архивисту, это не очень понятно.
DistortNeo
Больше всего раздражает, когда после изменения robots.txt перестают быть доступными старые, уже скачанные страницы. Надеюсь, именно это они и исправили.
Darth_Biomech
Это не «эксперимент».
the Internet Wayback Machine изначально так и работал. Потом они включили это корявое «уважение» robots.txt, и в архиве стали полностью недоступными истории этак 70% сайтов, включая тот, который мне был очень нужен (один форум образца 2006 года, на котором я создавал тему которую был бы не прочь перечитать).
andreymal
Продублирую свой коммент сюда, чтоб новый народ увидел
edwardspec
Ну вот на сайте с MediaWiki на каждой странице есть ссылка «Редактировать», открывающая форму для редактирования.
Сама страница статическая и легко кэшируется (и отдаётся CDN или местным reverse proxy типа Varnish), а все хиты по ссылке «Редактировать» доходят до вызова PHP.
Соответственно, в robots.txt прописывают URL страницы редактирования, и краулеры там без надобности не бегают. А игнорируя robots.txt, они будут напарываться на throttling в fail2ban.
ppl2scripts
if ($http_user_agent ~ (archive.org_bot)) {
return 403;
}
Protagores
А как же «ловушки» для спам-ботов?
Поясню — на некоторых сайтах присутствуют обработчики специального вида URL, содержащего что-то наподобие
/guestbook. При этом на страницах имеются анкоры, запрятанные от пользователя, просматривающего его через браузер, но видимые для парсера такого спам-бота. При первом же GET-запросе на такой URL IP-адрес источника автоматически вносится в банлист, дабы таким образом прекратить дальнейшие пакости с его стороны. А для «хороших» индексирующих роботов явным образом указывается правило Disallow в robots.txt, что в случае с Internet Archive, полагаю, уже не поможет.Конечно, есть ещё атрибут
rel="nofollow", но он имеет свойство «отпугивать» и зловредов, которые в результате такую «ловушку» обходят стороной.dimm_ddr
А что мешает спам ботам также читать robots.txt?
sumanai
Их тупость))
Пока этот трюк не распространён, он работает. Впрочем, как и любой другой трюк.