Разработчики проекта Wikimedia Commons пытаются понять причину аномального количества запросов к их серверам. Каждый день из сетей разных провайдеров Индии поступает примерно 90 млн одинаковых запросов:
Это очень странно, потому что запросы поступают с разных IP и соответствуют нормальному дневному распределению трафика от посетителей.
Разработчики выдвигают версию, что в Индии может быть популярным какое-то мобильное приложение, в заставке которого стоит хотлинк на картинку Википедии такого типа:
Но пока не найдено конкретное приложение, которое в этом «провинилось». Причина может быть иной. Расследование продолжается.
Wikimedia Commons — общее централизованное виртуальное хранилище для изображений, звукозаписей, видеороликов и других мультимедийных файлов, включаемых в страницы проектов Фонда Викимедиа, которые можно свободно распространять, изменять и использовать в любых (включая коммерческие) целях, в том числе и за пределами проектов Wikimedia.
URL: https://upload.wikimedia.org/wikipedia/commons/thumb/1/16/AsterNovi-belgii-flower-1mb.jpg/1280px-AsterNovi-belgii-flower-1mb.jpg
Referer: "-"
User-Agent: "-"Это очень странно, потому что запросы поступают с разных IP и соответствуют нормальному дневному распределению трафика от посетителей.
Разработчики выдвигают версию, что в Индии может быть популярным какое-то мобильное приложение, в заставке которого стоит хотлинк на картинку Википедии такого типа:
<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/1/16/AsterNovi-belgii-flower-1mb.jpg/1280px-AsterNovi-belgii-flower-1mb.jpg">Но пока не найдено конкретное приложение, которое в этом «провинилось». Причина может быть иной. Расследование продолжается.
Wikimedia Commons — общее централизованное виртуальное хранилище для изображений, звукозаписей, видеороликов и других мультимедийных файлов, включаемых в страницы проектов Фонда Викимедиа, которые можно свободно распространять, изменять и использовать в любых (включая коммерческие) целях, в том числе и за пределами проектов Wikimedia.
technomancer
А поменять путь на 1 символ и посмотреть, кто громче всех ругается?
akrupa
Это слишком по-русски. На западе такой подход не приветствуется. «Customer first...». Так что, будут искать… очень долго…
Firz
Как по мне, 20% трафика это не абы что, а учитывая что, по идее, все это работает еще и на пожертвования, то Customer-ы это как раз те, кто пожертвовал и на чьи деньги сейчас хостится картинка для какого-то индийского приложения.
akrupa
Я уверен, что среди пользователей этого индийского приложения есть, в том числе, и Customer-ы в этом понимании, которые жертвовали Википедии.
Lord_Ahriman
У Википедии на такой случай есть правило Wikipedia is not a mirror or a repository of links, images, or media files. Или, в русскоязычном варианте: Википедия — не бесплатный хостинг, блог или веб-провайдер и не социальная сеть
akrupa
Там ничего нет о том, что запрещено/не рекомендуется ссылаться на изображения с внешних ресурсов. Только про то, что нужно иметь ввиду, что эти изображения могут быть в любой момент быть изменены или удалены, если они не используются на страницах Википедии.
Lord_Ahriman
Формально да, но по факту это злоупотребление вот этим: Content for projects unrelated to Wikipedia. Do not store material unrelated to Wikipedia, including in userspace .
Хотя эта картинка, очевидно, используется для иллюстрации в какой-то статье, но в данном кейсе по духу правил это именно что unrelated material. Вообще, непонятно, о чем там так долго рассуждают, достаточно заменить изображение на Викискладе и изменить ссылку в статьях (думаю, там одна или две), а индусы путь выкручиваются как хотят со своим хотлинкингом.
akrupa
Картинка очень даже related material. Используется в статье про данный вид растения, цветок которого изображен на картинке. Т.к. хот-линкинг не запрещен правилами, то удалять ничего не будут.
Клиенты есть клиенты. У провайдеров интернета тоже бывают пользователи которые на «безлимитном» тарифе качают терабайты в месяц.
К тому же, не выяснив предварительно источника трафика, можно очень сильно попасть на «антипиар» по-неосторожности. Вдруг, эта картинка используется в приложении связанном с религией или культурой.
Ну, и, просто, не принято у них, на западе, так поступать.
Они найдут автора приложения и вежливо попросят переместить изображение на свой хостинг. На этом все. Ну, или автор сам на статью в сети наткнется.
Lord_Ahriman
Я думаю, что удалять будут, т.к. это злоупотребление ресурсами проекта, это очевидно.
Неприменимо к Википедии, она не является коммерческим проектом, не предоставляет никому никаких услуг и ничего не продает, не заключает договоров оказания услуг или обслуживания, а живет на донаты, которые даже формально под «оплату услуг» или «покупку» не подтянуть.
Здесь не может быть никакого антипиара хотя бы потому, что в правилах четко написано, что так делать нельзя и никто ничего не гарантирует. Может быть, вы не знаете, но на Вики полно всяких продвигателей разных религиозных учений, которых очень часто банят за PoW-pushing, и ничего.
Чего автор, естественно, не сделает, т.к. будь у него свой хостинг
(и хотя бы капля разума), он бы не использовал хотлинкинг на левый файл в своем приложении.akrupa
Давайте просто подождем, и узнаем, кто окажется прав. А то, спор ушел куда-то не туда, я так считаю.
PereslavlFoto
Где именно в правилах написано, что так делать нельзя? Пожалуйста, дайте ссылку.
Ниже в комментариях я привожу ссылку на правило, по которому так делать можно, и на правило, которое рекомендует так делать (InstantCommons).
Спасибо.
Lord_Ahriman
Wikipedia is not a blog, web hosting service, social networking service, or memorial site
5. Content for projects unrelated to Wikipedia. Do not store material unrelated to Wikipedia, including in userspace.
Выше я уже объяснил, что такой массовый хотлинкинг — это нарушение этого пункта, или, как минимум, злоупотребление предоставленной Викимедиа возможностью. Если эта картинка не используется в какой-нибудь PWA-читалке для Вики, это нарушение духа этого правила (по факту, я надеюсь, из ситуации сделают выводы и ужесточат правила Викимедиа, т.к. очевидно, что так злоупотреблять ресурсами проекта нельзя, а формальное понимание приводит к дыре в правилах).
PereslavlFoto
В данном случае контент полностью допустим правилами, потому что является realistically useful for an educational purpose.
Более того, Викисклад создан именно для такого хранения: The aim of Wikimedia Commons is to provide a media file repository: that makes available public domain and freely-licensed educational media content to all.
Именно поэтому на Викискладе хранятся обширные коллекции фотографий от иностранных музеев, информационных агентств и опытных фотографов. Эти коллекции не используются в какой-то википедии, а размещены там ради свободного использования другими юридическими лицами.
Lord_Ahriman
Читайте по своей же ссылке:
Must be realistically useful for an educational purpose
Wikimedia Commons only hosts content that is useful for educational purposes. This means content that could be used by Wikipedia, other Wikimedia projects, or other projects that provide knowledge, instruction or information. Files don't have to be in use on any other project to be hosted here, but they must have a reasonable potential use.
О чем я и говорю в другой ветке. Если это условное «индийское приложение» образовательное или околообразовательное, то такое использование позволительно (хотя с натяжкой, все-таки жрать 20% траффика — некрасиво). Если нет, то нет.
StjarnornasFred
На этот счёт в проектах Викимедиа (по крайней мере в РВП точно, но и в остальных тоже) есть правило примерно следующего смысла: "Пользователи не должны беспокоиться о производительности серверов или о том, что на них закончится место. Всем хватит." Так что ничего некрасивого. Сколько нужно, столько и можно. Проект бесплатный и общедоступный. Если соблюдаешь лицензию, то и пользуйся на здоровье в полном объёме. Ну а хотлинкинг с Викисклада не только не запрещается, но даже приветствуется.
Lord_Ahriman
Это очень вольная трактовка. Если я (ненамеренно) воткну хотлинк на какую-нибудь пикчу в очень популярное приложение или на сайт и устрою проекту (ненамеренно) полноценный DDoS, это тоже будет «все в порядке, улыбаемся и машем»?
Правила правилами, а здравый смысл и элементарный сетевой этикет пока никто не отменял. Если даже нет формального ограничения по объемам траффика даже с соблюдением лицензии, это не значит, что каждый может выжирать огромные его количества у проекта. Правилом про образовательное использование контента тыкать не буду, и так его дважды минимум приводил.
Ну и да, индусов Викимедиа забанил: we have decided to ban those specific requests until the issue is resolved
StjarnornasFred
Ну то, что от такого использования картинки возможен перегруз серверов — это не то чтобы очевидно, если человек не специалист в вопросах взаимодействия с серверами. Это во-первых. Во-вторых, пошатнуть сервера Фонда Викимедиа — это задача, которая как минимум в первом приближении выглядит невероятной.
Lord_Ahriman
Тем не менее, Wikimedia скорее разделяет мою точку зрения, а не вашу, т.к. приложение было заблокировано
grumbler66rus
Дражайший! «Пошатуть» серверы относительно несложно - прочитайте вики-статью DoS-атака
Chamie
Речь не об удалении картинки, а о смене адреса оригинала (например, через обновление версии). В статьях Википедии она при этом останется, а адреса обновятся автоматически, если я правильно помню.
track13
Не совсем автоматически, но у админов commons наверняка есть бот на такой случай.
grumbler66rus
Проще переименовать картинку и исправить ссылки. Их там всего 50, из которых две — в обсуждениях инцидента
Areso
Сделать копию файла, добавить new в имя.
Оригинальный файл пожать в 10 раз.
Профит:
уменьшаем нагрузку с 20% до 2%, большинство людей вряд ли обратит внимание, что цветочек стал пожухлым на заставке. А даже если обратит — ничего же не сломалось, верно?
Win08
Там 148 кБ, на данный момент… да, вполне можно пожать в 10 раз, даже в 20, а потом уже искать.
Maccimo
Повезло.
Как-то раз забрёл на сайт индийского ВУЗа и там в качестве нескучных обоев использовалась многомегапиксельная фотография кампуса этого ВУЗа. 13-мегабайтный JPEG прямиком из фотоаппарата. Браузер всё это загружал и масштабировал из условных 3000x4000 пикселей в 300х400.
Win08
На самом деле это проблема, даже на Хабре бывает.
Интересно, сколько процентов мирового трафика, составляет совершенно бессмысленная передача графического и видео контента, который тянется с явно избыточным разрешением/качеством?
Am0ralist
Эх, вспоминается как винхп начинала тормозить, если какую-нибудь многопиксельную фотку на фон поставить)
В следующих версиях мс это пофиксили тем, что стали пережимать файл под нужное разрешение и уже оный файл ставить на фон.
dwdraugr
Скорее проблема в том, что разрабы индийской аппки с нескучными обоями так же поменяют один символ и проблема вернётся.
Maccimo
Ох уж эти сказки про мифический «запад».
Вот на Hacker News в обсуждении этой новости пишут:
bogolt
Гораздо смешнее подменить изображение по этому адресу
BioHazzardt
на hello.jpg, во смеху-то будет)
Oxyd
На «См. рис. 1» ;-)
BioHazzardt
ахахах, ну как вариант) но хелложпг все же эпичнее)