Привет всем!
Недавно в соседнем блоге на хабре писали про Amnezia VPN, self-hosted решение, устойчивое к блокировкам. Это проект был изначально разработан на хакатоне Demhack, который объединяет проекты в области приватности и свободы интернета. Потом он прошёл акселерацию в Privacy Accelerator.
А здесь мы расскажем ещё об одном решении, созданном на хакатоне и теперь успешно работающем на благо людей. Итак, это был Demhack 4, проходивший весной 2022 года. Обстановка и для организаторов, и для участников была крайне стрессовая. Новая реальность ставила новые проблемы, и ответы на вызовы нового времени витали в воздухе.
Одним из самых актуальных стало преодоление блокировок сайтов СМИ. Так появился проект GetSiteCopy. Вот как команда мотивировала свою разработку:
«Это не альтернатива VPN. Наш бот скорее для тех, кто не может установить VPN в принципе, — объясняют разработчик о своём проекте. — Допустим, вы прочитали статью на заблокированном сайте и хотите поделиться ей с мамой или бабушкой, которые не настроят VPN никогда. Наш бот в этом поможет».
Изначально бот работал следующим образом: пользователь отдавал боту ссылку с ресурса с ограниченным доступом, бот подтягивал информацию и выдавал её по новой ссылке, которую можно было переслать кому угодно. Таким образом, решение сделало возможным делиться статьями с заблокированных в России сайтов с теми, у кого нет VPN.
За время хакатона команда создала MVP (Telegram-бот и сервис создания скриншотов), а также частично реализовала сервис копирования HTML/CSS и Proxy-сервер. В итоге GetSiteCopy стал одним из победителей хакатона!
После хакатона проект был приглашён в Privacy Accelerator, где его пересобрали, прокачали и проапгрейдили. С проектом работали как технические специалисты, так и продакты, которые помогали выбрать направление развития и целевую аудиторию решения. Так, вместо обычных пользователей, которые пытались в частном порядке расшаривать статьи заблокированных СМИ для своих родственников, бот стали использовать сами редакции заблоченных медиа, предлагая “неубиваемую” ссылку для просмотра без VPN непосредственно на своих ресурсах.
GetSiteCopy претерпел некоторые изменения. Были сделаны обновления и адаптации под различные СМИ и их веб-ресурсы. Изначально планировалось хранить скопированные страницы в виде статики, но от этой идеи пришлось отказаться из-за технических проблем с отображением контента (аудио/видео/фото и прочего) - а для многих медиа важно сохранить весь контент, который представлен на странице с публикацией.
В конечном итоге после всех обновлений алгоритм работы бота получился таким: для каждого медиа и его контента создавалась “скопированная страница”. Эти “скопированные страницы” хранились на ресурсах Google APIs, что позволяло им оставаться нетронутыми и незаблокированными, практически “неубиваемыми”. Все фото, баннеры и прочие важные элементы страниц сохранялись в своем первоначальном виде и никуда не пропадали.
Бот GetSiteCopy начали использовать заблокированные СМИ, распространяющие независимую информацию - от нишевых и региональных до крупных международных изданий. Копии материалов, сгенерированные Get Site Copy в Google СІоuԁ, медиа могут распространять через свои Telegram-каналы, чтобы их могли прочитать люди, не использующие VPN.
Роскомсвобода* и Privacy Accelerator поддерживали проект GetSiteCopy, помогали в его развитии и внедрении с июня 2022 года. В июле 2023 года его приняла под свою ответственность команда другого большого международного проекта.
Сам проект GetSiteCopy не является единственным проектом в области копирования/зеркалирования веб-страниц. Так есть решение AnyNews Deployment Proxy от Guardian Project . Помимо него на просторах интернета можно найти другие инструменты, которые создают копию/зеркало сайта/страницы на базе WordPress, а также браузерные плагины с функционалом копирования.
Мы очень воодушевлены успехом проекта GetSiteCopy, верим в его будущие перспективы, рады что сделали свой вклад в развитие инструмента для свободного доступа к информации!
А буквально несколько дней назад уже прошёл хакатон Demhack-7, который открыл ещё больше крутых команд с очень хорошими решениями! И скоро мы будем готовы рассказать о новых резидентах Privacy Accelerator! :)
* - признана иноагентом в РФ (Роскомсвобода не согласна с этим и будет оспаривать данное решение в судах)
Комментарии (35)
init0
09.10.2023 14:37Допустим, вы прочитали статью на заблокированном сайте и хотите поделиться ей с мамой или бабушкой, которые не настроят VPN никогда. Наш бот в этом поможет
Притянуто за уши, конечно. Сотни готовых коммерческих и даже бесплатных решений установки vpn клиента в один клик.
XOR2048 Автор
09.10.2023 14:37+6Решений много, это правда, но много ли из них стабильны?
Большинство бесплатных VPN-сервисов работает на OpenVPN/IKEv2/WireGuard, которые запросто блокируются, платные, кстати, тоже в основном используют эти протоколы. И вот перед юзером уже стоит задача найти сервис, который а) примет его РФ карту (если мы говорим про платные) или не будет торговать его данными; б) будет иметь в приложении (чаще всего мобильном) протокол с обфускацией (что даже в текущих реалиях не очень часто встречается).
А про "поднять свой VPN в один клик" скажу так - не все готовы решать проблемы или искать ответы на вопросы, если они появляются в процессе настройки/установки, хотя сама суть "своего VPN в один клик хорошая", об одном из таких сервисов написано в самом начале статьи.
iamoblomov
09.10.2023 14:37+1ну я решаю эту проблему так, у меня на домашнем микротике с белым айпи и полугигабитным каналом стоит впн сервер л2тп и вг, и несколько впн каналов забугор.
На этом микротике заведены впн логины на куча мобил родственников, чтобы они с их подключались и смотрели запрещенную на территории инсту и прочее такое.
Задача решается посредством правил маршрутизации, все хочу прикрутить полный список ркн и наоборот зарубежных блоков, но пока адрес листы вручную
MAXH0
09.10.2023 14:37+2Одно другому не мешает... Вот этого бота можно использовать, чтобы отправить клиенту ссылку на сайт, где объясняют, как настроить VPN... Потому что нам уже объяснили, что настройка VPN будет блокироваться.
init0
09.10.2023 14:37-1У всех популярных и работающих в России VPN сервисов есть телеграм боты с конфигами/настройками. Так что я не вижу смысла в конкретно этом боте, который пытается стать браузером. По мне так лучше иметь бота, выдающего список эффективных и работоспособных впн сервисов для России чем анально себя ограничивать серфингом через тг бота. Но то, что он есть это конечно благо, может кому-то и зайдет.
MAXH0
09.10.2023 14:37Если выполняется заявленный функционал, то применений можно найти массу, а не только демонстрировать коров завернутых в шторы на красной дорожке.
Вопрос в том, что останется от функционала после того, как функционал доработает "команда другого большого международного проекта"...
XOR2048 Автор
09.10.2023 14:37Бот не пытается быть браузером.
Его основная задача, это быстро и бесплатно скопировать переданную ему страницу, сохранив картинки, баннеры и прочий контент. Причем скопировать так, чтобы это было очень трудно заблокировать, ну и чтобы эту скопированную страницу можно было передать знакомым людям, которые не могут/не хотят использовать/настраивать VPN.init0
09.10.2023 14:37Бот не пытается быть браузером.
Его основная задача, это быстро и бесплатно скопировать переданную ему страницу, сохранив картинки, баннеры и прочий контент.
¯\_(ツ)_/¯
iamoblomov
09.10.2023 14:37-1Как правило в ТГ достаточно НАТИВНЫХ источников информации, без необходимости обращаться к пещерным традиционным сми, независимо от того где и кем они заблокированы)
MAXH0
09.10.2023 14:37На самом деле НЕТ! В ТГ полно вторичных ресурсов активно парсящих нативные источники информации. Те не менее качество контента TГ ниже, чем качество традиционных (как вы сформулировали - "пещерных") СМИ.
iamoblomov
09.10.2023 14:37по интересующим меня темам, в пещерных сми я как правило вижу увиденное в ТГ двух-трехдневной давности. Впрочем есть разумеется и обратное, копипастить проще чем копирайтить, а контент нужен всем. Но вообще впечатление от центральных СМИ, что наших, что ихних - пропаганда для слабоумных, либо для старичья. Все очень упрощенно и однобоко
MAXH0
09.10.2023 14:37В принципе вы правы... В большинстве очень узких тем, например, криптовалютах, темы официальных СМИ отстают не просто на 2-3 дня, а на сезоны. НО у официальных СМИ есть очень хорошие аналитики и журналисты, с которыми не сравниться большинству независимых блогеров...
iamoblomov
09.10.2023 14:37+1про крипто в пещерных новостях максимум что могут сказать что это развод, граждане покупайте нашу самую надежную национальную валюту и несите ее в местный сбербанк)
в узких вопросах эти аналитики демонстрируют либо бездну некомпетентности, либо проплаченность и ангажированность, да можно зная в какую сторону они ангажированы, и заслушав все стороны, сделать какие то выводы, но зачем если можно почитать блогера с 10-20к подписчиков в телеге, в большинстве случаев переползших туда из ЖЖ
Уникальность ТГ в том что на платформе по сути нет цензуры, а если у тебя меньше полуляма подписоты, то ты и трехбуквенным конторам неинтересен. А в "традиционных" СМИ, даже в самой свободной из свободных стран надо придерживаться линии партии, а то...
fairynata
09.10.2023 14:37+1Но в тг невозможно опубликовать ни крупные расследования, ни лонгриды. Для этого как раз нужны традиционные СМИ. Как правило на статьи с развёрнутой информацией потом и будут ссылаться блогеры
iamoblomov
09.10.2023 14:37Почему это, а телеграф и ему подобные сервисы как же? Пока ограничение ТГ это длинные видео
fairynata
09.10.2023 14:37ну, окей, телеграф )) но всё-таки пока баланс таков, что большие экспертные материалы или расследования скорее делают традиционные СМИ (так как у них больше ресурсов и скиллов для этого), а вот в новостях, да, уже оперативнее и качественнее тг-каналы
iamoblomov
09.10.2023 14:37+1в традиционном сми это всегда будет кем то проплаченное большое исследование, и строго в духе скреп или повесточки. А в телеге можно почитать экспертные мнения не ограниченные цензурою ПЛАТФОРМЫ (вспомним фб и твиттер да) (в рф мнение телеграм экспертов обычно ограничивают с помощью ареста и дубинкой по почкам, как в свободном мире я не в курсе, но общий тренд что канал с 10к подписчиков - никому не интересен)
В телеграмме есть авторы переводящие на русский аналитические доклады разных западных синк центров, с комментариями, где в традиционных медиа я могу увидеть такое?
Также, как пример, сорри что политота, если взять "разборы рыбаря", то уровень пещерных сми с их крайне упрощенным представлением рассчитанных на не слишком умных людей, давно превзойден.
Предлагаю кейс, давайте сравним новости про флиппер зеро из канала собственно создателя флиппера, и из пещерных новостей, а уж какие там журналисты акценты на этот флиппер делают, в духе девайс террориста...
fairynata
09.10.2023 14:37Интересно даже что это за статьи. Я не встречала вообще ничего про флиппер в сми, кроме как большой хороший обзор в "Хакере".
Ну, а то, что инфа из канала Павла Жовнера, как создателя Флиппера, будет максимально оперативна и из первых рук - так это логично. Как и из любого другого первоисточника. Далее уже вопрос к доверию к первоисточнику )) Так то и мавроди в своём блоге очень хорошие новости преподносил, а в традиционных сми его не очень то жаловали )iamoblomov
09.10.2023 14:37ну еще бы они в своих свободных сми свободных стран писали как они несчастные флипперы контейнерами арестовывают и хотят раздавить бульдозером...
зато какой это опасный девайс написать не забыли
Kristaller486
09.10.2023 14:37+3А код проекта открыт? Не сочтите за паранойу, но по-моему, для такого рода решений это критичный момент.
XOR2048 Автор
09.10.2023 14:37+1Проект был передан, о чем мы написали тут:
В июле 2023 года его приняла под свою ответственность команда другого большого международного проекта.
И пока, насколько нам известно, они публично не анонсировали, что открыли код для всех, так как дорабатывают и улучшают проект.
MAXH0
09.10.2023 14:37Вот это Вы, имхо, зря. Если бы Вы сначала выложили под открытой лицензией, а потом передали, то хотя бы можно было бы сделать форк, когда проект свернет не туда... Надеюсь Вам хотя бы денег достойно отвесили за передачу.
И интересно узнать что за "команда другого большого международного проекта" взяла шефство.
fairynata
09.10.2023 14:37+1Честно говоря, команда проекта просто не успела провести работы по раскрытию кода, а теперь вот он у других ребят. Может как раз они это и реализуют.
init0
09.10.2023 14:37А бот вообще работает?
DW
svoboda.org
Настоящее Время
BBC
Может еще через пару часов ответит таки?
XOR2048 Автор
09.10.2023 14:37Как было написано в статье - бот был передан другому международному проекту.
Что с ним сейчас происходит нам неизвестно, скорее всего он находится на стадии
доработки и/или обновления и корректно не функционирует.MAXH0
09.10.2023 14:37+1бот был передан другому международному проекту.
И кто эти анонимные доброжелатели? Или в контракте был пункт о неразглашении?
Кстати, передан был на возмездной или безвозмездной основе и какие права сохранились у авторов идеи бота?XOR2048 Автор
09.10.2023 14:37Авторы бота передали права на идею и технологию безвозмездно. У проекта, который им теперь занимается, есть ресурсы его дальше развивать, а у авторов проекта - нет.
Как только новая команда будет готова сделать публичное заявление, она его сделает.
MAXH0
09.10.2023 14:37Спасибо... Все же итоговая лицензия интересна. Хотя важна идея (которая как известно ничего не стоит;)...
init0
09.10.2023 14:37Это прекрасно, то есть вся статья по сути "ниочем", ни кода, ни самого бота чтоб можно было воспользоваться/проверить его работоспособность. Бота как выясняется кому-то продали и не раскрывается кому, что очень подозрительно.
MAXH0
09.10.2023 14:37Статья про то, что на хакатоне 2022 написали бот. При помощи Роскомсвобода* и Privacy Accelerator развивали и предали другой команде... Описан функционал и идея реализации.
Опасения вызывает то, что несмотря на многократные упоминания свободы в статье код не был изначально свободен. Что намекает на одностороннее и ограниченное понимание свободы участниками. И это уже говорит о МНОГОМ.
Риторика XOR2048 тоже позволяет сделать некие выводы. Например, меня задела фраза: "Авторы бота передали права на идею..." В законодательстве закреплено, что объектом охраны может быть только то, что выражено в объективной форме. Авторство идеи передать НЕЛЬЗЯ. Это еще один кирпичик в понимание...
Так что статья полезная и очень даже "о чем".
sse
Подскажите, а с его помощью можно будет читать и делиться статьями заблокированного Russia Today на территории Евросоюза?
genew
С такими желаниями лучше обращаться к соответствующим специалистам
ZhilkinSerg
Вот это шутейка
MAXH0
Судя по описанию функционала, то почему бы и нет... Бот ПРОСТО скачивает во временное хранилище и отдает ссылку. Вот ЕСЛИ авторы бота озадачились тем, чтобы RT (или любой другой ресурс - например палестинцы или антиваксеры) как-то дискриминировался, то это не свобода, а пропаганда... И тогда многие акценты в статье стоит расставить по другому.
Свобода это обоюдоострое оружие. И нельзя быть по настоящему свободным если свободой нельзя воспользоваться против тебя и твоей свободы.
fairynata
В последней версии бот нельзя было использовать конечному пользователю, чтобы, например, самостоятельно сгенерить и посылать ссылку на заблокированную статью - хотя изначально именно так и задумывалось, но технически это не смогли нормально реализовать. В последней версии бот могли использовать для предварительно генерации "неубиваемых" ссылок только СМИ, которые просили об этом и для которых был настроен доступ. RT не обращалась с таким предложением к команде проекта. В принципе ничто не мешает им разработать такой бот и делать такие ссылки - идея не нова и не под копирайтом.