Как и полагается каждому порядочному айтишнику, каждый вечер, приходя домой, я открываю бутылочку холодного пенного и удобно располагаюсь на любимом диване, а на моём телевизоре загорается уже давно знакомая всем надпись «YouTubе». Сижу, листаю каналы и смотрю новости, жадно поглощая информацию от разных блогеров, слушая разные мнения на счёт тех или иных событий и при этом составляя своё о происходящем в мире…А иногда ко мне приходят друзья, и мы также залипаем на полвечера, смотря обзоры игр или их прохождение. Или же вот мелким по утрам спокойно включаю мультики и занимаюсь своими делами.

И вот однажды, за очередными дружескими посиделками, мы с парнями обратили внимание на то, что еще лет 5 тому назад, Ютуб был совсем другой. В нем не было ни политической, ни экономической подоплеки. Зато сейчас он претерпел массу изменений: больше политики, больше фэйкньюсов о происходящих событиях, больше разных крупных блогеров. А Санёк, который недавно прилетел из Польши, рассказал, что когда он там на местном вай‑фае подрубил Ютуб и ввел в поисковик «новости России» увидел совершенно удивительный контент. Видеоролики о российской агрессии, русофобские упоминания и крайне непонятный высказывания в отношении нашей страны. И еще, что интересно: весь Ютуб разделился буквально на 2 лагеря, одни «ЗА» другие «ПРОТИВ» — у всех контент какой то радикальный. Кстати, еще заблокировали канал с играми, который мы всегда с парнями смотрели, по причине «….» (да без причин и аргументации, хотя там ничего такого и не было).

На фоне всего происходящего, интересно бы было знать: а что будет, если из-за напряженной обстановки нашей страны с Западом нам и вовсе заблокируют Ютуб.

Возникла одна неприятная мысль: а что если в один прекрасный момент нельзя будет зайти на Ютубчик и найти мемный видос.

Идея: Может стоить сохранить весь русскоязычный Ютуб? Не как Рутуб (которым владеет Газпром Медиа, что #почтиполитика), а такой пацанский, простой… У Санька (любителя мифов, легенд и церковных сказаний, а также великого ML‑щика и путешественника) пришла гениальная идея для названия: «Ковчег. Цифровое наследие». Мол будем спасителями во вселенском потопе и сохраним, что нужно российскому зрителю.

План действий был максимально простой, что даже «поместился на салфетке»:

• Ретроспектива,

• Оценка объема данных русскоязычного контента и инвестиций,

• Оценка времени на создание сайта и парсеров,

• Реализация

Ретроспектива

• 4 марта Google приостанавливает рекламу в своих сервисах и в YouTube

• 10 марта YouTube приостанавливает монетизацию для российских блогеров

• 21 марта в России подают в суд на Ютуб. С требованием разблокировать каналы.

• 5 апреля Массовая миграция блогеров из России на Rutube, Яндекс-Дзен, ЯRUS и Yappy (последние 2 - новые российские соцсети, которые появились в 2021 - 2022 году)

• 15 апреля Совет по правам человека при президенте России допустил возможность блокировки хостинга для размещения видео YouTube. При этом отметил, что “Россия не сможет использовать эту площадку для распространения правды”.

• 18 апреля - 29 сентября Ряд блокировок крупных российских youtube-каналов и несколько заявлений о деятельности и значимости YouTube от политиков и бизнесменов.

• 17 сентября Российский Арбитражный суд арестовал счета и имущество ООО "Гугл". Сумма активов превысила 1 миллиард рублей.

• 2 ноября Несколько крупных государственных деятелей подали прошения в РКН и Прокуратуру с требованием закрыть сервис.

• 14 ноября - 14 января закрытие пула новостных, развлекательных и информационных каналов разработчиками YouTube.

• 18 января Очередное заявление Пригожина (уже, кстати, ни первое и даже не второе) о том, что YouTube пора закрыть.

62 млн. россиян хотя бы раз в месяц смотрели YouTube. Из них 44 миллиона — это делали на самой платформе, а остальные смотрели эти видео в ВК, Дзене, ЯRUS, поисковике Яндекс и др .

Основной контент создают TV-каналы, кинокомпании, музыкальные лейблы, спортивные организации и видеоблогеры.

Возраст российской аудитории YouTube: 12-17 лет - 10%, 18-24 года - 18%, 25-34 лет - 28%, 35-44 года - 20%, 44-54 года - 15% и 55-56 лет - 9%.

Мужчины потребляют видео-контента больше женщин и просматривают в основном видео про гаджеты, электронику, компьютерные игры, спорт, автомобили, новости, хобби и науку. Юноши от 18 до 24 лет смотрят видео чаще всего, в среднем 122 ролика или 254 минуты в месяц, почти половина использует для просмотра смартфон. (интересна статистика этих же когорт на порнохабе)

Сколько весит Ютуб?

Дальше надо было оценить, сколько весит русскоязычный контент в Ютубе и что нам нужно для того, чтобы его перекачать на наши сервера.

Вот тоже кусочек статы:

• Мы сграбили метаданные с ютуба и аппроксимировали результаты. Получили объем ютуба в 280 Петабайт. Хранение этих данных выйдет примерно в 500 миллионов в месяц.

• Решили вычленить только российский сегмент (то есть тот, который в Ютубе маркируется как RU). Это около 5,3%. Хранить такое будет стоить 26,5 миллионов в месяц. Стоит ли хранить весь этот контент? Возможно в перспективе.
  

• Решили в первую очередь спасать массовый, востребованный контент. Для этого посчитали только каналы от 10 тысяч подписчиков. Таких получилось всего 26413 штук. А видео на них чуть больше 13 миллионов. Чтобы хранить такой объем нам потребуется около 4 Петабайт. И прирост на 200 Терабайт в месяц. На этом и остановимся.

4. Сколько сейчас русских блогеров с большим кол-во подписчиков:
   Более 1 млн подписчиков у 1025 каналов, в совокупности у них 512500 видео

   Более 500 тысяч подписчиков у 1065 каналов, в совокупности у них 532500 видео

   Более 100 тысяч подписчиков у 5593 каналов, в совокупности у них 2796500 видео

   Более 50 тысяч подписчиков у 4210 каналов, в совокупности у них 2105000 видео

   Более 10 тысяч подписчиков у 14520 каналов, в совокупности у них 7260000 видео

Итого

Ресурсы

У нас было (два пакетика…):

• 15 толковых друзей-коллег-разработчиков

• безумное желание сделать что-нибудь полезное, чем мы сами будем пользоваться и принесем пользу обществу

• деньги ( у 10 из 15 был успешный бизнес связанный с IT, а у остальных неплохие ЗП, от которой можно оторвать кусочек). Они нужны были на покупку серверов, холодное пивко, рекламу и мотивацию). 10 000 рублей мы отдали дизайнеру за создание дизайна сайта Ковчега.

Процесс

За день мы получили дизайн. Еще за пару дней выявили топовых блогеров, которых стоит спарсить, чтоб ресурс ожил. В подборку добавили и с пару десятков своих любимых (кого явно быстро смогли вспомнить). Договорились с серверами и сели писать парсеры.
Вуаля, все готово! Запустили парсеры перекачивать весь русскоязычный ютуб на наши сервера. День, второй и наш ресурс постепенно наполняется годным контентом.

Финалочка

Не тяну кота за причинные места.
Еще раз название: Ковчег. Цифровое наследие
Ссылка на ресурс: https://youtube0.ru/
Наши мысли по поводу российского видео: https://youtube0.ru/manifest

Что у нас будет? Топ-контент из русскоязычного Ютуба!

Для чего? Да просто так, чтобы если нас отключат, мы не потеряли связь с реальностью, продолжали находить полезные обучалки, обзоры игр, титьки, блогеров, которых мы любили, мужики с обзорами на ремонт тачек, хэндмейд, хитрые схемы западных заговорщиков и мнения разных людей на русском языке.

В целом у меня всё!

Кому зашла идея - заходите юзайте и оставляйте ниже отзывы. Со временем будем допиливать.