Сейчас трудно представить Интернет без веб и гипертекста, которыми все мы пользуемся каждый день, но более 40 лет назад глобальная сеть была совсем другой и многое из того, чем мы сейчас пользуемся, тогда еще только зарождалось. Сегодня мы продолжим рассказывать о славных технологиях прошлого и вспомним сеть Usenet.

Мир диалапа

В конце 1970-х мейнфреймы были доминирующей формой вычислительной техники. До появления IBM PC оставалось еще несколько лет. То что, в те времена называлось микрокомпьютером (намного слабее по мощности и сильно больше по габаритам, чем Raspberry Pi) имело слишком мало возможностей для решения более или менее серьезных задач.

Для некоторых целей, особенно в исследовательских лабораториях и системах управления технологическими процессами, использовались так называемые мини-компьютеры – “небольшие”, размером всего с один или два полноразмерных холодильника. Стали появляться «супермини», обладавшие процессорной мощностью мейнфрейма, но не имевшие такой большой скорости ввода-вывода.

В этом мире больших компьютеров сети, в современном понимании еще не существовало. И речь здесь даже не об отсутствии гипертекста и медийного контента. Глобальная сеть ARPANET хотя и существовала, но чтобы попасть в нее, нужно было быть подрядчиком оборонного предприятия или университетом с исследовательским контрактом от DARPA.

Монополист, которого провели

Те читатели, которые застали модемы помнят, что их нужно было просто подключить к телефонной линии с помощью разъема RJ-12. Но в далекие 70-е все было не так просто.

У крупных компаний, например IBM были различные виды сетей, основанных на арендованных синхронных линиях связи. Но обычным пользователям были доступны только полудуплексные модемные соединения, работавшие со скоростью целых 300 бит/с.

Полнодуплексный диал-ап модем Bell 212A, позволявший получить большУю скорость до 1200 бит/с только появился, но он был редкостью, и его нужно было арендовать у телефонной компании AT&T.

Конечно можно было попробовать всех перехитрить, и купить модем самостоятельно, но и здесь коммуникационный гигант оказывался хитрее, обязывая для подключения к телефонной сети использовать арендованный адаптер, известный как DAA (data access arrangement). Так что сэкономить собственникам модемов получалось не особо.

Создатели UseNet предложили использовать акустические модемы для того, чтобы обойти ограничения, накладываемые телекоммуникационным гигантом.

Реализация идеи передачи данных в акустическом модеме по нынешним меркам выглядит довольно странно: телефонная трубка физически, с помощью резиновых прокладок подключалась к динамикам на модеме, по принципу динамик на трубке – микрофон в модеме и наоборот. В результате модем при подключении и передаче данных издавал звуковые сигналы, которые телефон передавал, по сути, как обычный голос. На противоположной стороне осуществлялось обратное преобразование.

Получалось, что с точки зрения телефонной компании мы выполняли обычный голосовой звонок, а не передачу данных по модему. Несмотря на то, что в США уже тогда существовала повременная оплата телефонных звонков, использование акустических модемов позволяло существенно сэкономить при передаче данных.

Впоследствии AT&T будет безуспешно судиться с авторами этой идеи удешевления передачи данных.

Именно в таком, не слишком свободной среде и суждено было появиться сети UseNet.

Как все начиналось

Проблема обмена информацией между двумя компьютерами с помощью модемов была актуальна уже в начале 70 годов. Связь с помощью телефонных линий, о которой мы говорили выше, позволяла компьютерам общаться друг с другом с помощью топологии “точка-точка”. Соответственно, необходимо было наладить передачу сообщений между двумя компьютерами посредством телефонных линий.

В далеком 1979 году аспиранты Университета Дьюка, штат Северная Каролина Том Трускотт и Джим Эллис задумали создать сеть для обмена сообщениями на различные темы.

Здесь снова придется сделать небольшое отступление и рассказать о том, что в те времена представлял собой обмен текстовыми сообщениями. В использовавшейся в то время в сети университета версии Unix использовалась технология рассылки сообщений пользователям при входе в систему. Постоянно отправлять такие сообщения было нежелательно; при скорости 300 бит/с - 30 символов в секунду - пятистрочное сообщение печаталось очень долго.

Да, именно печаталось посимвольно, а не выводилось на экран целиком (полагаю, в 90е даже пользователи BBS со слабыми каналами связи не застали такой прелести). При этом, в 70-е терминалы с печатной графикой были все еще очень и очень распространены.

Такой подход был не слишком удобен и авторам хотелось сделать обмен сообщениями и файлами более быстрым и удобным.

ARPANET для бедных

Трускотт и Элис выступили с идеей использовать протокол UUCP (Unix to Unix Copy) для обмена информацией между пользователями. Вместе с еще несколькими энтузиастами они написали необходимое программное обеспечение.

Как и сетью FidoNet, которая появится через несколько лет, слухи о появлении новой сети разошлись быстро, и в 1981-м году аспирант из Беркли Марк Хортон (Mark Horton) и старшеклассник местной школы Мэтт Гликман (Matt Glickman) выпустили новую версию, которая добавила новые возможности и позволила осуществлять пересылку больших объемов информации. Первая версия приложения для UseNet разрешала только передачу нескольких статей на группу новостей в день.

В 1986 году UseNet стал использовать NNTP (Network News Transfer Protocol). Этот протокол позволял использовать UseNet совместно с персональными компьютерами, что также способствовало популярности данной сети.

Если сначала в UseNet можно было передавать только неформатированный текст, то позже появилась возможность передачи двоичных файлов, что сделало данную сеть еще более привлекательной.

Эти сообщения, также известные как статьи или посты, отправлялись в тематические категории, которые стали называться новостными группами.

Как все это работает

Теперь давайте посмотрим, как работает сеть UseNet. Когда приложение для чтения новостей (может использоваться к примеру тот же Outlook) подключается к серверу новостей, она загружает все новые сообщения, опубликованные в подписанной группе новостей. Мы можем либо ответить на сообщение после прочтения, либо опубликовать свою статью на сервере новостей. Статья, отправленная на сервер, добавляется в файл, хранящийся для этой группы новостей. Затем сервер новостей делится статьей с другими серверами, которые к нему подключены.

Далее, каждый сервер сравнивает, есть ли на обоих серверах одна и та же группа новостей. Если да, то путем сравнения файлов проверяется, есть ли в файле новые статьи, если да, то они добавляются в файл.

После этого обновленный файл новостного сервера рассылается другим подключенным к нему новостным серверам. Этот процесс продолжается до тех пор, пока все новостные серверы не получат обновленную информацию.

Внимательный читатель наверняка заметил, что в представленной топологии отсутствует какая-либо иерархия между серверами (в отличии от структуры новостных групп, о которых мы будем говорить далее). То есть, выход из строя одного из новостных серверов не приведет к тому, что все нижестоящие в иерархии узлы не получат новые сообщения, потому что здесь отсутствует само понятие иерархии.

Алгоритм взаимодействия с серверами UseNet достаточно прост. Для того, чтобы получить новые статьи, пользователю необходимо было подключиться к серверу новостей с помощью клиента для чтения новостей. Программа отобразит список групп новостей, доступных на сервере, где пользователь может подписаться на любую из них. После подписки программа автоматически загрузит статьи из группы новостей.

После прочтения статьи пользователь может либо опубликовать ответ в группе новостей, либо ответить отправителю по электронной почте.

Для того чтобы отправить новую статью в группу новостей, пользователю сначала нужно составить статью и указать названия групп, в которые он хочет ее отправить. Статья может быть отправлена в одну или несколько групп новостей одновременно при условии, что все группы находятся на одном сервере новостей.

Большая восьмерка

В Usenet cуществует множество групп новостей, распределенных по всему миру. Они идентифицируются с помощью иерархической системы именования, в которой каждой группе новостей присваивается уникальное имя, состоящее из буквенных строк, разделенных точками.

Самая левая часть названия представляет собой категорию верхнего уровня группы новостей, за которой следует подтема. Подтема может быть в свою очередь разделена на подтемы и еще более разделена (если это необходимо).

Например, группа новостей comp.lang.java содержит обсуждение языка Java. Самая левая часть comp классифицирует группу новостей как ту, в которой обсуждаются темы, связанные с компьютерами. Вторая часть идентифицирует одну из подтем lang, связанную с компьютерными языками. Третья часть идентифицирует один из компьютерных языков, в данном случае Java.

Ниже представлена так называемая “Большая восьмерка” – основные иерархии конференций:

comp.* — обсуждение тем, связанных с компьютерами (comp.databases, comp.lang.java).

misc.* — разнообразные темы (misc.education, misc.forsale, misc.kids).

news.* — новости Юзнета (news.groups, news.admin).

rec.* — развлечения и отдых (rec.music, rec.arts.movies).

sci.* — научные дискуссии (sci.psychology, sci.research).

soc.* — социальные темы (soc.college.org, soc.culture.african).

talk.* — разговоры, в том числе на «горячие» темы (talk.religion, talk.politics).

humanities.* — искусство, литература, философия (humanities.classics, humanities.design.misc).

Естественно, “большая восьмерка” является лишь малой частью тех групп, которые существуют в UseNet.

Рассказ о сети UseNet был бы неполным без упоминания о том, что многие из тех слов, которые мы сейчас активно используем при сетевом общении пришли к нам именно из этой сети.

Такое понятие, как имя пользователя – никнейм появилось именно в UseNet. Идея модерации конференций и банов за нарушения, впоследствии получившая свое развитие в сети FidoNet, равно как и троллинг, флуд и флейм зародились именно здесь.

Также, сообщения о некоторых важных событиях в истории ИТ были первыми опубликованы именно в конференциях UseNet. Так, 6 августа 1991 года программист Тим Бернерс-Ли объявил в группе alt.hypertext сети Usenet идею создания Всемирной паутины (WWW).

А вскоре после этого, 25 августа 1991 года в конференции comp.os.minix появилось сообщение Линуса Торвальдса о том, что он создал бесплатную операционную систему для 386 и 486-совместимых ПК.

Usenet сегодня

Пик популярности сети UseNet пришелся на последнее десятилетие прошлого века. Затем Интернет с его гипертекстом и вебом стал перетягивать на себя аудиторию этой сети. В 2000е крупные провайдеры, ранее предоставлявшие хостинг для серверов UseNet, объявили об их закрытии.

Однако, сказать что UseNet мертв не получится. В современном интернете слишком мало приватности и многие пользователи желая скрыться от “всевидящего ока” используя VPN подключаются к еще работающим серверам сети UseNet, которая, несмотря на не слишком современный вид, позволяет обойти ограничения цензуры и получить доступ к различному контенту. При этом, в UseNet хранятся архивы новостей практически за все годы существования сети. Так Newshosting, ведущий провайдер Usenet, предлагает доступ к более чем 6 000 дней истории обсуждений. Такое долгосрочное архивирование делает Usenet через Newshosting одним из самых полных хранилищ совместного общения в Интернете.

Также стоит отметить, что в UseNet нет механизмов таргетированной рекламы, следящей за посещаемыми вами ресурсами и поисковыми запросами. Отсутствие цензуры также позволяет свободнее работать с информацией.

Usenet остается лучшим выбором для пользователей, стремящихся к скорости, конфиденциальности и долгосрочному доступу к дискуссиям.

Подводя итог сегодняшней статье хотелось бы сказать, что Usenet не умер, он просто изменился, и для многих пользователей глобальной сети, это как-раз то, что нужно.