Usenet: История, Принцип Работы и Современное Состояние

Введение

Хранилище в Usenet

Новостная группа Usenet – это хранилище, обычно внутри системы Usenet, для сообщений, публикуемых пользователями из разных мест через Интернет. Это дискуссионные группы, не предназначенные для публикации новостей. Новостные группы технически отличаются от, но функционально схожи с дискуссионными форумами Всемирной паутины. Для чтения содержимого новостных групп используется программное обеспечение – новостной клиент. До распространения Всемирной паутины новостные группы Usenet были одними из самых популярных интернет-сервисов. Коммуникация осуществляется посредством протокола передачи новостей сети (NNTP), который обеспечивает подключение к серверам Usenet и передачу данных через Интернет. Подобно другому раннему (но всё ещё используемому) протоколу SMTP, применяемому для электронных сообщений, NNTP поддерживает как сервер-серверное, так и клиент-серверное взаимодействие. Это позволяет реплицировать новостные группы с сервера на сервер, обеспечивая сети Usenet высокий уровень надёжного хранения данных благодаря встроенной избыточности. Однако большинство пользователей получают доступ, используя только клиент-серверные команды NNTP и в подавляющем большинстве случаев предпочитают графический интерфейс для просмотра, а не клиент-серверную коммуникацию через командную строку, предусмотренную протоколом NNTP.

Типы

Новостные группы обычно бывают двух типов: бинарные или текстовые. Технических различий между ними нет, но такое разделение по названиям позволяет пользователям и серверам с ограниченными возможностями минимизировать использование пропускной способности сети. Как правило, соглашения и правила Usenet вводятся прежде всего для минимизации общего объема сетевого трафика и использования ресурсов. Обычно новостная группа посвящена определенной теме, представляющей интерес. Сообщение, отправленное для публикации в новостной группе, называется "постом". Некоторые новостные группы допускают посты на самые разные темы, позволяя участникам обсуждать все, что они считают уместным, в то время как другие более строго придерживаются своей тематики и неодобрительно относятся к постам не по теме. Администратор новостей (администратор новостного сервера) определяет, как долго посты хранятся на его сервере, прежде чем будут удалены (истечет срок хранения), что называется retention. Разные серверы могут иметь разный срок хранения для одной и той же новостной группы: некоторые хранят посты всего одну-две недели, другие – много лет. В ранние годы, когда сообщество состояло из пионеров компьютерной индустрии, обычной практикой было указывать в конце поста, имеет ли автор (или не имеет) личный интерес (финансовый, политический или иной) к его публикации. Сейчас это встречается реже, и посты следует читать с большей осторожностью, как и другие медиаматериалы. Вопросы конфиденциальности и фишинга также приобрели большую актуальность. Авторы и операторы новостных групп Usenet обычно не получают дохода от своей деятельности на платформе. Количество новостных групп выросло с более чем 100 в 1983 году до более чем 110 000, но активными остаются лишь около 20 000 из них. Популярность новостных групп варьируется: некоторые получают менее десятка постов в год, в то время как самые популярные могут получать несколько тысяч постов менее чем за час.

Бинарный

Хотя группы новостей не создавались для распространения файлов, таких как изображения, звук и видео, они оказались весьма эффективными для этого. По состоянию на 2022 год некоторые из них остаются популярными как альтернатива BitTorrent для обмена и загрузки файлов. Поскольку группы новостей широко распределены, файл, загруженный однажды, распространяется на множество других серверов и затем может быть загружен неограниченным числом пользователей. Более выгодно, что пользователи загружают файлы с локального новостного сервера, а не с более удалённой машины с, возможно, ограниченной пропускной способностью, как это часто бывает в одноранговых сетях. Фактически, это ещё одно преимущество групп новостей: обычно от пользователей не ожидают повторной загрузки. Если бы каждый пользователь загружал файлы, серверы были бы перегружены; поэтому пользователям разрешается и даже рекомендуется просто скачивать (быть "личерами"). Изначально существовали определённые препятствия для передачи бинарных файлов через Usenet. Usenet изначально разрабатывался для передачи текста, поэтому кодирование сообщений приводило к потере бинарных данных, если они не входили в набор символов протокола. Следовательно, в течение долгого времени отправка бинарных данных как таковых была невозможна. В качестве обходных решений были разработаны кодеки, такие как Uuencode, а затем Base64 и yEnc, которые кодировали бинарные данные из передаваемых файлов (например, звуковых или видеофайлов) в текстовые символы, способные выдержать передачу через Usenet. На стороне получателя данные необходимо было декодировать с помощью новостного клиента пользователя. Кроме того, существовало ограничение на размер отдельных сообщений, из-за чего большие файлы нельзя было отправлять одним сообщением. Чтобы обойти это ограничение, были разработаны программы для чтения новостей, способные разбивать большие файлы на несколько сообщений. Интеллектуальные программы для чтения новостей на другой стороне могли автоматически объединять такие разбитые файлы в единые файлы, позволяя пользователю легко извлекать файл. Благодаря этим улучшениям Usenet используется для отправки и получения многих терабайт файлов ежедневно. Существует две основные проблемы, затрудняющие передачу больших файлов через группы новостей: процент завершения и процент хранения. Бизнес премиальных новостных серверов строится в основном на их способности предлагать превосходный процент завершения и хранения, а также очень быстрое соединение для пользователей. Процент завершения особенно важен, когда пользователи хотят загрузить большие файлы, разбитые на части; если хотя бы одна часть отсутствует, невозможно успешно загрузить и собрать желаемый файл. Для решения этой проблемы обычно используется схема резервирования, известная как Parchive (PAR). Многие крупные новостные серверы имеют срок хранения более семи лет. Существуют веб-сайты, которые ведут индекс файлов, размещённых в бинарных группах новостей. Отчасти благодаря такому длительному сроку хранения, а также растущей скорости загрузки и скачивания, Usenet также используется отдельными лицами для хранения резервных копий данных в практике, называемой Usenet backup или uBackup. В то время как коммерческие провайдеры предлагают более удобные онлайн-сервисы резервного копирования, хранение данных в Usenet бесплатно (хотя доступ к самому Usenet может быть платным). Пользователь должен вручную выбирать, подготавливать и загружать данные. Поскольку любой может загрузить резервные файлы, данные обычно шифруются. После загрузки файлов загрузчик теряет над ними контроль; они автоматически распространяются среди всех провайдеров Usenet, подписанных на группу новостей, в которую они были загружены, поэтому их копии распространяются по всему миру.

While newsgroups were not created with the intention of distributing files such as pictures, sound and video, they have proven to be quite effective for this. As of 2022, some remain popular as an alternative to BitTorrent to share and download files. Because newsgroups are widely distributed, a file uploaded once will be spread to many other servers and can then be downloaded by an unlimited number of users. More useful is that users download from a local news server, rather than from a more distant machine with perhaps limited connectivity, as may be the case with peer to peer technology. In fact, this is another benefit of newsgroups: it is usually not expected that users share. If every user makes uploads then the servers would be flooded; thus it is acceptable and often encouraged for users to just leech. There were originally a number of obstacles to the transfer of binary files over Usenet. Usenet was originally designed with the transmission of text in mind, and so the encoding of posts caused losses in binary data where the data was not part of the protocol's character set. Consequently, for a long while, it was impossible to send binary data as such. As workarounds, codecs such as Uuencode and later Base64 and yEnc were developed which encoded the binary data from the files to be transmitted (e. g. sound or video files) to text characters which would survive transmission over Usenet. At the receiver's end, the data needed to be decoded by the user's news client. Additionally, there was a limit on the size of individual posts so that large files could not be sent as single posts. To get around this, Newsreaders were developed which were able to split long files into several posts. Intelligent newsreaders at the other end could then automatically group such split files into single files, allowing the user to easily retrieve the file. These advances have meant that Usenet is used to send and receive many terabytes of files per day. There are two main issues that pose problems for transmitting large files over newsgroups. The first is completion rates and the other is retention rates. The business of premium news servers is generated primarily on their ability to offer superior completion and retention rates, as well as their ability to offer very fast connections to users. Completion rates are significant when users wish to download large files that are split into pieces; if any one piece is missing, it is impossible to successfully download and reassemble the desired file. To work around the problem, a redundancy scheme known as Parchive (PAR) is commonly used. Many major news servers have a retention time of more than seven years. A number of websites exist to keep an index of files posted to binary newsgroups. Partly because of such long retention times, as well as growing uploading and downloading speeds, Usenet is also used by individuals to store backup data in a practice called Usenet backup, or uBackup. While commercial providers offer easier to use online backup services, storing data on Usenet is free of charge (although access to Usenet itself may not be). A user must manually select, prepare and upload the data. Because anyone can download the backup files, the data is typically encrypted. After the files are uploaded, the uploader has no control over them; they are automatically distributed to all Usenet providers that subscribe to the newsgroup they are uploaded to, so there will be copies of them spread all around the world.

Модераторские группы новостей

Большинство новостных групп не модерируются. Модерируемая новостная группа имеет одного или нескольких модераторов, которые должны утверждать сообщения перед их публикацией. Для отправки сообщений используется отдельный адрес, а модераторы затем распространяют одобренные ими сообщения. Первые модерируемые новостные группы появились в 1984 году под префиксом mod. * согласно RFC 2235, "Хронология Интернета Хоббса".

Распространение

Для передачи данных внутри сети и на границах сети используется протокол передачи новостей сети (NNTP) (интернет-стандарт RFC 3977 от 2006 года, обновляющий RFC 977 от 1986 года). Серверы новостных групп размещаются различными организациями и учреждениями. Большинство интернет-провайдеров поддерживают собственные новостные серверы или арендуют доступ к ним для своих подписчиков. Существуют также компании, продающие доступ к премиальным новостным серверам. Каждый хост новостного сервера поддерживает соглашения с другими соседними серверами для регулярной синхронизации. Таким образом, новостные серверы образуют резервную сеть. Когда пользователь публикует сообщение на одном новостном сервере, оно сохраняется локально. Затем этот сервер обменивается сообщениями с подключенными серверами для тех групп новостей, которые они оба поддерживают. Эти серверы поступают аналогичным образом, распространяя сообщения по сети. Для групп новостей, которые не широко распространены, иногда используется группа-передатчик для перекрестной публикации, чтобы облегчить распространение. Это обычно полезно только для удаленных или новых групп alt.*. Перекрестные публикации между иерархиями, за пределами "Большой восьмерки" и иерархий alt.*, часто приводят к сбоям.

Иерархии

Новостные группы часто организованы в иерархии, что теоретически упрощает поиск связанных групп. Термин «иерархия верхнего уровня» относится к иерархии, определяемой префиксом перед первой точкой. Наиболее известными иерархиями являются иерархии Usenet. Например, новостная группа rec.arts.sf.starwars.games будет находиться в иерархии rec.* верхнего уровня Usenet, где звездочка (*) определена как подстановочный знак. Первоначально существовало семь основных иерархий групп новостей Usenet, известных как «Большая семерка»:
comp.* — Обсуждение тем, связанных с компьютерами
news.* — Обсуждение самой Usenet
sci.* — Обсуждение научных тем
rec.* — Обсуждение развлекательных мероприятий (например, игр и хобби)
soc.* — Общение и обсуждение социальных вопросов
talk.* — Обсуждение спорных вопросов, таких как религия и политика
misc.* — Разные обсуждения — все, что не подходит для других иерархий.
Все они были созданы в ходе Великого переименования 1986–1987 годов, до которого все эти группы новостей находились в иерархии net.* В то время разгорелись большие споры о том, каким группам новостей разрешить существование. Среди тех, которые не разрешила «кабала» Usenet (фактически управлявшая «Большой семеркой» в то время), были группы, посвященные рецептам, употреблению наркотиков в рекреационных целях и сексу. Эта ситуация привела к созданию иерархии alt.* (сокращение от «alternative» — альтернативная) Usenet, в которой этим группам было разрешено существовать. Со временем, из-за более мягких правил создания групп новостей в alt.* по сравнению с «Большой семеркой», многие новые темы со временем могли набрать достаточную популярность, чтобы получить группу новостей «Большой семерки». В результате alt.* быстро росла, и эта тенденция сохраняется по сей день. Из-за анархистского характера появления этих групп некоторые шутливо называли ALT аббревиатурой «Anarchists, Lunatics and Terrorists» (анархисты, сумасшедшие и террористы) – обратная аббревиатура. В 1995 году была создана иерархия humanities.* для обсуждения гуманитарных наук (например, литературы, философии), и «Большая семерка» стала «Большой восьмеркой». В иерархии alt.* обсуждаются самые разные темы, а также существуют иерархии, посвященные обсуждению конкретного географического региона или на языке, отличном от английского. Прежде чем создать новую группу новостей «Большой восьмерки», необходимо разместить запрос на обсуждение (RFD – Request For Discussion) в группе news.announce.newgroups, который затем обсуждается в news.groups.proposals. После того, как предложение будет оформлено с указанием названия, описания и устава, Совет управления «Большой восьмерки» проголосует о создании группы. Если предложение будет одобрено Советом управления «Большой восьмеркой», группа будет создана. Группы удаляются аналогичным образом. Создание новой группы в иерархии alt.* не подчиняется тем же правилам; любой может создать группу новостей, и любой может ее удалить, но большинство администраторов новостей будут игнорировать эти запросы, если только локальный пользователь не запросит группу по имени.

Newsgroups are often arranged into hierarchies, theoretically making it simpler to find related groups. The term top level hierarchy refers to the hierarchy defined by the prefix before the first dot. The most commonly known hierarchies are the Usenet hierarchies. So for instance newsgroup rec. arts. sf. starwars. games would be in the rec. * top level Usenet hierarchy, where the asterisk (*) is defined as a wildcard character. There were seven original major hierarchies of Usenet newsgroups, known as the "Big 7":
comp. * — Discussion of computer related topics
news. * — Discussion of Usenet itself
sci. * — Discussion of scientific subjects
rec. * — Discussion of recreational activities (e. g. games and hobbies)
soc. * — Socialising and discussion of social issues. talk. * — Discussion of contentious issues such as religion and politics. misc. * — Miscellaneous discussion—anything which does not fit in the other hierarchies. These were all created in the Great Renaming of 1986–1987, before which all of these newsgroups were in the net. * hierarchy. At that time there was a great controversy over what newsgroups should be allowed. Among those that the Usenet cabal (who effectively ran the Big 7 at the time) did not allow were those concerning recipes, recreational drug use, and sex. This situation resulted in the creation of an alt. * (short for "alternative") Usenet hierarchy, under which these groups would be allowed. Over time, the laxness of rules on newsgroup creation in alt. * compared to the Big 7 meant that many new topics could, given time, gain enough popularity to get a Big 7 newsgroup. There was a rapid growth of alt. * as a result, and the trend continues to this day. Because of the anarchistic nature with which the groups sprang up, some jokingly referred to ALT standing for "Anarchists, Lunatics and Terrorists" (a backronym). In 1995, humanities. * was created for the discussion of the humanities (e. g. literature, philosophy), and the Big 7 became the Big 8. The alt. * hierarchy has discussion of all kinds of topics, and many hierarchies for discussion specific to a particular geographical area or in a language other than English. Before a new Big 8 newsgroup can be created, an RFD (Request For Discussion) must be posted into the newsgroup news. announce. newgroups, which is then discussed in news. groups. proposals. Once the proposal has been formalized with a name, description, charter, the Big 8 Management Board will vote on whether to create the group. If the proposal is approved by the Big 8 Management Board, the group is created. Groups are removed in a similar manner. Creating a new group in the alt. * hierarchy is not subject to the same rules; anybody can create a newsgroup, and anybody can remove it, but most news administrators will ignore these requests unless a local user requests the group by name.

Дальнейшие иерархии

Есть ряд иерархий новостных групп помимо Большой восьмерки (и alt. *), которые можно найти на многих новостных серверах. К ним относятся группы на языках, отличных от английского, группы, управляемые компаниями или организациями, посвященные их продуктам, географические/локальные иерархии и даже доски из неинтернет-сетей, маршрутизированные через NNTP. Примеры (в алфавитном порядке):
aus. * – Австралийские новостные группы
ba. * – Обсуждения в районе залива Сан-Франциско
ca. * – Обсуждения в Калифорнии
can. * – Канадские новостные группы
cn. * – Китайские новостные группы
chi. * – Обсуждения о районе Чикаго
de. * – Обсуждения на немецком языке
dictator. * – Обсуждения о плохом управлении в контексте книги «Руководство диктатора»
ec. * – Обсуждения об эквадорской культуре и обществе
england. * – Обсуждения (в основном) об Англии, см. также uk. *
fidonet. * – Обсуждения, перенаправленные из FidoNet
fr. * – Обсуждения на французском языке
fj. * – «Из Японии», обсуждения на японском языке
gnu. * – Обсуждения программного обеспечения GNU
hawaii. * – Обсуждения (в основном) о Гавайях
hk. * – Гонконгские новостные группы
hp. * – Внутренние новостные группы Hewlett Packard
it. * – Обсуждения на итальянском языке
microsoft. * – Обсуждения продуктов Microsoft
nl. * – Нидерландские новостные группы
no. * – Норвежские новостные группы
pl. * – Польские новостные группы
tw. * – Тайваньские новостные группы
uk. * – Обсуждения вопросов в Соединенном Королевстве
yale. * – Обсуждения (в основном) о Йельском университете

Кроме того, существует иерархия free. *, которую можно считать «более радикальной, чем alt.*». В этой иерархии много локальных подиерархий, обычно для конкретных стран или культур (например, free.it. * для Италии).