Usenet жаңалық топтары: тарихы, қағидалары және қазіргі жағдайы

Кіріспе

Usenet жүйесіндегі репозиторий

Usenet жаңалық тобы – Интернет арқылы әр түрлі жерлердегі пайдаланушылардан жіберілген хабарламалар үшін, әдетте Usenet жүйесіндегі сақтау орны. Олар талқылау топтары болып табылады және жаңалықтарды жариялауға арналмайды. Жаңалық топтары техникалық тұрғыдан World Wide Web-тегі талқылау форумдарынан өзгеше, бірақ функционалдық жағынан оларға ұқсас. Жаңалық топтарының мазмұнын оқу үшін жаңалықтарды оқу бағдарламалық құралы қолданылады. World Wide Web пайдалануға енгенге дейін Usenet жаңалық топтары ең танымал Интернет қызметтерінің бірі болды. Байланыс, Usenet серверлеріне қосылуға және Интернет арқылы деректерді беруге мүмкіндік беретін Желілік жаңалықтарды беру протоколы (NNTP) арқылы жүзеге асырылады. Электрондық пошта хабарламалары үшін қолданылатын тағы бір ерте (бірақ әлі де қолданылып жүрген) SMTP протоколына ұқсас, NNTP сервер-сервер және клиент-сервер байланысын қамтамасыз етеді. Бұл жаңалық топтарын серверден серверге көшіруге мүмкіндік береді, нәтижесінде Usenet желісі деректердің қосымша көшірмелері арқасында деректердің беріктігі мен тұрақтылығын сақтай алады. Дегенмен, көптеген пайдаланушылар NNTP клиент-сервер командаларын ғана қолданады және NNTP протоколында белгіленген командалық жолға негізделген клиент-сервер байланысына қарағанда, көбінесе шолу үшін графикалық интерфейсті пайдаланады.

Түрлері

Жаңалық топтары әдетте екі түрге бөлінеді: екілік немесе мәтіндік. Олардың арасында техникалық айырмашылық жоқ, бірақ атаудың ерекшеленуі мүмкіндіктері шектеулі пайдаланушылар мен серверлерге желілік өткізу қабілетін азайтуға мүмкіндік береді. Жалпы, Usenet конвенциялары мен ережелері желі трафигінің және ресурстарды пайдаланудың жалпы көлемін азайту мақсатымен қабылданады. Әдетте, жаңалықтар тобы белгілі бір қызығушылық тақырыбына бағытталған. Жаңалықтар тобында жариялау үшін жіберілген хабарлама "пост" деп аталады. Кейбір жаңалықтар топтары мүшелері талқылауға таңдайтын кез келген нәрсеге қатысты кең тақырыптар спектрін қамтитын посттарға рұқсат береді, ал басқалары өздерінің тақырыбына қатаң орайласып, тақырыптан тыс посттарға қарсы тұрады. Жаңалықтар әкімшісі (жаңалықтар серверінің әкімшісі) посттардың олардың серверінде қанша уақыт сақталып, кейін жойылатынын (өшірілетінін) шешеді, бұл сақтау мерзімі деп аталады. Әртүрлі серверлерде бір жаңалық тобы үшін сақтау мерзімі әртүрлі болуы мүмкін; кейбіреулері посттарды бір немесе екі апта ғана сақтайды, ал басқалары оларды көп жылдар бойы сақтай алады. Алғашқы қауымдастық компьютерлік қоғамның алғашқы қадамдары болған кезде, көптеген посттардың соңында автордың жеке мүддесінің (қаржылық, саяси немесе басқа) бар-жоғын ашатын хабарлама жиі кездесетін. Қазір мұндай жағдай сирек, сондықтан посттарды басқа да ақпарат құралдарындағыдай күмәнмен қарау керек. Құпиялылық және фишинг мәселелері де маңыздылыққа ие болды. Usenet жаңалық топтарының қатысушылары мен операторлары әдетте платформадағы қызметтерінен ақша таппайды. 1983 жылға қарай жаңалықтар топтарының саны 100-ден астамнан 110 000-ға дейін өсті, бірақ олардың шамамен 20 000-ы ғана белсенді. Жаңалықтар топтарының танымалдылығы әртүрлі; кейбір жаңалықтар топтары жылына он посттан да аз алады, ал ең танымалдары бір сағаттың ішінде бірнеше мың пост алады.

Бинарлық

Жаңалықтар топтары суреттер, дыбыс және бейне сияқты файлдарды тарату үшін арналмаған, бірақ олар бұл мақсатта өте тиімді болып шықты. 2022 жылға дейін олар BitTorrent-ке файлдарды бөлісу және жүктеуге балама ретінде танымал болып қала береді. Жаңалықтар топтары кеңінен таралғандықтан, бір рет жүктелген файл көптеген басқа серверлерге таралады және оны шексіз пайдаланушылар жүктей алады. Пайдаланушылар жергілікті жаңалықтар серверінен жүктей алады, ал емес, мүмкін шектеулі байланысы бар алыс машинадан, бұл P2P технологиясындағыдай. Бұл жаңалықтар топтарының тағы бір артықшылығы: пайдаланушылардың бөлісуі күтілмейді. Егер әрбір пайдаланушы жүктеме жасаса, серверлер толып кетеді, сондықтан пайдаланушылардың тек жүктеуі қабылданады және көбінесе ынталандырылады. Usenet арқылы бинарлық файлдарды беруде бастапқыда бірнеше кедергілер болды. Usenet бастапқыда мәтінді тарату үшін жасалған, сондықтан жазбаларды кодтау протоколдың таңбалар жиынтығына жатпайтын екілік деректердің жоғалуына әкелді. Осының салдарынан, ұзақ уақыт бойы бинарлық деректерді тікелей жіберу мүмкін болмады. Бұл мәселені шешу үшін Uuencode, кейіннен Base64 және yEnc сияқты кодектер жасалды, олар файлдардан (мысалы, дыбыс немесе бейне файлдары) екілік деректерді мәтіндік таңбаларға түрлендірді, олар Usenet арқылы берілуден аман қалады. Алушы тарапында деректерді пайдаланушының жаңалық клиенті декодтауы керек болды. Сонымен қатар, жеке жазбалардың мөлшеріне шектеу қойылды, сондықтан үлкен файлдарды бір жазба ретінде жіберуге болмайды. Бұл мәселені шешу үшін жаңалықтар оқырманды құралдары жасалды, олар ұзын файлдарды бірнеше жазбаға бөле алады. Басқа жақтағы ақылды жаңалықтар оқырманды құралдары мұндай бөлінген файлдарды автоматты түрде біріктіріп, пайдаланушыға файлды оңай алуға мүмкіндік береді. Бұл жетістіктер Usenet-ті күн сайын көптеген терабайт файлдарды жіберу және қабылдау үшін пайдалануға мүмкіндік берді. Жаңалықтар тобы арқылы үлкен файлдарды жіберуде екі негізгі мәселе бар: аяқталу деңгейі және сақталу деңгейі. Премиум жаңалықтар серверлерінің бизнесі негізінен олардың жоғары аяқталу және сақталу деңгейлерін ұсыну қабілетіне, сондай-ақ пайдаланушыларға өте жылдам қосылымдарды ұсыну қабілетіне негізделген. Пайдаланушылар үлкен файлдарды бөліктерге бөлінген күйде жүктегісі келгенде аяқталу деңгейі маңызды; егер бір бөлігі жоғалса, қажетті файлды сәтті жүктеу және қайта құрастыру мүмкін емес. Бұл мәселені шешу үшін Parchive (PAR) деп аталатын артықшылық схемасы қолданылады. Көптеген ірі жаңалықтар серверлерінің сақталу мерзімі жеті жылдан асады. Бинарлық жаңалықтар топтарына жіберілген файлдардың индексін сақтау үшін бірнеше веб-сайттар бар. Мұндай ұзақ сақталу мерзіміне және жүктеу жылдамдығының артуына байланысты Usenet жеке тұлғалар үшін резервтік деректерді сақтау үшін де қолданылады, бұл Usenet резервтік көшірмесі немесе uBackup деп аталады. Коммерциялық провайдерлер онлайн сақтық көшірме қызметтерін пайдалануды жеңілдетсе де, Usenet-те деректерді сақтау тегін (бірақ Usenet-ке қол жеткізудің өзі ақылы болуы мүмкін). Пайдаланушы деректерді қолмен таңдап, дайындап, жүктеуі керек. Сақтық көшірме файлдарын кез келген адам жүктей алатындықтан, деректер әдетте шифрланған. Файлдар жүктелгеннен кейін, жүктеп салушы оларға бақылау жасай алмайды; олар автоматты түрде жүктелген жаңалықтар тобына жазылған барлық Usenet провайдерлеріне таратылады, сондықтан олардың бүкіл әлемге тараған көшірмелері болады.

While newsgroups were not created with the intention of distributing files such as pictures, sound and video, they have proven to be quite effective for this. As of 2022, some remain popular as an alternative to BitTorrent to share and download files. Because newsgroups are widely distributed, a file uploaded once will be spread to many other servers and can then be downloaded by an unlimited number of users. More useful is that users download from a local news server, rather than from a more distant machine with perhaps limited connectivity, as may be the case with peer to peer technology. In fact, this is another benefit of newsgroups: it is usually not expected that users share. If every user makes uploads then the servers would be flooded; thus it is acceptable and often encouraged for users to just leech. There were originally a number of obstacles to the transfer of binary files over Usenet. Usenet was originally designed with the transmission of text in mind, and so the encoding of posts caused losses in binary data where the data was not part of the protocol's character set. Consequently, for a long while, it was impossible to send binary data as such. As workarounds, codecs such as Uuencode and later Base64 and yEnc were developed which encoded the binary data from the files to be transmitted (e. g. sound or video files) to text characters which would survive transmission over Usenet. At the receiver's end, the data needed to be decoded by the user's news client. Additionally, there was a limit on the size of individual posts so that large files could not be sent as single posts. To get around this, Newsreaders were developed which were able to split long files into several posts. Intelligent newsreaders at the other end could then automatically group such split files into single files, allowing the user to easily retrieve the file. These advances have meant that Usenet is used to send and receive many terabytes of files per day. There are two main issues that pose problems for transmitting large files over newsgroups. The first is completion rates and the other is retention rates. The business of premium news servers is generated primarily on their ability to offer superior completion and retention rates, as well as their ability to offer very fast connections to users. Completion rates are significant when users wish to download large files that are split into pieces; if any one piece is missing, it is impossible to successfully download and reassemble the desired file. To work around the problem, a redundancy scheme known as Parchive (PAR) is commonly used. Many major news servers have a retention time of more than seven years. A number of websites exist to keep an index of files posted to binary newsgroups. Partly because of such long retention times, as well as growing uploading and downloading speeds, Usenet is also used by individuals to store backup data in a practice called Usenet backup, or uBackup. While commercial providers offer easier to use online backup services, storing data on Usenet is free of charge (although access to Usenet itself may not be). A user must manually select, prepare and upload the data. Because anyone can download the backup files, the data is typically encrypted. After the files are uploaded, the uploader has no control over them; they are automatically distributed to all Usenet providers that subscribe to the newsgroup they are uploaded to, so there will be copies of them spread all around the world.

Модерацияланған жаңалықтар топтары

Жаңалықтар топтарының көпшілігі модерацияланбайды. Модерацияланған жаңалықтар тобында жарияланбас бұрын мақұлдаудан өтуі тиіс бір немесе бірнеше адам болады. Жазбаларды жіберу үшін бөлек мекенжай қолданылады, ал модераторлар мақұлдаған жазбаларды таратады. Бірінші модерацияланған жаңалықтар тобы 1984 жылы «Хоббстың интернет уақыт жолы» RFC 2235 бойынша mod. * нысанында пайда болды.

Тарату

Желідегі және желі шегіндегі хабар таратуда Желілік жаңалықтар беру протоколы (NNTP) қолданылады (Интернет стандарты RFC 3977, 2006 жылғы, RFC 977 стандартын 1986 жылғы жаңартады). Жаңалық топтарының серверлерін әртүрлі ұйымдар мен мекемелер ұстайды. Көптеген интернет-провайдерлер өз жаңалықтар серверлерін ұстайды немесе абоненттеріне қол жеткізуді жалға береді. Премиум жаңалықтар серверлеріне қол жеткізуді сататын компаниялар да бар. Жаңалықтар серверінің әрбір хосты басқа, жақын орналасқан жаңалықтар серверлерімен үнемі синхрондау туралы келісімдер шабады. Осылайша жаңалықтар серверлері қайталама желі құрайды. Егер пайдаланушы бір жаңалық серверіне хабар жазса, ол хабар жергілікті түрде сақталады. Сол сервер оған қосылған серверлермен, егер олар бірдей жаңалық топтарын таратса, хабарды бөліседі. Бұл серверлер де солай істейді, хабарды желі бойынша таратып жатады. Көп таралмаған жаңалық топтары үшін таратуды жеңілдету мақсатында кейде тасымалдаушы топтар қолданылады. Бұл әдетте жойылған немесе жаңа alt.* топтары үшін ғана тиімді. Үлкен 8 және alt.* иерархияларының шегінен тыс түйіспелер сәтсіздікке ұшырауы мүмкін.

Иерархиялар

Жаңалық топтары көбінесе иерархияға орналастырылады, теориялық тұрғыдан алғанда, байланысты топтарды табуды жеңілдетеді. Жоғары деңгейдегі иерархия термині бірінші нүктеден бұрынғы префикстің анықтамасын білдіреді. Ең көп таралған иерархиялар – Usenet иерархиялары. Мысалы, newsgroup rec.arts.sf.starwars.games тобы rec. * жоғары деңгейлі Usenet иерархиясында болады, мұнда жұлдызша (*) жолдама белгісі ретінде анықталады. Usenet жаңалық топтарының бастапқы жеті негізгі иерархиясы болды, олар «Үлкен 7» деп аталды:
comp.* – Компьютерге қатысты тақырыптарды талқылау
news.* – Usenet-тің өзін талқылау
sci.* – Ғылыми тақырыптарды талқылау
rec.* – Демалыс және хоббилер (мысалы, ойындар) туралы талқылау
soc.* – Әлеуметтену және әлеуметтік мәселелерді талқылау
talk.* – Дің мен саясат сияқты даулы мәселелерді талқылау
misc.* – Басқа иерархияларға жатпайтын түрлі тақырыптар. Бұлардың барлығы 1986–1987 жылдардағы «Ұлы Атау өзгерту» кезінде құрылды, ал оған дейін барлық жаңалық топтары net.* иерархиясында болды. Сол кезде, қандай жаңалық топтарына рұқсат беру керектігі туралы үлкен дау болды. Usenet кабалы (сол кезде «Үлкен 7»-ні басқарғандар) рецепттер, есірткі қолдану және секс туралы топтарға рұқсат бермеді. Бұл жағдай «alternative» деген сөздің қысқартылған түрі болған alt.* иерархиясының құрылуына әкелді, оның аясында осы топтарға рұқсат етілді. Уақыт өте келе, alt.* иерархиясында жаңалық топтарын құру ережелерінің жұмсаруы «Үлкен 7»-де жаңа тақырыптардың танымалдылығы артып, жаңа топтар ашуына мүмкіндік берді. Осының нәтижесінде alt.* тез өсті, және бұл тенденция бүгінге дейін сақталуда. Топтардың анархистік сипаты болғандықтан, кейбіреулер әзілде ALT-ті «Анархистер, Жындылар және Террористтер» (кері акроним) деп атады. 1995 жылы humanities.* иерархиясы гуманитарлық ғылымдарды (мысалы, әдебиет, философия) талқылау үшін құрылды, соның нәтижесінде «Үлкен 7» «Үлкен 8»-ге айналды. alt.* иерархиясы барлық түрлі тақырыптарды талқылайды, сондай-ақ белгілі бір географиялық аймаққа немесе ағылшын тілінен басқа тілдегі талқылауларға арналған көптеген иерархияларды қамтиды. Жаңа «Үлкен 8» жаңалық тобы құрылмас бұрын, news.announce.newgroups жаңалық тобына RFD (Discussion Request – Талқылау сұрауы) жариялануы керек, ол news.groups.proposals тобында талқыланады. Ұсыныс атаумен, сипаттамамен және уставпен ресімделгеннен кейін, «Үлкен 8» Басқармасы топты құру туралы дауыс береді. Егер ұсынысты «Үлкен 8» Басқармасы бекітсе, топ құрылады. Топтар да осыған ұқсас тәртіппен алынып тасталады. alt.* иерархиясында жаңа топ құру бірдей ережелерге бағынбайды; кез келген адам жаңалық тобын құра алады және оны кез келген адам алып тастай алады, бірақ көптеген жаңалық әкімшілері жергілікті пайдаланушы топты атымен сұрамаса, осы өтініштерді қабылдамайды.

Newsgroups are often arranged into hierarchies, theoretically making it simpler to find related groups. The term top level hierarchy refers to the hierarchy defined by the prefix before the first dot. The most commonly known hierarchies are the Usenet hierarchies. So for instance newsgroup rec. arts. sf. starwars. games would be in the rec. * top level Usenet hierarchy, where the asterisk (*) is defined as a wildcard character. There were seven original major hierarchies of Usenet newsgroups, known as the "Big 7":
comp. * — Discussion of computer related topics
news. * — Discussion of Usenet itself
sci. * — Discussion of scientific subjects
rec. * — Discussion of recreational activities (e. g. games and hobbies)
soc. * — Socialising and discussion of social issues. talk. * — Discussion of contentious issues such as religion and politics. misc. * — Miscellaneous discussion—anything which does not fit in the other hierarchies. These were all created in the Great Renaming of 1986–1987, before which all of these newsgroups were in the net. * hierarchy. At that time there was a great controversy over what newsgroups should be allowed. Among those that the Usenet cabal (who effectively ran the Big 7 at the time) did not allow were those concerning recipes, recreational drug use, and sex. This situation resulted in the creation of an alt. * (short for "alternative") Usenet hierarchy, under which these groups would be allowed. Over time, the laxness of rules on newsgroup creation in alt. * compared to the Big 7 meant that many new topics could, given time, gain enough popularity to get a Big 7 newsgroup. There was a rapid growth of alt. * as a result, and the trend continues to this day. Because of the anarchistic nature with which the groups sprang up, some jokingly referred to ALT standing for "Anarchists, Lunatics and Terrorists" (a backronym). In 1995, humanities. * was created for the discussion of the humanities (e. g. literature, philosophy), and the Big 7 became the Big 8. The alt. * hierarchy has discussion of all kinds of topics, and many hierarchies for discussion specific to a particular geographical area or in a language other than English. Before a new Big 8 newsgroup can be created, an RFD (Request For Discussion) must be posted into the newsgroup news. announce. newgroups, which is then discussed in news. groups. proposals. Once the proposal has been formalized with a name, description, charter, the Big 8 Management Board will vote on whether to create the group. If the proposal is approved by the Big 8 Management Board, the group is created. Groups are removed in a similar manner. Creating a new group in the alt. * hierarchy is not subject to the same rules; anybody can create a newsgroup, and anybody can remove it, but most news administrators will ignore these requests unless a local user requests the group by name.

Қосымша иерархиялар

Үлкен 8 (және alt.*) сыртында көптеген жаңалық топтарының иерархиялары бар, оларды көптеген жаңалықтар серверлерінде кездестіруге болады. Оларға ағылшын тілінде емес топтар, компаниялар немесе ұйымдар өз өнімдері туралы басқаратын топтар, географиялық/жергілікті иерархиялар, тіпті NNTP-ге бағытталған интернет желісі жоқ тақталар кіреді. Мысалдар (әліппелік тәртіппен):
aus.* – Австралиялық жаңалықтар топтары
ba.* – Сан-Франциско шығанағы аймағындағы талқылаулар
ca.* – Калифорниядағы талқылаулар
can.* – Канадалық жаңалықтар топтары
cn.* – Қытайлық жаңалықтар топтары
chi.* – Чикаго аймағы туралы пікір алмасу
de.* – Немец тіліндегі талқылаулар
dictator.* – «Диктатордың нұсқаулығына» қатысты жаман басқару туралы пікір алмасу
ec.* – Эквадор мәдениеті мен қоғамы туралы талқылаулар
england.* – (көбінесе) Англияға қатысты талқылаулар, сонымен қатар uk.* қараңыз
fidonet.* – FidoNet желісінен бағытталған талқылаулар
fr.* – Француз тіліндегі талқылаулар
fj.* – «Жапониядан», жапон тіліндегі талқылаулар
gnu.* – GNU бағдарламалық жасақтамасы туралы талқылаулар
hawaii.* – (көбінесе) Гавайиге қатысты талқылаулар
hk.* – Гонконг жаңалықтар топтары
hp.* – Hewlett Packard ішкі жаңалықтар топтары
it.* – Итальян тіліндегі талқылаулар
microsoft.* – Microsoft өнімдері туралы талқылаулар
nl.* – Голланд жаңалықтар топтары
no.* – Норвегиялық жаңалықтар топтары
pl.* – Польшалық жаңалықтар топтары
tw.* – Тайвань жаңалықтар топтары
uk.* – Ұлыбританиядағы мәселелер бойынша талқылаулар
yale.* – (көбінесе) Йель университетіне қатысты талқылаулар

Сонымен қатар, free.* иерархиясы бар, оны «alt.*-тан да еркін» деп қарастыруға болады. Бұл иерархияда көптеген жергілікті қосалқы иерархиялар бар, әдетте нақты елдер немесе мәдениеттер үшін (мысалы, free.it.* – Италия үшін).