Іздеу жүйелеріндегі тоқтату сөздері: мағынасы мен қолданылуы

Кіріспе

Іздеу жүйелері уақытты және жадты үнемдеу үшін индекстеуден жалғыз қалдыратын жиі кездесетін сөздер. Тоқтату сөздері – бұл тоқтату тізіміндегі (немесе тоқтату тізімі немесе теріс сөздіктегі) сөздер, олар табиғи тілдік деректерді (мәтінді) өңдеу алдында немесе кейін сүзіліп шығарылады (яғни тоқтатылады), себебі олар маңызды емес деп есептеледі. Барлық табиғи тілді өңдеу құралдарында қолданылатын жалғыз әмбебап тоқтату сөздерінің тізімі жоқ, сондай-ақ тоқтату сөздерін анықтау үшін келісілген ережелер де жоқ, тіпті кейбір құралдар мұндай тізімді қолданбайды. Сондықтан, кез келген сөздер тобы белгілі бір мақсат үшін тоқтату сөздері ретінде таңдалуы мүмкін. "[Ақпаратты іздеу] жүйелеріндегі бақыланатын үрдіс – үлкен тоқтату тізімдерін (200-300 термин) стандартты түрде қолданудан бастап, өте кішкентай тоқтату тізімдеріне (7-12 термин) және тіпті тоқтату тізімін қолданбауға дейін жетті".

Тоқтату сөздерінің тарихы

Кейбір конкорданстарды құруда бұрынғы түсінік пайдаланылды. Мысалы, алғашқы еврей конкордансы, Исаак Натан бен Калонимустың «Меир Nativ» кітабында бір беттік, индекстелмеген сөздердің тізімі болды, онда қазіргі заманғы тоқтату сөздеріне ұқсас, мағыналық емес алғы сөздер мен қосымшалар бар еді. Ақпаратты іздеу саласындағы пионерлердің бірі Ханс Петер Лун осы терминді ойлап тапты және өзінің «Контексттегі кілт сөз» автоматты индекстеу процесін енгізген кезде осы ұғымды қолданды. 1959 жылғы Лунның баяндамасында кездеспейтін «stop word» термині және оған байланысты «stop list» және «stoplist» терминдері кейін әдебиетте пайда болды. Көптеген адамдар тоқтату тізімдері тек тілдегі ең жиі кездесетін сөздерді қамтиды деп есептесе де, С. Дж. Ван Рижберген сөз жиілігі туралы ақпаратқа негізделмеген алғашқы стандартталған тізімді ұсынды. «Ван тізіміне» 250 ағылшын сөзі енді. Мартин Портердің 1980-ші жылдардағы сөз түбірін анықтау бағдарламасы Ван тізіміне негізделген, ал Портер тізімі қазір түрлі бағдарламалық қамтамасыздарда әдепкі тоқтату тізімі ретінде кеңінен қолданылады. 1990 жылы Кристофер Фокс Браун корпусынан алынған эмпирикалық сөз жиілігі туралы ақпаратқа негізделген алғашқы жалпы тоқтату тізімін ұсынды: Бұл мақалада ағылшын тіліндегі әдебиеттің кең ауқымынан алынған 1,014,000 сөзден тұратын Браун корпусына негізделген жалпы мәтін үшін тоқтату тізімін жасау туралы тәжірибе баяндалған. Біз Браун корпусында 300-ден астам рет кездесетін сөздердің тізімінен бастаймыз. 278 сөзден тұратын тізімнен 32 сөз индекстеу үшін тым маңызды деп танылды және алынып тасталды. Содан кейін тізімге 26 сөз қосылды, себебі олар әдебиеттің белгілі бір түрлерінде жиі кездеседі. Соңында, тізімге 149 сөз қосылды, өйткені осы тізімді пайдалануға арналған автоматты сүзгі оларды өте төмен құнмен сүзе алады. Соңғы өнім – 421 тоқтату сөзінен тұратын тізім, ол ағылшын тіліндегі жалпы әдебиеттегі ең көп кездесетін және семантикалық бейтарап сөздерді сүзуде максималды тиімділік пен нәтижелілікке ие болуға тиіс. SEO терминологиясында тоқтату сөздері – іздеу жүйелерінің көпшілігі іздеу немесе индекстеу кезінде үлкен деректерді өңдеу кезінде орын мен уақытты үнемдеу үшін назардан тыс қалдыратын ең көп таралған сөздер. Кейбір іздеу жүйелері үшін бұл ең көп таралған, қысқа функциялық сөздер, мысалы, the, is, at, which және on. Мұндай жағдайда, тоқтату сөздер оларды қамтитын сөз тіркестерін іздеу кезінде қиындықтар тудыруы мүмкін, әсіресе «The Who», «The The» немесе «Take That» сияқты аттарда. Басқа іздеу жүйелері өнімділікті арттыру үшін «want» сияқты лексикалық сөздерді қоса, кейбір ең көп кездесетін сөздерді сұраныстан алып тастайды. Соңғы жылдары SEO-ның ең жақсы тәжірибелері машиналық оқыту және табиғи тілді өңдеу салаларымен бірге тоқтату сөздерімен бірге дамыды. 2021 жылдың ақпан айында Google-дың Webmaster Trends Analyst Джон Мюллер «Твиттерде» былай деп жазды: «Мен тоқтату сөздері туралы мүлдем уайымдамас едім; табиғи түрде жазыңыз. Іздеу жүйелері жеке сөздерден гөрі әлдеқайда көп нәрсені қарастырады. «Болу немесе болмау» – бұл тек тоқтату сөздерінің жиынтығы, бірақ тоқтату сөздері оған әділдік етпейді».

A predecessor concept was used in creating some concordances. For example, the first Hebrew concordance, Isaac Nathan ben Kalonymus's Me’ir Nativ, contained a one page list of unindexed words, with nonsubstantive prepositions and conjunctions which are similar to modern stop words. Hans Peter Luhn, one of the pioneers in information retrieval, is credited with coining the phrase and using the concept when introducing his Keyword in Context automatic indexing process. The phrase "stop word", which is not in Luhn's 1959 presentation, and the associated terms "stop list" and "stoplist" appear in the literature shortly afterward. Although it is commonly assumed that stoplists include only the most frequent words in a language, it was C. J. Van Rijsbergen who proposed the first standardized list which was not based on word frequency information. The "Van list" included 250 English words. Martin Porter's word stemming program developed in the 1980s built on the Van list, and the Porter list is now commonly used as a default stoplist in a variety of software applications. In 1990, Christopher Fox proposed the first general stop list based on empirical word frequency information derived from the Brown Corpus:This paper reports an exercise in generating a stop list for general text based on the Brown corpus of 1,014,000 words drawn from a broad range of literature in English. We start with a list of tokens occurring more than 300 times in the Brown corpus. From this list of 278 words, 32 are culled on the grounds that they are too important as potential index terms. Twenty six words are then added to the list in the belief that they may occur very frequently in certain kinds of literature. Finally, 149 words are added to the list because the finite state machine based filter in which this list is intended to be used is able to filter them at almost no cost. The final product is a list of 421 stop words that should be maximally efficient and effective in filtering the most frequently occurring and semantically neutral words in general literature in English. In SEO terminology, stop words are the most common words that many search engines used to avoid for the purposes of saving space and time in processing of large data during crawling or indexing. For some search engines, these are some of the most common, short function words, such as the, is, at, which, and on. In this case, stop words can cause problems when searching for phrases that include them, particularly in names such as "The Who", "The The", or "Take That". Other search engines remove some of the most common words—including lexical words, such as "want"—from a query in order to improve performance. In recent years the SEO best practices around stop words have evolved along with the fields of machine learning and natural language processing. In February 2021, John Mueller, Webmaster Trends Analyst at Google, Tweeted, "I wouldn't worry about stop words at all; write naturally. Search engines look at much, much more than individual words. 'To be or not to be' just is a collection of stop words, but stop words alone don't do it any justice."