Кіріспе

Интернет желісінде қажетті ақпаратты табуға арналған бағдарламалық жүйе, World Wide Web-ті іздеу жүйесі – бұл пайдаланушы сұранысына жауап ретінде веб-беттер мен басқа да қажетті ақпаратқа гиперсілтемелерді ұсынатын бағдарламалық қамтамасыз ету жүйесі. Пайдаланушы веб-браузерде немесе мобильді қосымшада сұранысты енгізеді, ал іздеу нәтижелері көбінесе мәтіндік тұжырымдамалар мен суреттермен бірге гиперсілтемелер тізімі түрінде ұсынылады. Пайдаланушылар іздеуді суреттер, бейнелер немесе жаңалықтар сияқты нақты нәтижелерге шектеуге мүмкіндік алады. Іздеу провайдері үшін оның іздеу жүйесі әлемдегі көптеген деректер орталықтарын қамтитын үлестірілген есептеу жүйесінің бір бөлігі болып табылады. Сұранысқа жауап берудің жылдамдығы мен дәлдігі автоматтандырылған веб-шолушылар арқылы үнемі жаңартылатын күрделі индекстеу жүйесіне негізделген. Бұл веб-серверлерде сақталған файлдар мен деректер қорын зерттеуді қамтиды, бірақ кейбір мазмұн шолушыларға қолжетімді емес. 1990 жылдары Web пайда болғаннан бері көптеген іздеу жүйелері құрылды, бірақ Google Search 2000 жылдары басымдыққа ие болды және осы күнге дейін солай болып келеді. Қазіргі уақытта оның әлемдік нарықтағы үлесі 91%-ға жетеді. Сондықтан, іздеу нәтижелерінде көрінуді жақсартуға бағытталған веб-сайттардың қызметі, маркетинг және оптимизация деп аталады, ол негізінен Google-ға шоғырланған.

Тарих

+ Уақыт сызығы (толық тізім) Жыл Қозғалтқыш Қазіргі жағдайы1993W3CatalogALIWEBJumpStationWWW Worm1994WebCrawlerGo. com, DisneyLycosInfoseek, Disney-ге қайта бағытталады1995Yahoo! Іздеу, бастапқыда Yahoo! Directory үшін іздеу функциясыDaumSearch. chMagellanExciteMetaCrawlerAltaVista, 2003 жылы Yahoo! компаниясы сатып алды, 2013 жылдан бері Yahoo!-ға қайта бағытталады1996RankDex, 2000 жылы Baidu-ға қосылдыDogpileHotBot (Inktomi іздеу технологиясын қолданды)Ask Jeeves (ask. com деп қайта аталды)1997AOL NetFind (1999 жылдан бері AOL Search деп қайта аталды)goo. ne. jpNorthern LightYandex1998GoogleIxquick, Startpage. com ретіндеMSN Search, Bing ретіндеempas (NATE-пен біріктірілді)1999AlltheWeb (URL Yahoo!-ға қайта бағытталады)GenieKnows, Yellowee деп қайта аталды (justlocalbusiness. com-ға қайта бағыттады)NaverTeoma (Ask. com-ға қайта бағытталады)2000BaiduExaleadGigablast2001Kartoo2003Info. com2004A9. comClusty (DuckDuckGo-ға қайта бағытталады)MojeekSogou2005SearchMeKidzSearch, Google Search2006Soso, Sogou-мен біріктіQuaeroSearch. comChaChaAsk. comLive Search, Bing ретінде, MSN Search деп қайта аталды2007wikiseekSprooseWikia SearchBlackle. com, Google Search2008Powerset (Bing-ке қайта бағытталады)PicollatorViewziBoogamiLeapFishForestle (Ecosia-ға қайта бағытталады)DuckDuckGoTinEye2009Bing, Live Search деп қайта аталдыYebolScout (Goby)NATEEcosiaStartpage. com, Ixquick-тың серік қозғалтқышы2010Blekko, IBM-ге сатылдыCuilYandex (ағылшын тілінде)Parsijoo2011YaCy, P2P2012Volunia2013Qwant2014Egerin, Kurdish / SoraniSwisscowsSearx2015YoozCliqz2016Kiddle, Google Search2017Presearch2018Kagi2020Petal2021Brave SearchQueyeYou. com

1990 жылға дейінгі кезең

1945 жылы Ванневар Буш бір үстелде отырып, кең көлемдегі ақпаратқа қол жеткізуге мүмкіндік беретін ақпаратты іздеу жүйесін сипаттады. Ол оны "мемекс" деп атады. Бұл жүйе "Біз қалай ойлаймыз" атты мақаласында, "The Atlantic Monthly" журналында жарияланды. "Мемекс" пайдаланушыға ғылыми еңбектердің өсіп келе жатқан орталықтандырылған көрсеткіштерінде ақпарат табудың қиындығын жеңуге көмектесуі тиіс болды. Ванневар Буш зерттеулердің байланысты түсіндірмелермен жабдықталған кітапханаларын көздеді, бұл қазіргі заманғы гиперсілтемелерге ұқсас. Байланысты талдау Hyper Search және PageRank сияқты алгоритмдер арқылы іздеу жүйелерінің маңызды құрауына айналды.

1990 жылдар: іздеу жүйелерінің пайда болуы

Алғашқы интернет-іздестіру жүйелері 1990 жылдың желтоқсанында Web-тің пайда болуына дейін пайда болды: WHOIS пайдаланушыларды іздеу 1982 жылға дейін созылды, ал Knowbot ақпараттық қызметі көп желілік пайдаланушыларды іздеу 1989 жылы алғаш рет іске асырылды. Мазмұнындағы файлдарды, атап айтқанда FTP файлдарын іздеген алғашқы жақсы құжатталған іздеу жүйесі Archie болды, ол 1990 жылдың 10 қыркүйегінде пайда болды. 1993 жылдың қыркүйегіне дейін World Wide Web толығымен қолмен индекстелді. Бұл тізімді Tim Berners-Lee редакциялаған және CERN веб-серверінде орналастырылған. 1992 жылғы тізімнің бір көрінісі сақталған, бірақ веб-серверлер онлайн желісіне қосылған сайын орталық тізімдер енді қол жеткізе алмады. NCSA сайтында «Жаңалықтар!» деген атаумен жаңа серверлер жарияланды. Интернеттегі мазмұнды (пайдаланушыларға қарағанда) іздеу үшін пайдаланылған алғашқы құрал Archie болды. «V» әрпісіз «архив» дегенді білдіреді. Ол Монреаль, Квебек, Канададағы McGill университетінде компьютерлік ғылым студенті болған. Бағдарлама FTP (File Transfer Protocol) сайттарында орналасқан барлық файлдардың каталог тізімдерін жүктейді, файл атауларының іздеуге болатын деректер қорын жасайды; алайда, Archie Search Engine осы сайттардың мазмұнын индекстемеді, өйткені деректердің мөлшері өте шектеулі болғандықтан оны қолмен іздеуге болады. Gopher-дің пайда болуы (1991 жылы Миннесота университетінде Mark McCahill жасаған) Veronica және Jughead деген екі жаңа іздеу бағдарламасына әкелді. Archie сияқты, олар да Gopher индекс жүйесінде сақталған файл атаулары мен тақырыптарын іздеді. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) барлық Gopher тізімдеріндегі Gopher мәзірінің атауларының көпшілігін іздеуді қамтамасыз етті. Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) – белгілі бір Gopher серверлерінен мәзір ақпаратын алу құралы. Іздеу тетігінің атауы «Archie Search Engine» Archie комикс кітаптар сериясына сілтеме жасамаса да, «Veronica» және «Jughead» сериядағы кейіпкерлер, сондықтан олардың алдыңғыларына сілтеме жасады. 1993 жылдың жазында веб-іздестіру жүйесі болмаған, бірақ көптеген мамандандырылған каталогтар қолмен сақталған. Женева университетінің профессоры Oscar Nierstrasz Perl скрипттерінің бір сериясын жазды, олар осы беттерді мезгіл-мезгіл айналдырып, оларды стандартты пішімге қайта жазады. Бұл W3Catalog, веб-сайттың алғашқы бастапқы іздеу тетігінің негізін қалады, ол 1993 жылдың 2 қыркүйегінде шығарылды. 1993 жылдың маусым айында Matthew Gray, сол кезде MIT-те, бірінші веб-робот болған Perl негізделген World Wide Web Wanderer-ді шығарды және оны «Wandex» деп аталатын индексті құру үшін қолданды. Wanderer-дің мақсаты 1995 жылдың соңына дейін World Wide Web-тің көлемін өлшеу болды. 1993 жылы қарашада Aliweb веб-іздестірудің екінші іздеу жүйесі пайда болды. Aliweb веб-роботты қолданбады, оның орнына веб-сайт әкімшілері әр сайтта белгілі бір форматтағы индекс файлының бар екендігі туралы хабардар етуіне байланысты болды. JumpStation (Jonathon Fletcher 1993 жылы желтоқсанда жасаған) веб-роботты веб-беттерді табу және оның индексін құру үшін қолданды және веб-форманы сұраныс бағдарламасының интерфейсі ретінде қолданды. Бұл веб-іздестіру жүйесінің үш негізгі ерекшелігін (жазу, индекстеу және іздеу) біріктіретін алғашқы WWW ресурстарын табу құралы болды. Оның платформасында қол жетімді ресурстар шектеулі болғандықтан, оның индекстеуі және осылайша іздеу веб-беттерде табылған атаулар мен тақырыптармен шектелген. «Барлық мәтін» сканерлік іздеу жүйелерінің алғашқыларының бірі 1994 жылы шыққан WebCrawler болды. Алдыңғылардан айырмашылығы, ол пайдаланушыларға кез-келген веб-беттен кез-келген сөзді іздеуге мүмкіндік берді, ол кез-келген негізгі іздеу жүйелерінің стандартына айналды. Бұл сонымен қатар көпшілікке танымал іздеу жүйесі болды. Сондай-ақ, 1994 жылы Lycos (Carnegie Mellon университетінде басталған) іске қосылды және ірі коммерциялық іс-қимылға айналды. Интернеттегі ең алғашқы танымал іздеу жүйесі – Yahoo! Іздеу. 1994 жылы қаңтарда Jerry Yang пен David Filo құрған Yahoo! компаниясының алғашқы өнімдері – Yahoo! деп аталатын веб-каталог болды. 1995 жылы іздеу функциясы қосылды, ол пайдаланушыларға Yahoo! каталогын іздеуге мүмкіндік берді. Ол адамдардың қызығушылық танытқан веб-беттерді табуының ең танымал тәсілдерінің біріне айналды, бірақ оның іздеу функциясы веб-беттердің толық мәтіндік көшірмелері емес, веб-каталогта жұмыс істеді. Көп ұзамай көптеген іздеу жүйелері пайда болып, танымалдылық үшін жарысты. Бұлардың ішінде Magellan, Excite, Infoseek, Inktomi, Northern Light және AltaVista бар. Сондай-ақ, іздеушілер кілт сөздерді...

Жергілікті іздеу

Жергілікті іздеу – жергілікті кәсіпорындардың күш-жігерін жақсарту процесі. Олар ақпараттың дұрыс болуын қамтамасыз ету үшін өзгерістерге назар аударады. Бұл маңызды, себебі көптеген адамдар іздеу нәтижелеріне сүйене отырып, қайда баруға және не сатып алуға шешім қабылдайды.

Нарықтық үлесі

2022 жылға қарай Google әлемдегі ең көп қолданылатын іздеу жүйесі болып табылады, оның нарықтық үлесі 90,6%, ал әлемдегі басқа да ең көп қолданылатын іздеу жүйелері Bing, Yahoo!, Baidu, Yandex және DuckDuckGo еді. Қытайда Baidu ең танымал іздеу жүйесі болып табылады. Оңтүстік Кореяның Naver іздеу порталы елдегі онлайн іздеулердің 62,8%-ын қамтамасыз етеді. Yahoo! Japan және Yahoo! Taiwan Жапония мен Тайваньда интернеттік іздеулер үшін ең танымал платформалар болып табылады. Қытай – Google нарықтық үлесі бойынша алдыңғы үштікке кірмейтін сирек елдердің бірі. Google бұрын Қытайдағы жетекші іздеу жүйесі болған, бірақ цензура және кибершабуыл мәселелері бойынша үкіметпен келіспеушіліктер туындағаннан кейін елден шығып кеткен. Алайда, Bing 14,95% нарықтық үлесімен алдыңғы үштікке кіреді. Baidu 49,1% нарықтық үлесімен көшбасшы болып тұр.

Еуропа

Еуропалық Одақтың көптеген елдерінің нарықтарында Google үстемдік етеді, бірақ Чехияда Seznam күшті бәсекелес болып табылады. Qwant іздеу жүйесі Францияның Париж қаласында орналасқан, және оның 50 миллион тіркелген айлық қолданушысының көп бөлігі осы қаладан келеді.

Іздеу тетіктерінің бейімділігі

Іздеу жүйелері веб-сайттарды олардың танымалдылығы мен маңыздылығының белгілі бір үйлесімі бойынша рейтингке қоюға бағдарламаланған болса да, эмпирикалық зерттеулер олар ұсынатын ақпаратта және технологияға қатысты негізгі тұжырымдамаларда әртүрлі саяси, экономикалық және әлеуметтік қиылықтарды көрсетеді. Бұл қиылықтар экономикалық және коммерциялық процестердің тікелей салдары болуы мүмкін (мысалы, іздеу жүйесінде жарнама беретін компаниялар оның табиғи іздеу нәтижелерінде де көбірек танымалдылыққа ие болуы мүмкін), сондай-ақ саяси процестердің нәтижесі де болуы мүмкін (мысалы, жергілікті заңнамаға сәйкес іздеу нәтижелерін алып тастау). Мысалы, Google Франция мен Германияда Холокостты жоққа шығару қылмыс саналатындықтан, белгілі бір неонацистік веб-сайттарды көрсетпейді. Әлеуметтік процестердің нәтижесінде де қиылықтар туындауы мүмкін, себебі іздеу жүйелерінің алгоритмдері көбінесе "көбірек танымал" нәтижелерді бағалау үшін қалыпты емес көзқарастарды жоюға бағытталған. Ірі іздеу жүйелерінің индекстеу алгоритмдері АҚШ-қа негіделген сайттарды басып көрсетуге бейім, ал АҚШ емес елдердің веб-сайттарына көңіл бөлмейді, сондай-ақ нәтижелеріндегі терроризм (Ирландияда), климаттың өзгеруін жоққа шығару және артық ойлар сияқты кейбір даулы тақырыптарды бейнелеуде де қиылықтар байқалады.

Өзіндік нәтижелер мен сүзгі бұршақтары

Google және Bing сияқты іздеу жүйелері пайдаланушының белсенділік тарихына сүйене отырып, жекелендірілген нәтижелер береді деген алаңдаушылық туды, бұл 2011 жылы Эли Паризер эхо-камералар немесе сүзгі көпіршіктері деп атады. Бұл пікірге сәйкес, іздеу жүйелері мен әлеуметтік желілер алгоритмдерді пайдаланып, пайдаланушы туралы ақпаратқа (орналасқан жері, бұрынғы сілтемелерге басу мінез-құлқы және іздеу тарихы) негізделген, пайдаланушы көруге ұнайтын ақпаратты іріктеп алады. Нәтижесінде, веб-сайттар көбінесе пайдаланушының бұрынғы көзқарасына сәйкес ақпаратты ғана көрсетеді. Эли Паризердің сөзіне қарағанда, пайдаланушылар қарама-қарсы пікірлерге аз бейімделеді және өздерінің ақпараттық көпіршігінде зихи оқшауланады. Бұл мәселе анықталғаннан бері, DuckDuckGo сияқты, пайдаланушыларды қадағаламау немесе "көпіршікке" тығып алмау арқылы осы мәселенің алдын алуға тырысатын балама іздеу жүйелері пайда болды. Дегенмен, көптеген ғалымдар Паризердің көзқарасына күмән келтіріп, сүзгі көпіршігін қолдайтын аз ғана дәлел бар екенін анықтады. Керісінше, сүзгі көпіршіктерінің бар-жоғын тексеруге тырысқан бірнеше зерттеулер іздеуде жекелендірудің шамалы деңгейін ғана анықтады.

Мұсылман әлемінде инвестициялардың жетіспеушілігі және технологияның баяу дамуы исламдық іздеу жүйесінің прогресіне кедергі келтіріп, табысқа жетуіне тосқауыл қойды. Исламдық жақтастарды негізгі тұтынушылар ретінде бағытталған Muxlim сияқты жобалар, Rite Internet Ventures сияқты инвесторлардан миллиондаған долларлар алғанымен, сәтсіз аяқталды. Басқа дінге бағытталған іздеу жүйелеріне Jewogle (Google-дің еврей нұсқасы) және SeekFind.org (христиандық) жатады. SeekFind өз дініне шабуыл жасайтын немесе оны кемсітетін сайттарды сүзіп тастайды.

Іздеу жүйесіне тапсыру

Веб-іздеу жүйесіне жіберу – веб-мастердің веб-сайтты тікелей іздеу жүйесіне ұсыну процесі. Іздеу жүйесіне жіберу кейде веб-сайтты ілгерілету жолы ретінде ұсынылса да, бұл көбінесе қажет емес, себебі ірі іздеу жүйелері веб-тараушыларды (web crawlers) пайдаланады, олар көмексіз Интернеттегі көптеген веб-сайттарды таба алады. Олар бір-бірлеп веб-беттерді немесе сайт картасын қолданып, толық сайтты жіберуі мүмкін, бірақ іздеу жүйелері жақсы жасалған веб-сайтты өзі сканерлей алатындықтан, әдетте веб-сайттың бас бетін ғана жіберу жеткілікті. Веб-сайтты немесе веб-бетті іздеу жүйесіне жіберудің тағы екі себебі бар: іздеу жүйесінің оны табуын күтпей, жаңа веб-сайтты қосу және веб-сайттың деректерін маңызды өзгерістерден кейін жаңарту. Кейбір іздеу жүйесіне жіберу бағдарламалық құралдары веб-сайттарды бірнеше іздеу жүйесіне жіберумен қатар, өздерінің беттерінен веб-сайттарға сілтемелер қосады. Бұл веб-сайттың рейтингін арттыруға көмектеседі, себебі сыртқы сілтемелер – веб-сайттың рейтингін анықтайтын маңызды факторлардың бірі. Алайда, Google-дің Джон Мюллер мұндай әрекеттер "сайттың рейтингісіне кері әсер ететін, сіздің сайтыңызға көптеген табиғи емес сілтемелер әкелуі мүмкін" екенін мәлімдеді.

Арчи

Ең алғашқы веб-іздестіру жүйесі 1990 жылы Монреальдегі МакГилл университетінің студенті Алан Эмтадж құрған Archie болды. Автор бастапқыда бағдарламаны "архивтер" деп атағысы келді, бірақ Unix әлемінің стандарттарына сәйкес бағдарламалар мен файлдарға grep, cat, troff, sed, awk, perl және т.б. сияқты қысқа, түсініксіз атауларды беру үшін оны қысқартуға тура келді. Файлдарды сақтау және алудың негізгі әдісі Файлдарды беру протоколы (FTP) арқылы жүзеге асырылды. Бұл – компьютерлердің Интернет арқылы файлдармен алмасуының ортақ тәсілін анықтайтын жүйе (және қазір де солай). Бұл былай жұмыс істейді: әкімші өз компьютерінен файлдарды қолжетімді етуді шешеді. Ол компьютерінде FTP сервері деп аталатын бағдарламаны орнатады. Интернеттегі біреу осы компьютерден файл алуды қаласа, FTP клиенті деп аталатын тағы бір бағдарлама арқылы оған қосылады. FTP клиенті бағдарламасы, егер клиент және сервер бағдарламалары FTP протоколында белгіленген талаптарға толық сәйкес келсе, кез келген FTP сервері бағдарламасына қосыла алады. Алғашқыда файлмен бөліскісі келетін әрбір адам оны басқаларға қолжетімді ету үшін FTP серверін орнатуы керек еді. Кейіннен "анонимді" FTP сайттары файлдарды сақтау орындарына айналды, олардың кез келген пайдаланушыға жариялануына және алуына мүмкіндік берді. Архивтік сайттар болған кезде де көптеген маңызды файлдар шағын FTP серверлеріне шашырап қалды. Мұндай файлдарды табудың жалғыз жолы – Интернеттегі ауызша тарату сияқты нәрсе болды: біреу файлдың қолжетімділігі туралы хабарламалар тізіміне немесе талқылау форумына электрондық хат жіберетін. Archie мұның бәрін өзгертті. Ол анонимді FTP файлдарының сайт тізімдерін жинап алатын және пайдаланушы сұранысына сәйкес келетін файл атауларын табу үшін тұрақты өрнектерді қолданатын скрипт негізіндегі деректер жинағышын біріктірді. (4) Яғни, Archie жинағышы Интернеттегі FTP сайттарын қарап, тапқан барлық файлдарды индекстеді. Ал оның тұрақты өрнектерді қолдануы пайдаланушыларға оның дерекқорына қол жеткізуге мүмкіндік берді.

Yahoo! сайты

1994 жылдың сәуірінде Стэнфорд университетінің екі докторлық диссертациясын қорғайтын студенті, Дэвид Фило мен Джерри Янг, қызығушылық тудырған бірнеше бет жасады. Олар осы беттер жинағын Yahoo! деп атады. Есім таңдауының ресми түсіндірмесі бойынша, олар өздерін "яху" есімді екі дос деп есептеген. Сілтемелер саны артып, олардың беттері күніне мыңдаған рет қарала бастағанда, команда деректерді жақсырақ ұйымдастыру жолдарын ойластырды. Деректерді іздеуді жеңілдету үшін Yahoo! (www.yahoo.com) іздеуге болатын каталогқа айналды. Іздеу мүмкіндігі – қарапайым деректер базасын іздеу жүйесі болды. Yahoo! жазбалары қолмен енгізіліп, сараланғандықтан, Yahoo! толыққанды іздеу жүйесі деп есептелмеді. Оның орнына, ол іздеуге болатын каталог ретінде қарастырылды. Кейіннен Yahoo! деректерді жинау және саралау процесінің бір бөлігін автоматтандырды, бұл іздеу жүйесі мен каталог арасындағы шекараны жойды. Wanderer тек URL мекенжайларын ғана жинады, бұл URL арқылы тікелей сипатталмаған нәрселерді табуды қиындатты. URL мекенжайлары бастапқыда түсініксіз болғандықтан, бұл қарапайым пайдаланушыға көмектеспеді. Yahoo! немесе Galaxy арқылы іздеу әлдеқайда тиімді болды, себебі олар индекстелген сайттар туралы қосымша сипаттамалық ақпаратты қамтиды.

Ликоздар

1994 жылдың шілде айында Карнеги-Меллон университетінде Майкл Моулдин, CMU-дан демалыста болған кезде, Lycos іздеу жүйесін әзірледі.