Googlebot: Google іздеуі үшін тораны шарлаушысы

Кіріспе

Googlebot – Google іздеу жүйесі үшін іздеу индексін құру мақсатында вебтен құжаттарды жинауға қолданылатын Google-дың веб-тараушы бағдарламалық құралы. Бұл атау екі түрлі веб-тараушыны білдіреді: десктоптық қолданушыны имитациялайтын десктоптық тараушы және мобильді қолданушыны имитациялайтын мобильді тараушы.

Мінез-құлық

Веб-сайтты Googlebot Desktop және Googlebot Mobile екі түрі де қарауы мүмкін. Алайда, 2020 жылдың қыркүйегінен бастап барлық сайттар мобильді бірінші индекстеуге көшті, яғни Google смартфон Googlebot арқылы вебті қарауды жүзеге асырады. Googlebot-тың түрін сұраудағы пайдаланушы агенті жолы арқылы анықтауға болады. Дегенмен, екі түрдің де роботтар.txt файлындағы бірдей өнім идентификаторын (useent token) қолданатынын ескеру керек, сондықтан әзірлеушілер роботтар.txt арқылы Googlebot Mobile немесе Googlebot Desktop-ты таңдап аралау мүмкіндігіне ие емес. Google веб-сайт иелеріне Google іздеу нәтижелерінде көрсетілетін мазмұнды басқаруға арналған әртүрлі құралдарды ұсынады. Егер веб-мастер өз сайтындағы ақпаратты Googlebot немесе басқа іздеу роботына қолжетімді етуді шектегісі келсе, ол роботтар.txt файлындағы тиісті директиваларды немесе веб-бетке <meta name="Googlebot" content="nofollow" /> мета тегін қосу арқылы оны іске асыра алады. Googlebot веб-серверлерге жіберетін сұрауларды "Googlebot" сөзін қамтитын пайдаланушы агенті жолы және "googlebot.com" мекенжайы арқылы анықтауға болады. Қазіргі уақытта Googlebot HREF және SRC сілтемелерін қадағалайды. Googlebot-тың JavaScript-ті өңдеу қабілетіне қатысты көптеген теориялар бар, пікірлер жеке интерпретаторларға негізделген минималды мүмкіндіктерден басталады. Қазіргі уақытта Googlebot Chromium рендеринг қозғалтқышына (2019 жылдың 7 мамырына сәйкес 74 нұсқасы) негізделген веб-рендеринг қызметін (WRS) пайдаланады. Googlebot таба алатын әрбір беттегі барлық сілтемелерді жинау арқылы беттерді табады. Егер nofollow тегі арқылы тыйым салынбаса, ол осы сілтемелер арқылы басқа веб-беттерге өтеді. Жаңа веб-беттерді іздеу және индекстеу үшін басқа белгілі веб-беттерден сілтемеленуі керек немесе веб-мастерлер оларды қолмен жіберуі керек. Төмен өткізу қабілеті бар веб-хостинг жоспарлары бар веб-мастерлер Googlebot-тың үлкен мөлшерде трафик пайдаланатынын жиі байқаған. Бұл веб-сайттардың трафик лимитінен асып кетуіне және уақытша тоқтатылуына әкелуі мүмкін. Бұл, әсіресе, көптеген гигабайт деректерді қамтитын көшірме сайттар үшін қиындық тудырады. Google веб-сайт иелеріне іздеу жылдамдығын реттеуге мүмкіндік беретін "Search Console" құралын ұсынады. Googlebot сайтты қаншалықты жиі қарауы crawl budget-ке байланысты. Crawl budget – бұл веб-сайттың қаншалықты жиі жаңартылатындығының бағасы. Техникалық тұрғыдан алғанда, Googlebot-тың әзірлеу тобы (Crawling and Indexing тобы) "crawl budget" терминін анықтау үшін ішкі түрде бірнеше анықталған терминдерді пайдаланады. 2019 жылдың мамыр айынан бастап Googlebot ECMAScript 6 мүмкіндіктерін қолдайтын ең соңғы Chromium рендеринг қозғалтқышын пайдаланады. Бұл ботты жаңартылған күйде ұстауға және браузер мүмкіндіктерімен салыстырғанда ескірген рендеринг қозғалтқышына сүйенбеуге көмектеседі. Егер мазмұн кіру құпісінің артында орналасқан болса, іздеу роботына оны қарау үшін кіру деректерін беруге болады.

A website will probably be crawled by both Googlebot Desktop and Googlebot Mobile. However starting from September 2020, all sites were switched to mobile first indexing, meaning Google is crawling the web using a smartphone Googlebot. The subtype of Googlebot can be identified by looking at the user agent string in the request. However, both crawler types obey the same product token (useent token) in robots. txt, and so a developer cannot selectively target either Googlebot mobile or Googlebot desktop using robots. txt. Google provides various methods that enable website owners to manage the content displayed in Google's search results. If a webmaster chooses to restrict the information on their site available to a Googlebot, or another spider, they can do so with the appropriate directives in a robots. txt file, or by adding the meta tag <meta name="Googlebot" content="nofollow" /> to the web page. Googlebot requests to Web servers are identifiable by a user agent string containing "Googlebot" and a host address containing "googlebot. com". Currently, Googlebot follows HREF links and SRC links. There are many theories regarding how advanced Googlebot's ability is to process JavaScript, with opinions ranging from minimal ability derived from custom interpreters. Currently, Googlebot uses a web rendering service (WRS) that is based on the Chromium rendering engine (version 74 as on 7 May 2019). Googlebot discovers pages by harvesting every link on every page that it can find. Unless prohibited by a nofollow tag, it then follows these links to other web pages. New web pages must be linked to from other known pages on the web in order to be crawled and indexed, or manually submitted by the webmaster. A problem that webmasters with low bandwidth Web hosting plans have often noted with the Googlebot is that it takes up an enormous amount of bandwidth. This can cause websites to exceed their bandwidth limit and be taken down temporarily. This is especially troublesome for mirror sites which host many gigabytes of data. Google provides "Search Console" that allow website owners to throttle the crawl rate. How often Googlebot will crawl a site depends on the crawl budget. Crawl budget is an estimation of how typically a website is updated. Technically, Googlebot's development team (Crawling and Indexing team) uses several defined terms internally to take over what "crawl budget" stands for. Since May 2019, Googlebot uses the latest Chromium rendering engine, which supports ECMAScript 6 features. This will make the bot a bit more "evergreen" and ensure that it is not relying on an outdated rendering engine compared to browser capabilities. Where that content resides behind a login, the crawler can be given a log in so that it is able to crawl protected content.

Тексеру құралымен жүретін жұлдызшалар

InspectionTool – Google Search Console-дағы Rich Result Test және URL инспекциясы сияқты іздеуді тестілеу құралдары қолданатын шолушы (crawler). Пайдаланушы агенті мен пайдаланушы агенті токенінен басқа, ол Googlebot-ты имитациялайды. Шолушылар туралы нұсқаулық жеке жарияланды. Онда веб-сервер каталогы индексі деректеріне негізделген төрт (4) ерекше шолушы агенті – бір (1) Chrome емес және үш (3) Chrome шолушысы сипатталған.