Googlebot: поисковый робот Google и принципы его работы.

Введение

Googlebot — это веб-сканер, используемый Google для сбора информации с веб-страниц и создания поискового индекса для поисковой системы Google. Фактически, это название применяется к двум разным типам веб-сканеров: сканеру для настольных компьютеров (имитирующему пользователей настольных устройств) и сканеру для мобильных устройств (имитирующему пользователей мобильных устройств).

Поведение

Веб-сайт, вероятно, будет сканироваться как Googlebot Desktop, так и Googlebot Mobile. Однако, начиная с сентября 2020 года, все сайты были переведены на мобильную первую индексацию, что означает, что Google сканирует веб-страницы с помощью Googlebot, работающего на смартфоне. Подтип Googlebot можно определить, посмотрев на строку пользовательского агента в запросе. Однако оба типа сканеров подчиняются одному и тому же токену продукта (токену useent) в файле robots.txt, поэтому разработчик не может выборочно нацеливать либо Googlebot Mobile, либо Googlebot Desktop с помощью robots.txt. Google предоставляет различные методы, позволяющие владельцам веб-сайтов управлять контентом, отображаемым в результатах поиска Google. Если веб-мастер решит ограничить доступ к информации на своем сайте для Googlebot или другого сканера, он может сделать это с помощью соответствующих директив в файле robots.txt или путем добавления мета-тега <meta name="Googlebot" content="nofollow" /> на веб-страницу. Запросы Googlebot к веб-серверам идентифицируются по строке пользовательского агента, содержащей "Googlebot", и адресу хоста, содержащему "googlebot.com". В настоящее время Googlebot следует по ссылкам HREF и SRC. Существует множество теорий относительно того, насколько продвинута способность Googlebot обрабатывать JavaScript, мнения варьируются от минимальной способности, основанной на пользовательских интерпретаторах. В настоящее время Googlebot использует веб-сервис рендеринга (WRS), основанный на движке рендеринга Chromium (версия 74 по состоянию на 7 мая 2019 года). Googlebot обнаруживает страницы, собирая все ссылки на каждой странице, которую он может найти. Если это не запрещено тегом nofollow, он затем переходит по этим ссылкам на другие веб-страницы. Новые веб-страницы должны быть связаны с другими известными страницами в Интернете, чтобы быть просканированными и проиндексированными, или отправлены веб-мастером вручную. Проблема, которую часто отмечают веб-мастера с планами веб-хостинга с низкой пропускной способностью, заключается в том, что Googlebot потребляет огромное количество пропускной способности. Это может привести к превышению лимита пропускной способности веб-сайтом и его временному отключению. Это особенно проблематично для зеркальных сайтов, которые размещают много гигабайт данных. Google предоставляет "Search Console", которая позволяет владельцам веб-сайтов регулировать скорость сканирования. Как часто Googlebot будет сканировать сайт, зависит от бюджета сканирования. Бюджет сканирования – это оценка того, как часто обычно обновляется веб-сайт. Технически, команда разработчиков Googlebot (команда по сканированию и индексации) использует несколько определенных терминов внутри для обозначения того, что подразумевается под "бюджетом сканирования". С мая 2019 года Googlebot использует новейший движок рендеринга Chromium, который поддерживает функции ECMAScript 6. Это сделает бота более "вечнозеленым" и гарантирует, что он не будет полагаться на устаревший движок рендеринга по сравнению с возможностями браузеров. Если контент находится за логином, сканеру можно предоставить учетные данные для входа, чтобы он мог сканировать защищенный контент.

A website will probably be crawled by both Googlebot Desktop and Googlebot Mobile. However starting from September 2020, all sites were switched to mobile first indexing, meaning Google is crawling the web using a smartphone Googlebot. The subtype of Googlebot can be identified by looking at the user agent string in the request. However, both crawler types obey the same product token (useent token) in robots. txt, and so a developer cannot selectively target either Googlebot mobile or Googlebot desktop using robots. txt. Google provides various methods that enable website owners to manage the content displayed in Google's search results. If a webmaster chooses to restrict the information on their site available to a Googlebot, or another spider, they can do so with the appropriate directives in a robots. txt file, or by adding the meta tag <meta name="Googlebot" content="nofollow" /> to the web page. Googlebot requests to Web servers are identifiable by a user agent string containing "Googlebot" and a host address containing "googlebot. com". Currently, Googlebot follows HREF links and SRC links. There are many theories regarding how advanced Googlebot's ability is to process JavaScript, with opinions ranging from minimal ability derived from custom interpreters. Currently, Googlebot uses a web rendering service (WRS) that is based on the Chromium rendering engine (version 74 as on 7 May 2019). Googlebot discovers pages by harvesting every link on every page that it can find. Unless prohibited by a nofollow tag, it then follows these links to other web pages. New web pages must be linked to from other known pages on the web in order to be crawled and indexed, or manually submitted by the webmaster. A problem that webmasters with low bandwidth Web hosting plans have often noted with the Googlebot is that it takes up an enormous amount of bandwidth. This can cause websites to exceed their bandwidth limit and be taken down temporarily. This is especially troublesome for mirror sites which host many gigabytes of data. Google provides "Search Console" that allow website owners to throttle the crawl rate. How often Googlebot will crawl a site depends on the crawl budget. Crawl budget is an estimation of how typically a website is updated. Technically, Googlebot's development team (Crawling and Indexing team) uses several defined terms internally to take over what "crawl budget" stands for. Since May 2019, Googlebot uses the latest Chromium rendering engine, which supports ECMAScript 6 features. This will make the bot a bit more "evergreen" and ensure that it is not relying on an outdated rendering engine compared to browser capabilities. Where that content resides behind a login, the crawler can be given a log in so that it is able to crawl protected content.

Проверка инструмента Crawlers

InspectionTool — это сканер, используемый инструментами тестирования поиска, такими как тест расширенных сниппетов и проверка URL в Google Search Console. Помимо User-Agent и токена User-Agent, он имитирует Googlebot. Независимо опубликовано руководство по сканерам. В нем подробно описаны четыре (4) различных агента сканеров, основанных на данных индекса каталогов веб-серверов: один (1) не использующий Chrome и три (3) использующих Chrome.