Введение
Список страниц веб-сайта
Карта сайта — это перечень страниц веб-сайта в пределах одного домена. Существуют три основных типа карт сайта:
Карты сайта, используемые дизайнерами при планировании веб-сайта.
Обозримые для пользователей списки страниц сайта, как правило, иерархические.
Структурированные перечни, предназначенные для веб-поисковых роботов, таких как поисковые системы.
A sitemap is a list of pages of a web site within a domain. There are three primary kinds of sitemap:
Sitemaps used during the planning of a website by its designers
Human visible listings, typically hierarchical, of the pages on a site
Structured listings intended for web crawlers such as search engines
Типы карт сайта
Карты сайта могут быть предназначены для пользователей или программного обеспечения. Многие сайты имеют карты сайта, видимые пользователям, которые представляют собой систематическое, как правило иерархическое, представление сайта. Они призваны помочь посетителям находить конкретные страницы и также могут использоваться поисковыми роботами. Они также служат средством навигации, предоставляя общий обзор содержимого сайта с одного взгляда. Карты сайта, организованные в алфавитном порядке, иногда называемые индексными страницами, представляют собой другой подход. Для использования поисковыми системами и другими поисковыми роботами существует структурированный формат – XML Sitemap, который содержит список страниц сайта, их относительную важность и частоту обновления. На него указывают из файла robots.txt, и он обычно называется sitemap.xml. Структурированный формат особенно важен для веб-сайтов, которые включают страницы, недоступные по ссылкам с других страниц, а только через инструменты поиска по сайту или посредством динамического формирования URL-адресов в JavaScript.
Карты сайта XML
Google представил протокол Sitemaps, чтобы веб-разработчики могли публиковать списки ссылок со своих сайтов. Основная идея заключается в том, что некоторые сайты содержат большое количество динамических страниц, доступ к которым возможен только через формы и пользовательский ввод. Файлы Sitemap содержат URL-адреса этих страниц, чтобы поисковые роботы могли их обнаружить. Bing, Google, Yahoo и Ask теперь совместно поддерживают протокол Sitemaps. Поскольку основные поисковые системы используют один и тот же протокол, наличие Sitemap позволяет им получать актуальную информацию о страницах. Sitemaps не гарантируют сканирование всех ссылок, а сканирование не гарантирует индексацию. Google Search Console позволяет владельцам сайтов загружать карту сайта для сканирования Google, или они могут добиться того же результата с помощью файла robots.txt.