Продвижение сайтов в поисковых системах: от основ до современных методов.

Введение

Практика повышения видимости в поисковых системах на страницах выдачи результатов поиска

Поисковая оптимизация (SEO) – это процесс улучшения качества и количества трафика на веб-сайт или веб-страницу из поисковых систем. SEO ориентирован на неоплачиваемый трафик (известный как "естественные" или "органические" результаты), в отличие от прямого или платного трафика. Неоплачиваемый трафик может поступать из различных типов поиска, включая поиск изображений, видеопоиск, научный поиск, поиск новостей и специализированные отраслевые поисковые системы. Как стратегия интернет-маркетинга, SEO учитывает принципы работы поисковых систем, алгоритмы, управляемые компьютерными программами, которые определяют поведение поисковых систем, что ищут люди, фактические поисковые запросы или ключевые слова, вводимые в поисковые системы, и какие поисковые системы предпочитает целевая аудитория. SEO проводится, поскольку веб-сайт получает больше посетителей из поисковой системы, когда занимает более высокие позиции на странице результатов поиска (SERP). Эти посетители потенциально могут быть превращены в клиентов.

История

Веб-мастера и поставщики контента начали оптимизировать веб-сайты для поисковых систем в середине 1990-х годов, когда первые поисковые системы каталогизировали ранний интернет. Первоначально всем веб-мастерам нужно было лишь отправить адрес страницы, или URL, в различные поисковые системы, которые отправляли бы веб-сканер для сканирования этой страницы, извлечения ссылок на другие страницы и возврата информации, найденной на странице, для индексации. Процесс включает в себя загрузку страницы поисковым роботом и хранение ее на собственном сервере поисковой системы. Вторая программа, известная как индексатор, извлекает информацию о странице, такую как содержащиеся в ней слова, их местоположение, вес для конкретных слов, а также все ссылки, содержащиеся на странице. Вся эта информация затем помещается в планировщик для последующего сканирования. Владельцы веб-сайтов осознали ценность высокого ранга и видимости в результатах поиска, что создало возможности для специалистов по SEO, использующих как "белые", так и "черные" методы. По словам отраслевого аналитика Дэнни Салливана, термин "поисковая оптимизация" появился в 1997 году. Салливан считает Брюса Клея одним из первых, кто популяризировал этот термин. Ранние версии поисковых алгоритмов полагались на информацию, предоставляемую веб-мастерами, такую как мета-тег ключевых слов или индексные файлы в системах, таких как ALIWEB. Мета-теги предоставляют руководство по содержанию каждой страницы. Однако использование метаданных для индексации страниц оказалось ненадежным, поскольку выбор веб-мастером ключевых слов в мета-теге мог быть неточным отражением фактического содержания сайта. Неполные или неточные данные в мета-тегах создавали возможность неправильной интерпретации страниц в нерелевантных поисковых запросах. Поставщики веб-контента также манипулировали некоторыми атрибутами в исходном HTML-коде страницы, чтобы добиться высокого ранга в поисковых системах. К 1997 году разработчики поисковых систем осознали, что веб-мастера прилагают усилия для достижения высокого ранга и что некоторые из них даже манипулируют своим рейтингом в результатах поиска, перенасыщая страницы избыточными или нерелевантными ключевыми словами. Ранние поисковые системы, такие как Altavista и Infoseek, скорректировали свои алгоритмы, чтобы предотвратить манипулирование рейтингом веб-мастерами. Сильно полагаясь на такие факторы, как плотность ключевых слов, которые находились исключительно под контролем веб-мастера, ранние поисковые системы страдали от злоупотреблений и манипулирования рейтингом. Чтобы предоставлять своим пользователям лучшие результаты, поисковые системы должны были адаптироваться, чтобы гарантировать, что их страницы результатов показывали наиболее релевантные результаты поиска, а не несвязанные страницы, переполненные многочисленными ключевыми словами недобросовестными веб-мастерами. Это означало отход от сильной зависимости от плотности терминов к более целостному процессу оценки семантических сигналов. Поскольку успех и популярность поисковой системы определяются ее способностью выдавать наиболее релевантные результаты для любого заданного запроса, низкое качество или нерелевантные результаты поиска могли побудить пользователей искать другие источники поиска. Поисковые системы отреагировали на это, разработав более сложные алгоритмы ранжирования, учитывающие дополнительные факторы, которыми было сложнее манипулировать веб-мастерам. Компании, использующие чрезмерно агрессивные методы, могут привести к блокировке сайтов своих клиентов в результатах поиска. В 2005 году Wall Street Journal сообщила о компании Traffic Power, которая, предположительно, использовала рискованные методы и не раскрывала эти риски своим клиентам. Журнал Wired сообщил, что та же компания подала в суд на блогера и SEO-специалиста Аарона Уолла за публикацию о блокировке. Позже Мэтт Каттс из Google подтвердил, что Google действительно заблокировал Traffic Power и некоторых из ее клиентов. Некоторые поисковые системы также обратились к индустрии SEO и часто выступают спонсорами и гостями на SEO-конференциях, веб-чатах и семинарах. Ведущие поисковые системы предоставляют информацию и рекомендации, чтобы помочь в оптимизации веб-сайтов. Bing Webmaster Tools предоставляет веб-мастерам возможность отправлять карту сайта и веб-каналы, позволяет пользователям определять "скорость сканирования" и отслеживать статус индексации веб-страниц. В 2015 году сообщалось, что Google разрабатывает и продвигает мобильный поиск как ключевую функцию в будущих продуктах. В ответ многие бренды начали применять другой подход к своим интернет-маркетинговым стратегиям.

Webmasters and content providers began optimizing websites for search engines in the mid 1990s, as the first search engines were cataloging the early Web. Initially, all webmasters only needed to submit the address of a page, or URL, to the various engines, which would send a web crawler to crawl that page, extract links to other pages from it, and return information found on the page to be indexed. The process involves a search engine spider downloading a page and storing it on the search engine's own server. A second program, known as an indexer, extracts information about the page, such as the words it contains, where they are located, and any weight for specific words, as well as all links the page contains. All of this information is then placed into a scheduler for crawling at a later date. Website owners recognized the value of a high ranking and visibility in search engine results, creating an opportunity for both white hat and black hat SEO practitioners. According to industry analyst Danny Sullivan, the phrase "search engine optimization" probably came into use in 1997. Sullivan credits Bruce Clay as one of the first people to popularize the term. Early versions of search algorithms relied on webmaster provided information such as the keyword meta tag or index files in engines like ALIWEB. Meta tags provide a guide to each page's content. Using metadata to index pages was found to be less than reliable, however, because the webmaster's choice of keywords in the meta tag could potentially be an inaccurate representation of the site's actual content. Flawed data in meta tags, such as those that were inaccurate or incomplete, created the potential for pages to be mischaracterized in irrelevant searches. Web content providers also manipulated some attributes within the HTML source of a page in an attempt to rank well in search engines. By 1997, search engine designers recognized that webmasters were making efforts to rank well in their search engine and that some webmasters were even manipulating their rankings in search results by stuffing pages with excessive or irrelevant keywords. Early search engines, such as Altavista and Infoseek, adjusted their algorithms to prevent webmasters from manipulating rankings. By heavily relying on factors such as keyword density, which were exclusively within a webmaster's control, early search engines suffered from abuse and ranking manipulation. To provide better results to their users, search engines had to adapt to ensure their results pages showed the most relevant search results, rather than unrelated pages stuffed with numerous keywords by unscrupulous webmasters. This meant moving away from heavy reliance on term density to a more holistic process for scoring semantic signals. Since the success and popularity of a search engine are determined by its ability to produce the most relevant results to any given search, poor quality or irrelevant search results could lead users to find other search sources. Search engines responded by developing more complex ranking algorithms, taking into account additional factors that were more difficult for webmasters to manipulate. Companies that employ overly aggressive techniques can get their client websites banned from the search results. In 2005, the Wall Street Journal reported on a company, Traffic Power, which allegedly used high risk techniques and failed to disclose those risks to its clients. Wired magazine reported that the same company sued blogger and SEO Aaron Wall for writing about the ban. Google's Matt Cutts later confirmed that Google did in fact ban Traffic Power and some of its clients. Some search engines have also reached out to the SEO industry and are frequent sponsors and guests at SEO conferences, webchats, and seminars. Major search engines provide information and guidelines to help with website optimization. Bing Webmaster Tools provides a way for webmasters to submit a sitemap and web feeds, allows users to determine the "crawl rate", and track the web pages index status. In 2015, it was reported that Google was developing and promoting mobile search as a key feature within future products. In response, many brands began to take a different approach to their Internet marketing strategies.

Отношения с Google

В 1998 году два аспиранта Стэнфордского университета, Ларри Пейдж и Сергей Брин, разработали "Backrub" – поисковую систему, основанную на математическом алгоритме для оценки значимости веб-страниц. Значение, вычисляемое алгоритмом PageRank, является функцией количества и веса входящих ссылок. PageRank оценивает вероятность того, что пользователь, случайно просматривающий веб и переходящий по ссылкам с одной страницы на другую, достигнет данной страницы. По сути, это означает, что некоторые ссылки сильнее других, поскольку страницу с более высоким PageRank с большей вероятностью посетит случайный пользователь. Пейдж и Брин основали Google в 1998 году. Google привлек лояльную аудиторию среди растущего числа пользователей Интернета, которым понравился его простой дизайн. При оценке позиций учитывались как внестраничные факторы (такие как PageRank и анализ гиперссылок), так и внутристраничные факторы (такие как частота ключевых слов, метатеги, заголовки, ссылки и структура сайта), чтобы Google мог избежать манипуляций, характерных для поисковых систем, учитывающих только внутристраничные факторы. Хотя PageRank было сложнее взломать, веб-мастера уже разработали инструменты и схемы для построения ссылок, чтобы влиять на поисковую систему Inktomi, и эти методы оказались применимы и к манипулированию PageRank. Многие сайты специализируются на обмене, покупке и продаже ссылок, часто в больших масштабах. Некоторые из этих схем, или линк-ферм, предполагали создание тысяч сайтов исключительно для спама ссылками. К 2004 году поисковые системы включили в свои алгоритмы ранжирования широкий спектр непубличных факторов, чтобы снизить влияние манипуляций ссылками. Ведущие поисковые системы – Google, Bing и Yahoo – не раскрывают алгоритмы, которые они используют для ранжирования страниц. Некоторые специалисты по SEO изучали различные подходы к поисковой оптимизации и делились своими мнениями. Патенты, связанные с поисковыми системами, могут предоставить информацию для лучшего понимания принципов их работы. В 2005 году Google начал персонализировать результаты поиска для каждого пользователя. В зависимости от истории предыдущих запросов, Google формировал результаты для авторизованных пользователей. В 2007 году Google объявил о кампании против платных ссылок, передающих PageRank. 15 июня 2009 года Google сообщил о принятии мер по снижению влияния "скульптинга" PageRank с помощью атрибута nofollow. Мэтт Каттс, известный инженер-программист Google, объявил, что Google Bot больше не будет учитывать ссылки с атрибутом nofollow прежним образом, чтобы предотвратить использование nofollow для "скульптинга" PageRank поставщиками услуг SEO. В результате этого изменения использование nofollow приводило к потере PageRank. Чтобы избежать этого, SEO-специалисты разработали альтернативные методы, заменяющие теги nofollow скрытым JavaScript, что позволяло продолжать "скульптинг" PageRank. Кроме того, были предложены решения с использованием iframe, Flash и JavaScript. В декабре 2009 года Google объявил о намерении использовать историю веб-поиска всех пользователей для формирования результатов поиска. 8 июня 2010 года была представлена новая система индексации веб-сайтов Google Caffeine. Caffeine был разработан для того, чтобы пользователи могли находить новости, сообщения на форумах и другой контент вскоре после публикации, что изменило способ обновления индекса Google и позволило быстрее отображать информацию в результатах поиска. По словам Кэрри Граймс, инженера-программиста, анонсировавшей Caffeine, "Caffeine предоставляет на 50% более свежие результаты веб-поиска, чем наш предыдущий индекс". Google Instant, поиск в реальном времени, был представлен в конце 2010 года, чтобы сделать результаты поиска более своевременными и релевантными. Ранее администраторы сайтов тратили месяцы или даже годы на оптимизацию веб-сайта для повышения позиций в поисковой выдаче. С ростом популярности социальных сетей и блогов ведущие поисковые системы внесли изменения в свои алгоритмы, чтобы свежий контент мог быстро ранжироваться в результатах поиска. В феврале 2011 года Google объявил об обновлении Panda, которое наказывает веб-сайты, содержащие дублированный контент с других веб-сайтов и источников. Ранее сайты копировали контент друг у друга и получали преимущества в поисковой выдаче, но Google внедрил систему, которая наказывает сайты с не уникальным контентом. Обновление Google Penguin 2012 года было направлено на наказание веб-сайтов, использующих манипулятивные техники для улучшения своих позиций в поисковой выдаче. Хотя Google Penguin позиционировался как алгоритм для борьбы с веб-спамом, он в основном фокусируется на спамных ссылках, оценивая качество сайтов, с которых они исходят. Обновление Google Hummingbird 2013 года включало изменение алгоритма, предназначенное для улучшения обработки естественного языка и семантического понимания веб-страниц Google. Система обработки языка Hummingbird относится к новому термину "разговорный поиск", где система уделяет больше внимания каждому слову в запросе, чтобы лучше сопоставлять страницы со смыслом запроса, а не с несколькими ключевыми словами. Что касается изменений, внесенных в поисковую оптимизацию, для создателей контента и авторов Hummingbird призван решить проблемы, устраняя нерелевантный контент и спам, позволяя Google предоставлять высококачественный контент и полагаться на "авторитетных" авторов. В октябре 2019 года Google объявил о начале использования моделей BERT для англоязычных поисковых запросов в США. Bidirectional Encoder Representations from Transformers (BERT) – еще одна попытка Google улучшить обработку естественного языка, но на этот раз для лучшего понимания поисковых запросов пользователей. С точки зрения поисковой оптимизации, BERT призван облегчить пользователям доступ к релевантному контенту и повысить качество трафика на веб-сайты, которые ранжируются в поисковой выдаче.

In 1998, two graduate students at Stanford University, Larry Page and Sergey Brin, developed "Backrub", a search engine that relied on a mathematical algorithm to rate the prominence of web pages. The number calculated by the algorithm, PageRank, is a function of the quantity and strength of inbound links. PageRank estimates the likelihood that a given page will be reached by a web user who randomly surfs the web and follows links from one page to another. In effect, this means that some links are stronger than others, as a higher PageRank page is more likely to be reached by the random web surfer. Page and Brin founded Google in 1998. Google attracted a loyal following among the growing number of Internet users, who liked its simple design. Off page factors (such as PageRank and hyperlink analysis) were considered as well as on page factors (such as keyword frequency, meta tags, headings, links and site structure) to enable Google to avoid the kind of manipulation seen in search engines that only considered on page factors for their rankings. Although PageRank was more difficult to game, webmasters had already developed link building tools and schemes to influence the Inktomi search engine, and these methods proved similarly applicable to gaming PageRank. Many sites focus on exchanging, buying, and selling links, often on a massive scale. Some of these schemes, or link farms, involved the creation of thousands of sites for the sole purpose of link spamming. By 2004, search engines had incorporated a wide range of undisclosed factors in their ranking algorithms to reduce the impact of link manipulation. The leading search engines, Google, Bing, and Yahoo, do not disclose the algorithms they use to rank pages. Some SEO practitioners have studied different approaches to search engine optimization and have shared their personal opinions. Patents related to search engines can provide information to better understand search engines. In 2005, Google began personalizing search results for each user. Depending on their history of previous searches, Google crafted results for logged in users. In 2007, Google announced a campaign against paid links that transfer PageRank. On June 15, 2009, Google disclosed that they had taken measures to mitigate the effects of PageRank sculpting by use of the nofollow attribute on links. Matt Cutts, a well known software engineer at Google, announced that Google Bot would no longer treat any no follow links, in the same way, to prevent SEO service providers from using nofollow for PageRank sculpting. As a result of this change, the usage of nofollow led to evaporation of PageRank. In order to avoid the above, SEO engineers developed alternative techniques that replace nofollowed tags with obfuscated JavaScript and thus permit PageRank sculpting. Additionally, several solutions have been suggested that include the usage of iframes, Flash, and JavaScript. In December 2009, Google announced it would be using the web search history of all its users in order to populate search results. On June 8, 2010 a new web indexing system called Google Caffeine was announced. Designed to allow users to find news results, forum posts, and other content much sooner after publishing than before, Google Caffeine was a change to the way Google updated its index in order to make things show up quicker on Google than before. According to Carrie Grimes, the software engineer who announced Caffeine for Google, "Caffeine provides 50 percent fresher results for web searches than our last index " Google Instant, real time search, was introduced in late 2010 in an attempt to make search results more timely and relevant. Historically site administrators have spent months or even years optimizing a website to increase search rankings. With the growth in popularity of social media sites and blogs, the leading engines made changes to their algorithms to allow fresh content to rank quickly within the search results. In February 2011, Google announced the Panda update, which penalizes websites containing content duplicated from other websites and sources. Historically websites have copied content from one another and benefited in search engine rankings by engaging in this practice. However, Google implemented a new system that punishes sites whose content is not unique. The 2012 Google Penguin attempted to penalize websites that used manipulative techniques to improve their rankings on the search engine. Although Google Penguin has been presented as an algorithm aimed at fighting web spam, it really focuses on spammy links by gauging the quality of the sites the links are coming from. The 2013 Google Hummingbird update featured an algorithm change designed to improve Google's natural language processing and semantic understanding of web pages. Hummingbird's language processing system falls under the newly recognized term of "conversational search", where the system pays more attention to each word in the query in order to better match the pages to the meaning of the query rather than a few words. With regards to the changes made to search engine optimization, for content publishers and writers, Hummingbird is intended to resolve issues by getting rid of irrelevant content and spam, allowing Google to produce high quality content and rely on them to be 'trusted' authors. In October 2019, Google announced they would start applying BERT models for English language search queries in the US. Bidirectional Encoder Representations from Transformers (BERT) was another attempt by Google to improve their natural language processing, but this time in order to better understand the search queries of their users. In terms of search engine optimization, BERT intended to connect users more easily to relevant content and increase the quality of traffic coming to websites that are ranking in the Search Engine Results Page.

Индексирование

Ведущие поисковые системы, такие как Google, Bing и Yahoo!, используют сканеры (или краулеры) для поиска страниц для своих алгоритмических результатов поиска. Страницы, на которые есть ссылки с других страниц, проиндексированных поисковой системой, не требуют ручного добавления, так как они обнаруживаются автоматически. Каталоги Yahoo! Directory и DMOZ, два крупных каталога, закрытые в 2014 и 2017 годах соответственно, требовали ручной подачи и проверки редакторами. Google предлагает Google Search Console, для которой можно создать и бесплатно отправить XML-карту сайта, чтобы обеспечить обнаружение всех страниц, особенно тех, которые не могут быть найдены автоматически при переходе по ссылкам, в дополнение к консоли для отправки URL-адресов. Yahoo! ранее предоставляла платную услугу добавления, гарантирующую сканирование за плату за клик, однако эта практика была прекращена в 2009 году. Поисковые сканеры могут учитывать множество различных факторов при сканировании сайта. Не все страницы индексируются поисковыми системами. Расстояние страниц от корневого каталога сайта также может влиять на то, будут ли они просканированы. Большинство поисковых запросов в Google выполняется с мобильных устройств. В ноябре 2016 года Google объявила о значительном изменении в способе сканирования веб-сайтов и начала переходить к принципу Mobile-First Indexing, что означает, что мобильная версия веб-сайта становится отправной точкой для формирования индекса Google. В мае 2019 года Google обновила движок рендеринга своего сканера до последней версии Chromium (74 на момент объявления). Google заявила, что будет регулярно обновлять движок рендеринга Chromium до актуальной версии. В декабре 2019 года Google начала обновлять строку User-Agent своего сканера, чтобы она соответствовала последней версии Chrome, используемой сервисом рендеринга. Задержка была сделана для того, чтобы веб-мастера успели обновить свой код, реагирующий на определенные строки User-Agent ботов. Google провела оценку и убедилась, что влияние будет незначительным.

Предотвращение ползания

Чтобы избежать нежелательного контента в поисковых индексах, веб-мастера могут инструктировать поисковых роботов не сканировать определенные файлы или каталоги с помощью стандартного файла robots.txt, расположенного в корневом каталоге домена. Кроме того, страницу можно явно исключить из базы данных поисковой системы, используя метатег, предназначенный для роботов (обычно <meta name="robots" content="noindex">). Когда поисковая система посещает сайт, файл robots.txt в корневом каталоге сканируется первым. Файл robots.txt затем анализируется и содержит инструкции для робота о том, какие страницы не следует сканировать. Поскольку поисковый робот может хранить кэшированную копию этого файла, иногда он может сканировать страницы, которые веб-мастер не хочет индексировать. Обычно от сканирования защищают страницы, специфичные для авторизации, такие как корзины покупок, и контент, предназначенный для конкретных пользователей, например, результаты внутреннего поиска. В марте 2007 года Google предупредил веб-мастеров о необходимости предотвращать индексацию результатов внутреннего поиска, поскольку такие страницы рассматриваются как поисковый спам. В 2020 году Google отказался от стандартного подхода (и открыл исходный код), теперь рассматривая robots.txt как рекомендацию, а не директиву. Для надежной защиты страниц от индексации следует использовать метатег robots на уровне страницы.

Растущее значение

Различные методы могут повысить заметность веб-страницы в результатах поиска. Перекрестные ссылки между страницами одного и того же сайта, обеспечивающие больше ссылок на важные страницы, могут улучшить её видимость. Дизайн страницы вызывает доверие у пользователей и желание остаться на сайте после его обнаружения. Если пользователи быстро покидают сайт (высокий показатель отказов), это негативно сказывается на его репутации и авторитете. Создание контента, включающего часто запрашиваемые ключевые фразы для соответствия широкому спектру поисковых запросов, как правило, увеличивает трафик. Регулярное обновление контента стимулирует поисковые системы чаще индексировать сайт, что может повысить его вес. Добавление релевантных ключевых слов в метаданные веб-страницы, включая тег title и meta description, улучшает релевантность поисковой выдачи сайта и, следовательно, увеличивает трафик. URL-канонизация веб-страниц, доступных по нескольким URL, с использованием канонической ссылки или 301-редиректов, помогает обеспечить учет всех ссылок на различные версии URL в рейтинге популярности страницы. Эти ссылки называются входящими и указывают на URL, влияя на популярность страницы и доверие к сайту. Методы "белой шляпы" обычно дают долгосрочные результаты, в то время как "черные шляпы" предполагают, что их сайты могут быть временно или навсегда заблокированы поисковыми системами после обнаружения их действий. SEO-техника считается "белой шляпой", если она соответствует рекомендациям поисковых систем и не содержит обмана. Важно отметить, что рекомендации поисковых систем не представлены в виде строгих правил или заповедей. "Белая шляпа" SEO – это не просто следование рекомендациям, а обеспечение того, чтобы контент, индексируемый и ранжируемый поисковой системой, совпадал с контентом, который видит пользователь. Основной принцип "белой шляпы" – создавать контент для пользователей, а не для поисковых систем, и сделать этот контент легко доступным для поисковых роботов, а не пытаться обмануть алгоритм. "Белая шляпа" SEO во многом схожа с веб-разработкой, ориентированной на доступность, хотя это не одно и то же. "Черная шляпа" SEO пытается улучшить позиции в рейтинге способами, не одобряемыми поисковыми системами или с использованием обмана. Один из методов "черной шляпы" – использование скрытого текста, например, текста того же цвета, что и фон, в невидимом div или за пределами видимой области экрана. Другой метод – показ разной страницы в зависимости от того, запрашивает её человек или поисковая система (техника, известная как клоакинг). Существует также категория "серой шляпы" SEO, занимающая промежуточное положение между "черной" и "белой" шляпами, где используемые методы позволяют избежать санкций, но не направлены на создание лучшего контента для пользователей. "Серая шляпа" SEO полностью сосредоточена на улучшении позиций в поисковых системах. Поисковые системы могут наказывать сайты, использующие методы "черной" или "серой" шляпы, снижая их позиции или исключая из базы данных. Такие санкции могут применяться автоматически алгоритмами поисковых систем или вручную после проверки сайта. Примером является удаление Google в феврале 2006 года сайтов BMW Germany и Ricoh Germany за использование обманных практик. Обе компании быстро принесли извинения, исправили ошибки и были восстановлены в результатах поиска Google.

A variety of methods can increase the prominence of a webpage within the search results. Cross linking between pages of the same website to provide more links to important pages may improve its visibility. Page design makes users trust a site and want to stay once they find it. When people bounce off a site, it counts against the site and affects its credibility. Writing content that includes frequently searched keyword phrases so as to be relevant to a wide variety of search queries will tend to increase traffic. Updating content so as to keep search engines crawling back frequently can give additional weight to a site. Adding relevant keywords to a web page's metadata, including the title tag and meta description, will tend to improve the relevancy of a site's search listings, thus increasing traffic. URL canonicalization of web pages accessible via multiple URLs, using the canonical link element or via 301 redirects can help make sure links to different versions of the URL all count towards the page's link popularity score. These are known as incoming links, which point to the URL and can count towards the page link's popularity score, impacting the credibility of a website. White hats tend to produce results that last a long time, whereas black hats anticipate that their sites may eventually be banned either temporarily or permanently once the search engines discover what they are doing. An SEO technique is considered a white hat if it conforms to the search engines' guidelines and involves no deception. As the search engine guidelines are not written as a series of rules or commandments, this is an important distinction to note. White hat SEO is not just about following guidelines but is about ensuring that the content a search engine indexes and subsequently ranks is the same content a user will see. White hat advice is generally summed up as creating content for users, not for search engines, and then making that content easily accessible to the online "spider" algorithms, rather than attempting to trick the algorithm from its intended purpose. White hat SEO is in many ways similar to web development that promotes accessibility, although the two are not identical. Black hat SEO attempts to improve rankings in ways that are disapproved of by the search engines or involve deception. One black hat technique uses hidden text, either as text colored similar to the background, in an invisible div, or positioned off screen. Another method gives a different page depending on whether the page is being requested by a human visitor or a search engine, a technique known as cloaking. Another category sometimes used is grey hat SEO. This is in between the black hat and white hat approaches, where the methods employed avoid the site being penalized but do not act in producing the best content for users. Grey hat SEO is entirely focused on improving search engine rankings. Search engines may penalize sites they discover using black or grey hat methods, either by reducing their rankings or eliminating their listings from their databases altogether. Such penalties can be applied either automatically by the search engines' algorithms or by a manual site review. One example was the February 2006 Google removal of both BMW Germany and Ricoh Germany for the use of deceptive practices. Both companies, however, quickly apologized, fixed the offending pages, and were restored to Google's search engine results page.

Как маркетинговая стратегия

SEO не является подходящей стратегией для каждого веб-сайта, и другие стратегии интернет-маркетинга могут быть более эффективными, такие как платная реклама через кампании с оплатой за клик (PPC), в зависимости от целей владельца сайта. Поисковый маркетинг (SEM) – это практика разработки, запуска и оптимизации рекламных кампаний в поисковых системах. Его отличие от SEO проще всего представить как разницу между платным и бесплатным приоритетным ранжированием в результатах поиска. SEM фокусируется на заметности больше, чем на релевантности; разработчикам веб-сайтов следует уделять SEM первостепенное внимание, учитывая видимость, поскольку большинство пользователей переходят по основным ссылкам в результатах поиска. Успешная интернет-маркетинговая кампания также может зависеть от создания высококачественных веб-страниц для привлечения и убеждения пользователей, настройки аналитических программ для измерения результатов владельцами сайтов и повышения коэффициента конверсии сайта. В ноябре 2015 года Google опубликовал полную 160-страничную версию своих Руководств по оценке качества поиска, что отразило смещение фокуса в сторону "полезности" и мобильного локального поиска. В последние годы мобильный рынок стремительно вырос, обогнав использование настольных компьютеров, как показал анализ StatCounter в октябре 2016 года, в ходе которого было проанализировано 2,5 миллиона веб-сайтов и установлено, что 51,3% страниц загружались с мобильных устройств. Google – одна из компаний, использующих популярность мобильного трафика, поощряя веб-сайты использовать Google Search Console и инструмент "Тест адаптивности", которые позволяют компаниям оценивать свой сайт по отношению к результатам поиска и определять его удобство для пользователей. Чем ближе ключевые слова расположены друг к другу, тем выше будет их рейтинг на основе ключевых запросов. Поисковые системы могут изменять свои алгоритмы, что может повлиять на позиции веб-сайта в поисковой выдаче и привести к серьезной потере трафика. По словам генерального директора Google Эрика Шмидта, в 2010 году Google внес более 500 изменений в алгоритм – почти 1,5 в день. Разумной деловой практикой для владельцев веб-сайтов считается снижение зависимости от трафика из поисковых систем. Помимо доступности для веб-краулеров (описанной выше), доступность веб-сайта для пользователей становится все более важной для SEO.

SEO is not an appropriate strategy for every website, and other Internet marketing strategies can be more effective, such as paid advertising through pay per click (PPC) campaigns, depending on the site operator's goals. Search engine marketing (SEM) is the practice of designing, running, and optimizing search engine ad campaigns. Its difference from SEO is most simply depicted as the difference between paid and unpaid priority ranking in search results. SEM focuses on prominence more so than relevance; website developers should regard SEM with the utmost importance with consideration to visibility as most navigate to the primary listings of their search. A successful Internet marketing campaign may also depend upon building high quality web pages to engage and persuade internet users, setting up analytics programs to enable site owners to measure results, and improving a site's conversion rate. In November 2015, Google released a full 160 page version of its Search Quality Rating Guidelines to the public, which revealed a shift in their focus towards "usefulness" and mobile local search. In recent years the mobile market has exploded, overtaking the use of desktops, as shown in by StatCounter in October 2016, where they analyzed 2.5 million websites and found that 51.3% of the pages were loaded by a mobile device. Google has been one of the companies that are utilizing the popularity of mobile usage by encouraging websites to use their Google Search Console, the Mobile Friendly Test, which allows companies to measure up their website to the search engine results and determine how user friendly their websites are. The closer the keywords are together their ranking will improve based on key terms. Search engines can change their algorithms, impacting a website's search engine ranking, possibly resulting in a serious loss of traffic. According to Google's CEO, Eric Schmidt, in 2010, Google made over 500 algorithm changes – almost 1.5 per day. It is considered a wise business practice for website operators to liberate themselves from dependence on search engine traffic. In addition to accessibility in terms of web crawlers (addressed above), user web accessibility has become increasingly important for SEO.

Международные рынки

Методы оптимизации тщательно адаптированы к доминирующим поисковым системам на целевом рынке. Доли рынка поисковых систем и уровень конкуренции различаются в зависимости от рынка. В 2003 году Дэнни Салливан заявил, что Google обеспечивал около 75% всех поисковых запросов. На рынках за пределами Соединенных Штатов доля Google часто выше, и по состоянию на 2007 год Google оставался доминирующей поисковой системой во всем мире. В 2006 году доля Google на рынке Германии составляла 85–90%. В то время как в США насчитывались сотни SEO-компаний, в Германии их было всего около пяти. Такая доля рынка достигается во многих странах. По состоянию на 2009 год существует лишь несколько крупных рынков, где Google не является ведущей поисковой системой. В большинстве случаев, когда Google не лидирует на определенном рынке, он уступает местному игроку. Наиболее заметными примерами таких рынков являются Китай, Япония, Южная Корея, Россия и Чехия, где лидерами рынка являются соответственно Baidu, Yahoo! Japan, Naver, Яндекс и Seznam. Для успешной поисковой оптимизации на международных рынках может потребоваться профессиональный перевод веб-страниц, регистрация доменного имени с доменом верхнего уровня в целевом рынке и веб-хостинг с локальным IP-адресом. В остальном, основные элементы поисковой оптимизации остаются в основном одинаковыми, независимо от языка. В марте 2006 года KinderStart подала в суд на Google из-за позиций в результатах поиска. Сайт KinderStart был исключен из индекса Google до подачи иска, в результате чего трафик на сайт упал на 70%. 16 марта 2007 года Окружной суд США по Северному округу Калифорнии (отделение Сан-Хосе) отклонил иск KinderStart без предоставления возможности внесения поправок и частично удовлетворил ходатайство Google о применении санкций по правилу 11 к адвокату KinderStart, обязав его оплатить часть судебных издержек Google.