Іздеу жүйесінде көрінуді арттыру тәсілдері

Кіріспе

Іздеу жүйелерінің нәтижелер беттерінде онлайн көрінуді арттыру практикасы

Іздеу жүйелерін оңтайландыру (SEO) – іздеу жүйелерінен веб-сайтқа немесе веб-бетке келетін веб-трафиктің сапасы мен санын жақсарту процесі. SEO тікелей немесе ақылы трафик емес, "табиғи" немесе "органикалық" деп аталатын ақысыз трафикті мақсат етеді. Ақысыз трафик әр түрлі іздеулерден туындауы мүмкін, соның ішінде кескіндерді іздеу, бейнелерді іздеу, академиялық іздеу, жаңалықтарды іздеу және салалық арнайы іздеу жүйелерінен. Интернет-маркетинг стратегиясы ретінде SEO іздеу жүйелерінің қалай жұмыс істейтінін, іздеу жүйелерінің мінез-құлқын анықтайтын бағдарламалық алгоритмдерді, адамдар не іздейтінін, іздеу жүйелеріне енгізілетін нақты іздеу сөздерін немесе кілт сөздерді және олардың мақсатты аудиториясының қай іздеу жүйелерін қалайтындығын қарастырады. SEO орындалуының себебі – веб-сайт іздеу жүйелерінің нәтижелер бетінде (SERP) жоғарырақ орын алғанда, іздеу жүйелерінен көбірек келушілерді алады. Бұл келушілер әлеуетті түрде клиенттерге айналуы мүмкін.

Тарих

Веб-мастерлер мен контент провайдерлері веб-сайттарды іздеу жүйелері үшін оңтайландыруды 1990 жылдардың ортасында бастады, алғашқы іздеу жүйелері алғашқы интернетті каталогтаған кезде. Бастапқыда, веб-мастерлерге тек беттің мекенжайын немесе URL-ді түрлі іздеу жүйелеріне жіберу қажет болды, олар веб-тараушыны сол бетті сканерлеуге, басқа беттерге сілтемелерді табуға және индекстеу үшін беттен алынған ақпаратты қайтаруға жіберетін. Бұл процесте іздеу жүйесінің өрмекшісі бір бетті жүктеуі және оны іздеу жүйесінің өз серверінде сақтайды. Екінші бағдарлама – индекстеуші – бет туралы ақпаратты, мысалы, ондағы сөздерді, олардың орналасқан жерін, нақты сөздердің салмағын және беттегі барлық сілтемелерді анықтайды. Осы ақпараттың бәрі кейін іздеу үшін кестеге енгізіледі. Веб-сайт иелері іздеу нәтижелерінде жоғары рейтинг пен көрінудің маңыздылығын түсінді, бұл «ақ шляпалы» және «қара шляпалы» SEO мамандарына мүмкіндік берді. Индустрияны талдаушы Дэнни Салливанның айтуынша, «іздеу жүйесін оңтайландыру» термині 1997 жылы қолданыла бастады. Салливан Брюс Клейді бұл терминді танымал еткен алғашқы адамдардың бірі деп санайды. Іздеу алгоритмдерінің алғашқы нұсқалары веб-мастерлер ұсынған ақпаратқа, мысалы, ALIWEB сияқты іздеу жүйелеріндегі кілт сөздері бар мета-тегтерге немесе индекс файлдарына сүйенді. Мета-тегтер әрбір беттің мазмұнына бағыттайды. Бірақ, метадеректерді индекстеу үшін веб-мастердің мета-тегте таңдаған кілт сөздері сайттың нақты мазмұнын дәл көрсетпеуі мүмкін екені анықталды. Мета-тегтердегі қате деректер, мысалы, дұрыс емес немесе толық емес ақпарат, беттердің маңызды емес іздеулерде қате сипатталуына әкелуі мүмкін. Веб-контент провайдерлері іздеу жүйелерінде жақсы орын алу үшін беттің HTML кодындағы кейбір атрибуттарды өзгертуге тырысты. 1997 жылға қарай, іздеу жүйелерін жасаушылар веб-мастерлердің жақсы орын алуға тырысатынын және кейбірлерінің іздеу нәтижелеріндегі рейтингтерін артық немесе маңызсыз кілт сөздермен толтыру арқылы манипуляциялауға ұмтылғанын түсінді. Алғашқы Altavista және Infoseek сияқты іздеу жүйелері веб-мастерлердің рейтингті бұрмалауына жол бермеу үшін өз алгоритмдерін бейімдеді. Кілт сөздердің тығыздығы сияқты, веб-мастердің толық бақылауындағы факторларға күшті сүйену арқасында, алғашқы іздеу жүйелері теріс пайдалану мен рейтингті манипуляциялаудан зардап шекті. Пайдаланушыларға жақсы нәтижелер беру үшін, іздеу жүйелері өздерінің нәтижелер беттерінде көптеген кілт сөздермен толтырылған мағынасыз беттерден гөрі, ең маңызды іздеу нәтижелерін көрсету үшін өздерін бейімдеуге мәжбүр болды. Бұл терминдердің тығыздығына үлкен сенім артудан семантикалық сигналдарды бағалаудың кешенді процесіне көшуді білдірді. Іздеу жүйесінің табысы мен танымалдылығы оның кез келген сұранысқа ең маңызды нәтижелерді беру қабілетіне байланысты болғандықтан, нашар сапалы немесе мағынасыз іздеу нәтижелері пайдаланушыларды басқа іздеу көздерін іздеуге итермелеуі мүмкін. Іздеу жүйелері веб-мастерлердің манипуляциялауы қиын қосымша факторларды ескере отырып, күрделірек рейтинг алгоритмдерін жасау арқылы жауап берді. Өте агрессивті әдістерді қолданатын компаниялар өз клиенттерінің веб-сайттарын іздеу нәтижелерінен шеттетуі мүмкін. 2005 жылы Wall Street Journal басылымы Traffic Power компаниясы туралы хабарлады, ол жоғары тәуекелді техникаларды қолданған және бұл тәуекелдерді клиенттеріне жарияламаған. Wired журналы сол компания блогер және SEO маманы Аарон Уоллды тыйым салу туралы жазғаны үшін сотқа бергенін хабарлады. Google-дің Мэтт Каттс кейінірек Google-дің Traffic Power-ті және оның кейбір клиенттерін шеттетуін растады. Кейбір іздеу жүйелері SEO индустриясымен де байланыс орнатып, SEO конференцияларында, веб-чаттарда және семинарларда жиі демеушілік жасап, қатысады. Ірі іздеу жүйелері веб-сайтты оңтайландыруға көмектесетін ақпарат пен нұсқаулар ұсынады. Bing Webmaster Tools веб-мастерлерге сайт картасын және веб-аяндарды жіберуге, пайдаланушыларға «тарау жылдамдығын» анықтауға және веб-беттердің индекстелу күйін бақылауға мүмкіндік береді. 2015 жылы Google болашақ өнімдерінде мобильді іздеуді маңызды мүмкіндік ретінде дамытып, насихаттап жатқаны хабарланды. Осыған жауап ретінде көптеген брендтер өздерінің интернет-маркетингтік стратегияларына басқаша көзқарас таныта бастады.

Webmasters and content providers began optimizing websites for search engines in the mid 1990s, as the first search engines were cataloging the early Web. Initially, all webmasters only needed to submit the address of a page, or URL, to the various engines, which would send a web crawler to crawl that page, extract links to other pages from it, and return information found on the page to be indexed. The process involves a search engine spider downloading a page and storing it on the search engine's own server. A second program, known as an indexer, extracts information about the page, such as the words it contains, where they are located, and any weight for specific words, as well as all links the page contains. All of this information is then placed into a scheduler for crawling at a later date. Website owners recognized the value of a high ranking and visibility in search engine results, creating an opportunity for both white hat and black hat SEO practitioners. According to industry analyst Danny Sullivan, the phrase "search engine optimization" probably came into use in 1997. Sullivan credits Bruce Clay as one of the first people to popularize the term. Early versions of search algorithms relied on webmaster provided information such as the keyword meta tag or index files in engines like ALIWEB. Meta tags provide a guide to each page's content. Using metadata to index pages was found to be less than reliable, however, because the webmaster's choice of keywords in the meta tag could potentially be an inaccurate representation of the site's actual content. Flawed data in meta tags, such as those that were inaccurate or incomplete, created the potential for pages to be mischaracterized in irrelevant searches. Web content providers also manipulated some attributes within the HTML source of a page in an attempt to rank well in search engines. By 1997, search engine designers recognized that webmasters were making efforts to rank well in their search engine and that some webmasters were even manipulating their rankings in search results by stuffing pages with excessive or irrelevant keywords. Early search engines, such as Altavista and Infoseek, adjusted their algorithms to prevent webmasters from manipulating rankings. By heavily relying on factors such as keyword density, which were exclusively within a webmaster's control, early search engines suffered from abuse and ranking manipulation. To provide better results to their users, search engines had to adapt to ensure their results pages showed the most relevant search results, rather than unrelated pages stuffed with numerous keywords by unscrupulous webmasters. This meant moving away from heavy reliance on term density to a more holistic process for scoring semantic signals. Since the success and popularity of a search engine are determined by its ability to produce the most relevant results to any given search, poor quality or irrelevant search results could lead users to find other search sources. Search engines responded by developing more complex ranking algorithms, taking into account additional factors that were more difficult for webmasters to manipulate. Companies that employ overly aggressive techniques can get their client websites banned from the search results. In 2005, the Wall Street Journal reported on a company, Traffic Power, which allegedly used high risk techniques and failed to disclose those risks to its clients. Wired magazine reported that the same company sued blogger and SEO Aaron Wall for writing about the ban. Google's Matt Cutts later confirmed that Google did in fact ban Traffic Power and some of its clients. Some search engines have also reached out to the SEO industry and are frequent sponsors and guests at SEO conferences, webchats, and seminars. Major search engines provide information and guidelines to help with website optimization. Bing Webmaster Tools provides a way for webmasters to submit a sitemap and web feeds, allows users to determine the "crawl rate", and track the web pages index status. In 2015, it was reported that Google was developing and promoting mobile search as a key feature within future products. In response, many brands began to take a different approach to their Internet marketing strategies.

Google-пен қарым-қатынасы

1998 жылы Стэнфорд университетінің екі аспиранты Ларри Пейдж мен Сергей Брин веб-беттердің танымалдылығын бағалау үшін математикалық алгоритмге сүйенген "Backrub" іздеу жүйесін жасады. Алгоритммен есептелген PageRank саны кіріс сілтемелерінің саны мен күшінің функциясы. PageRank веб-серфін кездейсоқ серфін және бір беттен екінші бетке сілтемелерді жалғау арқылы веб-пайдаланушының белгілі бір бетке жету ықтималдығын бағалайды. Бұл кейбір сілтемелер басқаларға қарағанда күштірек екенін білдіреді, өйткені PageRank жоғары бетіне кездейсоқ веб-серфердің жету мүмкіндігі жоғары. Пейдж пен Брин Google-ді 1998 жылы құрды. Google өзінің қарапайым дизайнын ұнатып, интернет пайдаланушылардың саны артып келе жатқан кезде адал ізбасарларын тартты. Беттен тыс факторлар (PageRank және гиперсілтемелерді талдау сияқты) және беттік факторлар (кілттік сөздің жиілігі, мета-тегтер, тақырыптар, сілтемелер және сайттың құрылымы сияқты) Google-ға іздеу жүйелерінде тек беттік факторларды ғана қарастыратын манипуляция түрінен аулақ болуға мүмкіндік беру үшін қарастырылды. PageRank-ті ойнау қиын болса да, веб-мастерлер Inktomi іздеу тетігіне әсер ету үшін сілтеме жасау құралдары мен схемаларын әзірлеген болатын, ал бұл әдістер PageRank-ті ойнау үшін де қолданылатынын дәлелдеді. Көптеген сайттар сілтемелерді алмасуға, сатып алуға және сатуға бағытталған, көбінесе үлкен ауқымда. Бұл схемалардың кейбіреулері немесе сілтеме фермалары сілтемелерді спамдау мақсатында мыңдаған сайттарды құруды қамтиды. 2004 жылға қарай іздеу жүйелері сілтемелерді манипуляциялаудың әсерін азайту үшін рейтингтік алгоритмдерге көптеген ашық емес факторларды енгізді. Ірі іздеу жүйелері Google, Bing және Yahoo, олардың парақтарды рейтингтеу үшін қолданатын алгоритмдерін жарияламайды. Кейбір SEO практиктерін іздеу тетіктерін оңтайландырудың әр түрлі тәсілдерін зерттеді және жеке пікірлерімен бөлісті. Іздеу жүйелеріне қатысты патенттер іздеу жүйелерін жақсы түсіну үшін ақпарат бере алады. 2005 жылы Google әр пайдаланушыға іздеу нәтижелерін жекелейтін болды. Google-дың іздеу тарихынан кейін, Google-да тіркеліп тұрған пайдаланушылар үшін нәтижелер жасалды. 2007 жылы Google PageRank-ті өткізетін ақылы сілтемелерге қарсы науқан жариялады. 2009 жылдың 15 маусымында Google PageRank скульптурасының әсерін азайту үшін сілтемелерде nofollow атрибутын қолдану бойынша шаралар қолданғанын жариялады. Google компаниясының танымал инженері Мэтт Каттс, Google Bot енді nofollow сілтемелерін бірдей қарастырмайды деп мәлімдеді, бұл SEO қызмет көрсетушілерінің PageRank кескінін жасау үшін nofollow қолдануына жол бермеу үшін. Бұл өзгеріс нәтижесінде nofollow пайдалану PageRank-тің булануына әкелді. Жоғарыда айтылған жағдайларды болдырмау үшін SEO инженерлері nofollow тегтерін JavaScript-пен алмастыратын және осылайша PageRank кескінін жасауға мүмкіндік беретін баламалы әдістерді жасады. Сонымен қатар, iframes, Flash және JavaScript қолдануды қамтитын бірнеше шешімдер ұсынылды. 2009 жылдың желтоқсан айында Google барлық пайдаланушылардың веб-іздестіру тарихын іздеу нәтижелерін толтыру үшін пайдаланатынын мәлімдеді. 2010 жылдың 8 маусымында Google Caffeine деп аталатын жаңа веб-индекстеу жүйесі жарияланды. Пайдаланушыларға жаңалықтар, форумдағы жазбалар және басқа да мазмұнды жариялағаннан кейін бұрынғыға қарағанда әлдеқайда ертерек табуға мүмкіндік беру үшін жасалған Google Caffeine Google-да бұрынырақ қарағанда жылдам көріну үшін Google индексін жаңарту тәсіліне өзгеріс енгізді. Кафеинді Google үшін жариялаған бағдарламалық жасақтама инженері Кэрри Граймстің айтуынша, "Кафеин веб-іздестірулер үшін соңғы индекске қарағанда 50 пайыз жаңа нәтиже береді". Google Instant, нақты уақыт іздеу, іздеу нәтижелерін уақытылы және маңызды ету үшін 2010 жылдың соңында енгізілді. Сайт әкімшілері сайтты іздеу рейтингін арттыру үшін бірнеше ай немесе тіпті бірнеше жыл бойы оңтайландыруға жұмсаған. Әлеуметтік желілер мен блогтардың танымалдылығы артуымен жетекші іздеу жүйелері жаңа мазмұнның іздеу нәтижелерінде тез орналасуына мүмкіндік беру үшін алгоритмдерін өзгертті. 2011 жылдың ақпан айында Google Panda жаңартуын жариялады, ол басқа веб-сайттар мен көздерден қайталанған мазмұнды қамтитын веб-сайттарды жазалайды. Тарихи веб-сайттар бір-бірінің мазмұнын көшіріп, осы практикамен айналысу арқылы іздеу тетіктерінің рейтингтерінде пайда көрді. Алайда, Google жаңа жүйе енгізді, ол бірегей емес мазмұны бар сайттарды жазалайды. 2012 жылғы Google Penguin іздеу жүйесінде рейтингті жақсарту үшін манипуляциялық әдістерді қолданған веб-сайттарды жазалауға бағытталған. Google Penguin веб-спаммен күресуге бағытталған алгоритм ретінде ұсынылса да, ол сілтемелер келетін сайттардың сапасын бағалау арқылы спамдік сілтемелерге көбірек назар аударады. 2013 жылғы Google Hummingbird жаңартуы Google-дың табиғи тілді өңдеуін және веб-беттерді түсінуін жақсартуға арналған алгоритмдік өзгерісті ұсынды. Hummingbird-тің тілді өңдеу жүйесі жаңадан танылған "әңгімелі іздеу" терминіне жатады, онда жүйе сұраныштағы әрбір сөзді жақсырақ сәйкестіру үшін беттерді сұраныстың мағынасына қарай бағалайды. Іздеу тетіктерін оңтайландыруға қатысты өзгерістерге сәйкес, мазмұн жариялаушылар мен жазушылар үшін Hummingbird маңызсыз мазмұнды және спамды жою арқылы мәселелерді шешуге, Google-ға жоғары сапалы мазмұнды өндіруге және оларға "сенімді" авторлар ретінде сенуге көмектеседі. 2019 жылдың қазан айында Google АҚШ-тағы ағылшын тіліндегі іздеу сұраныстары үшін BERT модельдерін қолдана бастайтынын жариялады. Трансформерлерден шыққан екі бағытты кодтау ұсыныстары (BERT) Google-дың табиғи тілді өңдеуін жақсартуға жасаған тағы бір әрекеті болды, бірақ бұл жолы пайдаланушылардың іздеу сұраныстарын жақсырақ түсіну үшін. Іздеу тетіктерін оңтайландыру тұрғысынан BERT пайдаланушыларды тиісті мазмұнмен оңай байланыстыруға және іздеу нәтижелері бетінде рейтингтеген веб-сайттарға келетін трафик сапасын арттыруға бағытталған.

In 1998, two graduate students at Stanford University, Larry Page and Sergey Brin, developed "Backrub", a search engine that relied on a mathematical algorithm to rate the prominence of web pages. The number calculated by the algorithm, PageRank, is a function of the quantity and strength of inbound links. PageRank estimates the likelihood that a given page will be reached by a web user who randomly surfs the web and follows links from one page to another. In effect, this means that some links are stronger than others, as a higher PageRank page is more likely to be reached by the random web surfer. Page and Brin founded Google in 1998. Google attracted a loyal following among the growing number of Internet users, who liked its simple design. Off page factors (such as PageRank and hyperlink analysis) were considered as well as on page factors (such as keyword frequency, meta tags, headings, links and site structure) to enable Google to avoid the kind of manipulation seen in search engines that only considered on page factors for their rankings. Although PageRank was more difficult to game, webmasters had already developed link building tools and schemes to influence the Inktomi search engine, and these methods proved similarly applicable to gaming PageRank. Many sites focus on exchanging, buying, and selling links, often on a massive scale. Some of these schemes, or link farms, involved the creation of thousands of sites for the sole purpose of link spamming. By 2004, search engines had incorporated a wide range of undisclosed factors in their ranking algorithms to reduce the impact of link manipulation. The leading search engines, Google, Bing, and Yahoo, do not disclose the algorithms they use to rank pages. Some SEO practitioners have studied different approaches to search engine optimization and have shared their personal opinions. Patents related to search engines can provide information to better understand search engines. In 2005, Google began personalizing search results for each user. Depending on their history of previous searches, Google crafted results for logged in users. In 2007, Google announced a campaign against paid links that transfer PageRank. On June 15, 2009, Google disclosed that they had taken measures to mitigate the effects of PageRank sculpting by use of the nofollow attribute on links. Matt Cutts, a well known software engineer at Google, announced that Google Bot would no longer treat any no follow links, in the same way, to prevent SEO service providers from using nofollow for PageRank sculpting. As a result of this change, the usage of nofollow led to evaporation of PageRank. In order to avoid the above, SEO engineers developed alternative techniques that replace nofollowed tags with obfuscated JavaScript and thus permit PageRank sculpting. Additionally, several solutions have been suggested that include the usage of iframes, Flash, and JavaScript. In December 2009, Google announced it would be using the web search history of all its users in order to populate search results. On June 8, 2010 a new web indexing system called Google Caffeine was announced. Designed to allow users to find news results, forum posts, and other content much sooner after publishing than before, Google Caffeine was a change to the way Google updated its index in order to make things show up quicker on Google than before. According to Carrie Grimes, the software engineer who announced Caffeine for Google, "Caffeine provides 50 percent fresher results for web searches than our last index " Google Instant, real time search, was introduced in late 2010 in an attempt to make search results more timely and relevant. Historically site administrators have spent months or even years optimizing a website to increase search rankings. With the growth in popularity of social media sites and blogs, the leading engines made changes to their algorithms to allow fresh content to rank quickly within the search results. In February 2011, Google announced the Panda update, which penalizes websites containing content duplicated from other websites and sources. Historically websites have copied content from one another and benefited in search engine rankings by engaging in this practice. However, Google implemented a new system that punishes sites whose content is not unique. The 2012 Google Penguin attempted to penalize websites that used manipulative techniques to improve their rankings on the search engine. Although Google Penguin has been presented as an algorithm aimed at fighting web spam, it really focuses on spammy links by gauging the quality of the sites the links are coming from. The 2013 Google Hummingbird update featured an algorithm change designed to improve Google's natural language processing and semantic understanding of web pages. Hummingbird's language processing system falls under the newly recognized term of "conversational search", where the system pays more attention to each word in the query in order to better match the pages to the meaning of the query rather than a few words. With regards to the changes made to search engine optimization, for content publishers and writers, Hummingbird is intended to resolve issues by getting rid of irrelevant content and spam, allowing Google to produce high quality content and rely on them to be 'trusted' authors. In October 2019, Google announced they would start applying BERT models for English language search queries in the US. Bidirectional Encoder Representations from Transformers (BERT) was another attempt by Google to improve their natural language processing, but this time in order to better understand the search queries of their users. In terms of search engine optimization, BERT intended to connect users more easily to relevant content and increase the quality of traffic coming to websites that are ranking in the Search Engine Results Page.

Индекстеу

Google, Bing және Yahoo! сияқты жетекші іздеу жүйелері алгоритмдік іздеу нәтижелеріндегі беттерді табу үшін сканерлерді пайдаланады. Басқа іздеу жүйелерінде индекстелген беттерге сілтемелер қойылған беттерді жіберудің қажеті жоқ, себебі олар автоматты түрде табылады. Yahoo! Directory және DMOZ, 2014 және 2017 жылдары жабылып қалған екі ірі каталог, екеуіне де қолмен жіберу және адам редакциялық тексеру талап етілді. Google, Google Search Console ұсынады, онда XML Sitemap ағынын тегін жасауға және жіберуге болады, бұл барлық беттерді табуға, әсіресе URL жіберу консолінен басқа, сілтемелерді автоматты түрде оқу арқылы табылмайтын беттерді табуға көмектеседі. Yahoo! бұрын төлемді жіберу қызметін ұсынған, ол әрбір клик үшін сканерлеуге кепілдік берген; алайда, бұл практика 2009 жылы тоқтатылды. Іздеу жүйесінің сканерлері сайтты сканерлеген кезде әртүрлі факторларды қарастыруы мүмкін. Іздеу жүйелері барлық беттерді де индекстемейді. Сайттың түбірлік каталогынан беттердің қашықтығы да беттердің сканерленуіне әсер ететін фактор болуы мүмкін. Google іздеулерінің көп бөлігі мобильді құрылғылардан жасалады. 2016 жылдың қарашасында Google веб-сайттарды сканерлеу әдісіне үлкен өзгеріс енгізетінін және индексін мобильдіге бірінші кезекте ауыстыра бастағанын хабарлады, яғни нақты веб-сайттың мобильді нұсқасы Google индексіне қосатын мазмұнның бастапқы нүктесі болады. 2019 жылдың мамырында Google өз сканерінің көрсету қозғалтқышын Chromium-ның соңғы нұсқасына (жарияланған кезде 74 нұсқасы) жаңартты. Google Chromium көрсету қозғалтқышын үнемі соңғы нұсқаға жаңартатынын мәлімдеді. 2019 жылдың желтоқсанында Google өздерінің көрсету қызметі қолданатын Chrome-тың соңғы нұсқасын көрсету үшін сканерлеушісінің пайдаланушы агенті жолын жаңарта бастады. Бұл кешігу веб-мастерлерге белгілі бот пайдаланушы агенті жолына жауап беретін кодты жаңартуға уақыт беру үшін жасалды. Google бағалау жүргізіп, әсері шамалы болады деп сенді.

Жүгіруді болдырмау

Іздеу индекстеріндегі қажетсіз мазмұнды болдырмау үшін веб-мастерлер жәндіктерге стандартты robots.txt файлы арқылы белгілі бір файлдарды немесе каталогтарды сканерлеуден тыйым сала алады. Бұл файл доменнің түбірлік каталогында орналасқан. Сонымен қатар, іздеу жүйесінің дерекқорынан бетті тікелей алып тастау үшін роботтарға арналған мета тегтерді (әдетте <meta name="robots" content="noindex">) қолдануға болады. Іздеу жүйесі сайтқа кіргенде, түбірлік каталогтағы robots.txt файлы бірінші сканерленеді. Robots.txt файлы талданады және роботқа қай беттерді сканерлеуге болмайтынын көрсетеді. Іздеу машинасының сканері бұл файлдың кэштегі көшірмесін сақтайтындықтан, кейде веб-мастер сканерлеуді қаламаған беттерді де сканерлеуі мүмкін. Әдетте, сканерлеуге тыйым салынған беттерге кіру беттері, мысалы, сауда себеттері және пайдаланушыға арналған мазмұн, ішкі іздеулердің нәтижелері кіреді. 2007 жылдың наурызында Google веб-мастерлерді ішкі іздеу нәтижелерін индекстеуден аулақ болуға ескертті, себебі бұл беттер іздеу спамы болып саналады. 2020 жылы Google бұл стандартты қолдануды тоқтатты (және оның кодын ашық дереккөзді етуге берді) және енді оны міндетті нұсқау емес, кеңес ретінде қарастырады. Беттердің индекстелмеуін толық қамтамасыз ету үшін бет деңгейіндегі роботтың мета тегін қосу қажет.

Өсе түсетін танымалдық

Іздеу нәтижелерінде веб-беттің танымалдылығын арттырудың әртүрлі әдістері бар. Бір веб-сайттың беттерін өзара байланыстырып, маңызды беттерге көбірек сілтемелер беру оның көрінуін жақсарта алады. Бет дизайны пайдаланушыларға сайтқа сенімділік тудырып, оны тапқаннан кейін қалуға ынталандырады. Егер адамдар сайттан тез шығып кетсе, бұл сайтқа қарсы саналады және оның сенімділігіне әсер етеді. Көп ізделетін кілт сөздерді қамтитын мазмұн жазу, түрлі іздеу сұрақтарына сәйкес келетіндіктен, трафикті арттырады. Іздеу жүйелерінің жиі қайтадан тексеруі үшін мазмұнды жаңарту сайтқа қосымша салмақ береді. Веб-беттің метадеректеріне, атап айтқанда тақырып тегі мен метасипаттамаға тиісті кілт сөздерді қосу, сайттың іздеу тізімдерінің сәйкестігін арттырып, осылайша трафикті ұлғайтады. Бірнеше URL арқылы қол жетімді веб-беттердің URL канонизациясын, каноникалық сілтеме элементін немесе 301 қайта бағыттауларын пайдалану арқылы, URL-дің әртүрлі нұсқаларына жасалған сілтемелердің барлығы беттің сілтеме танымалдылығына есептелуіне көмектеседі. Бұл кіріс сілтемелер деп аталады, олар URL-ге сілтеме жасайды және веб-сайттың сенімділігіне әсер ететін беттің танымалдылығын арттырады. Ақ шляпалы әдістер ұзақ мерзімді нәтижелер береді, ал қара шляпалы әдістер іздеу жүйелері олардың қандай әрекет ететінін анықтағаннан кейін сайттарының уақытша немесе толыққанды тоқтатылуы мүмкін екенін күтеді. SEO әдісі іздеу жүйелерінің талаптарына сәйкес келсе және алдауға жол бермесе, ол ақ шляпалы деп есептеледі. Іздеу жүйелерінің талаптары ережелер немесе заңдар түрінде жазылмағандықтан, бұл маңызды айырмашылық. Ақ шляпалы SEO тек талаптарды орындау ғана емес, сонымен қатар іздеу жүйесі индекстейтін және кейіннен рейтингтейтін мазмұнның пайдаланушы көретін мазмұнмен бірдей болуын қамтамасыз етуді де қамтиды. Ақ шляпалы кеңестер, әдетте, іздеу жүйелері үшін емес, пайдаланушылар үшін мазмұн жасау және содан кейін осы мазмұнды алгоритмді мақсатынан ауыттыруға тырысудың орнына, онлайн "өгіздер" алгоритмдеріне оңай қолжетімді ету ретінде қорытындыланады. Ақ шляпалы SEO көп жағынан қолжетімділікті арттыратын веб-дамытуға ұқсас, бірақ екеуі толыққанды бірдей емес. Қара шляпалы SEO іздеу жүйелері мақұлдамайтын немесе алдауды қамтитын тәсілдермен рейтингті жақсартуға тырысады. Бір қара шляпалы әдіс жасырылған мәтінді пайдаланады, мысалы, фонға ұқсас түсті мәтін, көрінбейтін div ішінде немесе экраннан тыс орналасқан мәтін. Тағы бір әдіс - бетті адам немесе іздеу жүйесі сұраған кезде әртүрлі көрсету, бұл "жасыру" деп аталады. Кейде "сұр шляпалы SEO" деп аталатын үшінші санат та бар. Бұл қара шляпалы және ақ шляпалы тәсілдердің арасындағы жағдай, онда қолданылатын әдістер сайтты жазалаудан сақтайды, бірақ пайдаланушылар үшін ең жақсы мазмұнды жасауға бағытталмайды. Сұр шляпалы SEO-ның жалғыз мақсаты - іздеу жүйесінің рейтингін жақсарту. Іздеу жүйелері қара немесе сұр шляпалы әдістерді қолданғанын анықтаған сайттарды, олардың рейтингін төмендету арқылы немесе тізімдерін дерекқорынан толығымен жою арқылы жазалауы мүмкін. Мұндай жазалар іздеу жүйелерінің алгоритмдері арқылы автоматты түрде немесе сайтты қолмен тексеру арқылы қолданылуы мүмкін. Мысалы, 2006 жылдың ақпан айында Google алаяқтық әрекеттерді қолданғаны үшін BMW Germany және Ricoh Germany компанияларын тізімдерден алып тастады. Алайда екі компания да тез арада кешірім сұрап, қателерді түзетіп, Google-дың іздеу нәтижелері бетіне қайта оралды.

A variety of methods can increase the prominence of a webpage within the search results. Cross linking between pages of the same website to provide more links to important pages may improve its visibility. Page design makes users trust a site and want to stay once they find it. When people bounce off a site, it counts against the site and affects its credibility. Writing content that includes frequently searched keyword phrases so as to be relevant to a wide variety of search queries will tend to increase traffic. Updating content so as to keep search engines crawling back frequently can give additional weight to a site. Adding relevant keywords to a web page's metadata, including the title tag and meta description, will tend to improve the relevancy of a site's search listings, thus increasing traffic. URL canonicalization of web pages accessible via multiple URLs, using the canonical link element or via 301 redirects can help make sure links to different versions of the URL all count towards the page's link popularity score. These are known as incoming links, which point to the URL and can count towards the page link's popularity score, impacting the credibility of a website. White hats tend to produce results that last a long time, whereas black hats anticipate that their sites may eventually be banned either temporarily or permanently once the search engines discover what they are doing. An SEO technique is considered a white hat if it conforms to the search engines' guidelines and involves no deception. As the search engine guidelines are not written as a series of rules or commandments, this is an important distinction to note. White hat SEO is not just about following guidelines but is about ensuring that the content a search engine indexes and subsequently ranks is the same content a user will see. White hat advice is generally summed up as creating content for users, not for search engines, and then making that content easily accessible to the online "spider" algorithms, rather than attempting to trick the algorithm from its intended purpose. White hat SEO is in many ways similar to web development that promotes accessibility, although the two are not identical. Black hat SEO attempts to improve rankings in ways that are disapproved of by the search engines or involve deception. One black hat technique uses hidden text, either as text colored similar to the background, in an invisible div, or positioned off screen. Another method gives a different page depending on whether the page is being requested by a human visitor or a search engine, a technique known as cloaking. Another category sometimes used is grey hat SEO. This is in between the black hat and white hat approaches, where the methods employed avoid the site being penalized but do not act in producing the best content for users. Grey hat SEO is entirely focused on improving search engine rankings. Search engines may penalize sites they discover using black or grey hat methods, either by reducing their rankings or eliminating their listings from their databases altogether. Such penalties can be applied either automatically by the search engines' algorithms or by a manual site review. One example was the February 2006 Google removal of both BMW Germany and Ricoh Germany for the use of deceptive practices. Both companies, however, quickly apologized, fixed the offending pages, and were restored to Google's search engine results page.

Маркетингтік стратегия ретінде

SEO әрбір веб-сайт үшін тиімді стратегия емес, және сайт операторының мақсаттарына байланысты, әрбір клик үшін төлеу (PPC) кампаниялары арқылы жарнамалау сияқты басқа интернет-маркетинг стратегиялары тиімдірек болуы мүмкін. Іздеу жүйесінің маркетингі (SEM) – іздеу жүйесіндегі жарнамалық кампанияларды жоспарлау, іске асыру және оңтайландыру процесі. Оның SEO-дан ерекшелігі іздеу нәтижелеріндегі ақылы және ақысыз үлкендік бойынша басымдықтардың айырмашылығы ретінде қарастырылады. SEM көбінесе маңыздылыққа, маңыздылықтан гөрі көбірек назар аударады; веб-сайтты дамытушылар SEM-ді ең маңызды деп санауы керек, өйткені көптеген пайдаланушылар іздеудің негізгі тізімдеріне жүгінеді. Сәтті интернет-маркетинг кампаниясы интернет қолданушыларын қызықтыру және оларды ынталандыру үшін жоғары сапалы веб-беттерді құруға, сайт иелеріне нәтижелерді өлшеуге мүмкіндік беретін талдау бағдарламаларын орнатуға және сайттың конверсия деңгейін жақсартуға байланысты болуы мүмкін. 2015 жылдың қараша айында Google өзінің Іздеу сапасын бағалау бойынша 160 беттік толық нұсқаулықты жариялады, ол олардың назарының "пайдалылыққа" және мобильді жергілікті іздеуге қарай ығысқандығын көрсетті. Соңғы жылдары мобильді нарық өркендеп, десктоптарды басып озды, бұл туралы StatCounter 2016 жылдың қазан айында 2,5 миллион веб-сайтты талдап көрсеткен, нәтижесінде беттердің 51,3% мобильді құрылғылар арқылы жүктелгені анықталды. Google мобильді пайдаланудың танымалдылығын пайдаланып, веб-сайттарды Google Search Console және Mobile Friendly Test пайдалануға шақырады, бұл компанияларға өз веб-сайттарын іздеу жүйесінің нәтижелерімен салыстыруға және олардың қаншалықты қолданушыға ыңғайлы екенін анықтауға мүмкіндік береді. Неғұрлым кілт сөздер бір-біріне жақын болса, олардың рейтингі кілттік сөздерге негізделген жақсарады. Іздеу жүйелері өз алгоритмдерін өзгерте алады, бұл веб-сайттың іздеу жүйесіндегі орнын әсер етеді және трафик жоғалтуына әкелуі мүмкін. Google-дың бас директоры Эрик Шмидт 2010 жылы Google 500-ден астам алгоритмді өзгертіп, күніне шамамен 1,5 өзгеріс жасады деді. Веб-сайт операторлары үшін іздеу жүйесі трафигіне тәуелділіктен құтылу – ақылды бизнес-практика саналады. Веб-қраушылардың қолжетімділігінен (жоғарыда айтылғандай) өзге, пайдаланушының веб-қолжетімділігі де SEO үшін маңызды болып келеді.

SEO is not an appropriate strategy for every website, and other Internet marketing strategies can be more effective, such as paid advertising through pay per click (PPC) campaigns, depending on the site operator's goals. Search engine marketing (SEM) is the practice of designing, running, and optimizing search engine ad campaigns. Its difference from SEO is most simply depicted as the difference between paid and unpaid priority ranking in search results. SEM focuses on prominence more so than relevance; website developers should regard SEM with the utmost importance with consideration to visibility as most navigate to the primary listings of their search. A successful Internet marketing campaign may also depend upon building high quality web pages to engage and persuade internet users, setting up analytics programs to enable site owners to measure results, and improving a site's conversion rate. In November 2015, Google released a full 160 page version of its Search Quality Rating Guidelines to the public, which revealed a shift in their focus towards "usefulness" and mobile local search. In recent years the mobile market has exploded, overtaking the use of desktops, as shown in by StatCounter in October 2016, where they analyzed 2.5 million websites and found that 51.3% of the pages were loaded by a mobile device. Google has been one of the companies that are utilizing the popularity of mobile usage by encouraging websites to use their Google Search Console, the Mobile Friendly Test, which allows companies to measure up their website to the search engine results and determine how user friendly their websites are. The closer the keywords are together their ranking will improve based on key terms. Search engines can change their algorithms, impacting a website's search engine ranking, possibly resulting in a serious loss of traffic. According to Google's CEO, Eric Schmidt, in 2010, Google made over 500 algorithm changes – almost 1.5 per day. It is considered a wise business practice for website operators to liberate themselves from dependence on search engine traffic. In addition to accessibility in terms of web crawlers (addressed above), user web accessibility has become increasingly important for SEO.

Халықаралық нарықтар

Оптимизациялау әдістері мақсатты нарықтағы басым іздеу жүйелеріне қарай өте жақсы бейімделген. Іздеу жүйелерінің нарықтық үлесі әр нарықта әртүрлі, сондай-ақ бәсекелестік де әртүрлі. 2003 жылы Дэнни Салливан Google барлық іздеулердің шамамен 75% құрағанын мәлімдеді. АҚШ-тан тыс нарықтарда Google-дың үлесі көбінесе жоғары, және 2007 жылға қарай Google әлемдегі басты іздеу жүйесі болып қала берді. 2006 жылы Google Германия нарығында 85-90% үлеске ие болды. Сол кезде АҚШ-та жүздеген SEO фирмасы болса, Германияда олардың саны бес шамасында еді. Осындай нарық үлесі бірнеше елде қамтамасыз етілді. 2009 жылға қарай Google жетекші іздеу жүйесі емес, бірнеше ірі нарықтар бар. Көп жағдайда, Google белгілі бір нарықта көшбасшы болмағанда, ол жергілікті ойыншыдан қалып қояды. Ең айқын мысалдар – Қытай, Жапония, Оңтүстік Корея, Ресей және Чехия, онда тиісінше Baidu, Yahoo! Japan, Naver, Yandex және Seznam нарық көшбасшылары болып табылады. Халықаралық нарықтарда іздеуді оңтайландыру үшін веб-беттерді кәсіби түрде аудару, мақсатты нарықта жоғары деңгейлі доменді тіркеу және жергілікті IP-адрес ұсынатын веб-хостинг қажет болуы мүмкін. Әйтпесе, іздеуді оңтайландырудың негізгі элементтері тілге қарамастан бірдей болып қалады. 2006 жылдың наурыз айында KinderStart іздеу жүйесінің нәтижелеріне байланысты Google-ға қарсы сотқа шағым түсірді. Сотқа шағымданғанға дейін KinderStart веб-сайты Google индексінен алынып тасталды, нәтижесінде сайтқа келушілер саны 70% төмендеді. 2007 жылдың 16 наурызында Калифорнияның Солтүстік округінің (Сан-Хосе бөлімшесі) АҚШ округтік соты KinderStart-тың шағымын түзетуге рұқсатсыз қабылдамады және Google-дың KinderStart-тың адвокатына қарсы 11-қағида бойынша санкциялар салу туралы өтінішінің бір бөлігін қабылдады, оған Google-дың заңдық шығыстарының бір бөлігін төлеуді міндеттеді.