Введение
Умышленная манипуляция индексами поисковых систем
Спамдексинг (также известный как поисковый спам, отравление поисковых систем, "черная" поисковая оптимизация, поисковый или веб-спам) – это преднамеренная манипуляция индексами поисковых систем. Он включает в себя ряд методов, таких как наращивание ссылочной массы и повторение нерелевантных фраз, для искусственного изменения релевантности или видимости ресурсов в результатах поиска, что противоречит назначению системы индексирования. Спамдексинг можно рассматривать как разновидность поисковой оптимизации, однако существует множество методов SEO, направленных на улучшение качества и представления контента веб-сайтов и предоставление полезной информации пользователям.
Наполнение мета-тегом
Это включает в себя повторение ключевых слов в метатегах и использование мета-ключевых слов, не имеющих отношения к содержанию сайта. Эта тактика оказалась неэффективной. Google заявил в сентябре 2009 года, что не учитывает мета-теги с ключевыми словами при ранжировании в поисковой выдаче.
Страницы входа
"Ворота" или дверные страницы – это веб-страницы низкого качества, созданные с минимальным содержанием, которые перенасыщены очень похожими ключевыми словами и фразами. Они предназначены для достижения высоких позиций в результатах поиска, но не несут никакой пользы для посетителей, ищущих информацию. На дверной странице обычно размещается надпись "нажмите здесь, чтобы войти", а для этой же цели может использоваться автоматическое перенаправление. В 2006 году Google исключил производителя автомобилей BMW из результатов поиска за использование "дверных страниц" на немецком сайте компании BMW.de.
Место для скребков
Сайты-скреперы создаются с использованием различных программ, предназначенных для "скрейпинга" страниц результатов поисковых систем или других источников контента и создания "контента" для веб-сайта. Конкретное представление контента на этих сайтах может быть уникальным, но по сути представляет собой компиляцию контента, взятого из других источников, зачастую без разрешения. Такие сайты обычно переполнены рекламой (например, рекламой с оплатой за клик) или перенаправляют пользователя на другие ресурсы. Более того, сайты-скреперы могут даже занимать более высокие позиции в поисковой выдаче, чем оригинальные сайты, по запросам, связанным с их собственной информацией и названиями организаций.
Прокат товаров
Спиннинг статей подразумевает переписывание существующих статей, а не простое копирование контента с других сайтов, чтобы избежать санкций поисковых систем за дублированный контент. Этот процесс выполняется наёмными авторами или автоматизируется с использованием базы синонимов или искусственной нейронной сети.
Машинный перевод
Аналогично практике переписывания статей, некоторые сайты используют машинный перевод для создания версий своего контента на нескольких языках без участия редактора, что приводит к бессвязным текстам, которые, тем не менее, продолжают индексироваться поисковыми системами и привлекать трафик.
Фермы ссылки
Фермы ссылок – это плотно связанные сети веб-сайтов, которые ссылаются друг на друга исключительно для манипулирования алгоритмами ранжирования поисковых систем. Их также иронично называют обществами взаимной похвалы. Использование ферм ссылок значительно сократилось после запуска первого обновления Panda от Google в феврале 2011 года, которое внесло существенные улучшения в алгоритм выявления спама.
Сети частных блогов
Сети блогов (PBNs) — это группа авторитетных веб-сайтов, используемых в качестве источника контекстных ссылок для повышения позиций основного сайта владельца в поисковой выдаче. Владельцы сайтов PBN используют просроченные домены или домены, приобретенные на аукционах, которые уже имеют обратные ссылки с высокоавторитетных ресурсов. Google неоднократно проводил масштабные кампании по деиндексации и наказывал пользователей PBN, начиная с 2014 года.
Скрытые ссылки
Размещение гиперссылок в местах, незаметных для посетителей, используется для повышения популярности ссылок. Выделенный текст ссылки может способствовать более высокому ранжированию веб-страницы по соответствующему запросу.
Сибильная атака
Сибильная атака — это создание множества поддельных личностей с вредоносными целями, названная в честь известной пациентки с диссоциативным расстройством личности и книги о ней с тем же именем, "Сибиль". Спамер может создавать несколько веб-сайтов с разными доменными именами, которые ссылаются друг на друга, например, фальшивые блоги (известные как спам-блоги).
Спам-блоги
Спам-блоги – это блоги, созданные исключительно для коммерческого продвижения и передачи ссылочного веса целевым сайтам. Часто эти "splogs" маскируются под легитимные веб-сайты, но при внимательном рассмотрении оказывается, что они написаны с использованием программ-генераторов текста (спиннеров) или содержат очень некачественный, едва читаемый контент. По своей сути они схожи с линк-фермами.
Спам в гостевых блогах
Спам гостевыми блогами – это практика размещения гостевых постов на веб-сайтах исключительно с целью получения ссылки на другой сайт или сайты. К сожалению, это часто путают с добросовестным гостевым блогингом, преследующим иные цели, чем просто размещение ссылок. Эта техника стала известной благодаря Мэтту Каттсу, который публично объявил "войну" этой форме ссылочного спама.
Покупка просроченных доменов
Некоторые спамеры ссылками используют программы для поиска просроченных доменов или отслеживают DNS-записи доменов, срок действия которых скоро истечет, затем покупают их после истечения срока и заменяют страницы ссылками на свои ресурсы. Однако, есть предположения, но нет подтверждений, что Google обнуляет данные о ссылках на просроченных доменах. Чтобы сохранить все предыдущие данные о ранжировании домена в Google, рекомендуется покупателю приобрести домен до того, как он будет сброшен. Некоторые из этих техник могут быть использованы для создания "Google-бомбы" – то есть для сговора с другими пользователями с целью повышения позиций конкретной страницы в результатах поиска по определенному запросу.
Использование страниц, на которые можно писать в мире
Веб-сайты, которые могут редактироваться пользователями, могут быть использованы спам-дексами для размещения ссылок на спам-сайты, если не приняты соответствующие меры по борьбе со спамом. Автоматизированные спам-боты способны быстро сделать пользовательскую часть сайта, доступную для редактирования, бесполезной. Программисты разработали множество автоматизированных методов предотвращения спама для блокировки или, как минимум, замедления работы спам-ботов.
Спам в блогах
Спам в блогах — это размещение или навязывание ссылок случайным образом на других сайтах, с включением желаемого ключевого слова в текст гиперссылки входящей ссылки. Гостевые книги, форумы, блоги и любые сайты, принимающие комментарии посетителей, являются особенно уязвимыми и часто подвергаются автоматизированной рассылке спама, когда программное обеспечение создает бессмысленные сообщения со ссылками, как правило, нерелевантными и нежелательными.
Спам комментариев
Спам в комментариях – это разновидность спама ссылками, возникшая на веб-страницах с возможностью динамического редактирования пользователями, таких как вики, блоги и гостевые книги. Это может создавать проблемы, поскольку можно разработать программы, которые автоматически выбирают случайные страницы, редактируемые пользователями, например, статьи в Википедии, и добавляют спам-ссылки.
Вики спам
Вики-спам — это когда спамер использует возможность открытого редактирования вики-систем для размещения ссылок с вики-сайта на спам-сайт.
Спам в реестре рефералов
Реферальный спам происходит, когда злоумышленник или помощник спамера получает доступ к веб-странице (принимающей стороне), переходя по ссылке с другой веб-страницы (отправляющей стороне), в результате чего браузер передает принимающей стороне адрес отправителя. Некоторые веб-сайты ведут журнал рефералов, показывающий, какие страницы ссылаются на данный сайт. Если робот многократно обращается ко многим сайтам, указывая в качестве реферала сообщение или конкретный адрес, это сообщение или интернет-адрес появляется в журнале рефералов этих сайтов. Поскольку некоторые поисковые системы оценивают важность сайтов по количеству ссылающихся на них ресурсов, реферальный спам может повысить позиции сайтов спамера в поисковой выдаче. Кроме того, администраторы сайтов, обнаружив записи рефералов в своих логах, могут перейти по ссылке на страницу отправителя спама.
Контрмеры
Из-за большого количества спама, публикуемого на веб-страницах, редактируемых пользователями, Google предложил тег "nofollow", который можно добавлять к ссылкам. Поисковая система, работающая на основе анализа ссылок, такая как PageRank от Google, не будет учитывать ссылку для повышения рейтинга целевого сайта, если эта ссылка содержит тег nofollow. Это позволяет предотвратить повышение позиций сайтов в поисковой выдаче за счет спам-ссылок, размещаемых на страницах, доступных для редактирования пользователями. Nofollow используется рядом крупных веб-сайтов, включая WordPress, Blogger и Wikipedia.
Зеркальные веб-сайты
Зеркальный сайт — это размещение нескольких веб-сайтов с концептуально схожим содержанием, но использующих разные URL-адреса. Некоторые поисковые системы повышают рейтинг результатов поиска, если ключевое слово из запроса содержится в URL.
Перенаправление URL
Перенаправление URL — это автоматический переход пользователя на другую страницу без его участия, например, с использованием тегов META Refresh, Flash, JavaScript, Java или серверных перенаправлений. Однако 301 редирект, или постоянный редирект, не рассматривается как злонамеренное поведение.
Маскировка
Клоакинг — это любой из нескольких способов показа поисковому роботу страницы, отличной от той, которую видит обычный пользователь. Это может быть попыткой ввести поисковые системы в заблуждение относительно содержимого веб-сайта. Однако клоакинг также может использоваться этично для повышения доступности сайта для пользователей с ограниченными возможностями или для предоставления пользователям контента, который поисковые системы не могут обработать или разобрать. Он также применяется для доставки контента в зависимости от местоположения пользователя; сама Google использует IP-доставку, форму клоакинга, для выдачи результатов поиска. Другой формой клоакинга является замена кода, то есть оптимизация страницы для достижения высоких позиций в рейтинге, а затем замена ее другой страницей после достижения этих позиций. Google называет такие перенаправления "скрытыми перенаправлениями".
Опущение страницы поисковой системой
Страницы, подвергшиеся спам-дексингу, иногда исключаются из результатов поиска поисковой системой.
Опущение страницы пользователем
Пользователи могут использовать поисковые операторы для фильтрации результатов. В Google ключевое слово, перед которым стоит символ "–" (минус), исключает из результатов поиска сайты, содержащие это ключевое слово на своих страницах или в URL-адресе страницы. Например, запрос "<нежелательный сайт>" исключит сайты, содержащие слово "<нежелательный сайт>" на своих страницах, а также страницы, в URL-адресе которых содержится "<нежелательный сайт>". Пользователи также могут использовать расширение для Google Chrome "Personal Blocklist (by Google)", выпущенное Google в 2011 году в качестве меры противодействия контент-фермам. С помощью этого расширения пользователи могли блокировать отдельные страницы или группы страниц, чтобы они не отображались в результатах поиска. По состоянию на 2021 год оригинальное расширение, по всей видимости, было удалено, однако могут использоваться аналогичные расширения с похожей функциональностью. Возможными решениями для борьбы с отравлением поисковой выдачи, приводящим к перенаправлению на нелегальные интернет-аптеки, является уведомление владельцев уязвимых легитимных доменов. Кроме того, ручная оценка поисковой выдачи, ранее опубликованные алгоритмы, основанные на анализе ссылок и контента, а также специально разработанные автоматические системы обнаружения и классификации могут служить эталоном для эффективной идентификации мошеннических кампаний, связанных с фармацевтикой.