Введение
Сбор данных с веб-сайтов и копирование контента с других сайтов
Сайт-скрепер – это веб-сайт, который копирует контент с других сайтов, используя веб-скрейпинг. Затем этот контент дублируется с целью получения прибыли, обычно за счет рекламы, а иногда и путем продажи пользовательских данных. Сайты-скреперы бывают разных видов: некоторые предоставляют мало или вообще никакой оригинальной информации и предназначены для сбора данных о пользователях, таких как адреса электронной почты, для последующей рассылки спама. Сайты агрегации цен и интернет-магазины получают доступ к множеству предложений товаров и позволяют пользователям быстро сравнивать цены.
Примеры веб-сайтов скребков
Поисковые системы, такие как Google, можно рассматривать как разновидность сайта-скрейпера. Поисковые системы собирают контент с других веб-сайтов, сохраняют его в своих базах данных, индексируют и предоставляют полученный контент своим пользователям. Большая часть контента, собранного поисковыми системами, защищена авторским правом. Техника скрепинга также применялась на различных сайтах знакомств. Эти сайты часто комбинируют скрепинг с распознаванием лиц. Скрепинг также используется на сайтах общего анализа (распознавания) изображений, а также на сайтах, специально предназначенных для идентификации изображений сельскохозяйственных культур с вредителями и болезнями.
Изготовленные для рекламы
Некоторые сайты-скреперы создаются с целью заработка на рекламных программах. В таких случаях их называют сайтами, созданными для AdSense, или MFA. Этот пренебрежительный термин относится к веб-сайтам, не имеющим никакой ценности, кроме как заманивать посетителей с единственной целью – кликов по рекламе. Сайты, созданные для AdSense, рассматриваются как спам для поисковых систем, засоряющий результаты поиска некачественными ссылками. Скребленный контент избыточен по сравнению с тем, что поисковая система показала бы в обычных условиях, если бы в выдаче не было сайтов MFA. Некоторые сайты-скреперы ссылаются на другие ресурсы, чтобы улучшить свои позиции в поисковой выдаче с помощью частной блогерской сети. До обновления алгоритма поиска Google, известного как Panda, тип сайтов-скреперов, называемый автоблогом, был довольно распространен среди недобросовестных маркетологов, использовавших метод, известный как спамдекстинг.
Законность
Сайты-скрейперы могут нарушать закон об авторском праве. Даже извлечение контента с сайта с открытым контентом может являться нарушением авторских прав, если это делается способом, не соответствующим условиям лицензии. Например, лицензии GNU Free Documentation License (GFDL) и Creative Commons ShareAlike (CC BY SA), используемые в Википедии, требуют от лица, повторно публикующего материалы Википедии, информировать своих читателей об условиях этих лицензий и указывать авторство оригинального автора.
Техника
В зависимости от цели скрепера, методы таргетинга веб-сайтов различаются. Например, сайты с большим объемом контента, такие как авиакомпании, магазины бытовой электроники, универмаги и т. п., могут регулярно подвергаться атакам со стороны конкурентов, чтобы отслеживать информацию о ценах. Другой тип скрепера извлекает фрагменты и текст с веб-сайтов, занимающих высокие позиции по целевым ключевым словам. Таким образом, они надеются занять высокие позиции в страницах результатов поисковой выдачи (SERP), используя рейтинг страницы исходной страницы. RSS-каналы уязвимы для скреперов. Другие сайты-скреперы состоят из рекламы и абзацев слов, случайно выбранных из словаря. Зачастую посетитель кликает на рекламу с оплатой за клик на таком сайте, поскольку это единственный понятный текст на странице. Операторы этих сайтов получают финансовую выгоду от этих кликов. Рекламные сети заявляют, что постоянно работают над удалением этих сайтов из своих программ, хотя сами сети напрямую выигрывают от кликов, генерируемых на таких ресурсах. С точки зрения рекламодателей, сети, похоже, не прилагают достаточных усилий для решения этой проблемы. Скреперы часто ассоциируются с линк-фермами и иногда воспринимаются как одно и то же, особенно когда несколько скреперов ссылаются на один и тот же целевой сайт. Часто атакуемый сайт может быть обвинен в участии в линк-ферме из-за неестественной структуры входящих ссылок, ведущих на сайт жертвы с множества сайтов-скреперов.
Угон домена
Некоторые программисты, создающие сайты для сбора данных, могут приобретать недавно освободившиеся доменные имена, чтобы повторно использовать их SEO-вес в Google. Существуют целые компании, специализирующиеся на анализе освободившихся доменов и использовании их исторического потенциала для ранжирования. Это позволяет SEO-специалистам использовать уже существующие обратные ссылки на доменное имя. Некоторые спамеры могут пытаться подобрать тематику к освободившемуся сайту или скопировать существующий контент из веб-архива, чтобы сохранить видимость сайта и предотвратить потерю обратных ссылок. Например, освободившийся сайт о фотографе может быть перерегистрирован для создания сайта с советами по фотографии или использоваться в частной блогерской сети для продвижения собственного сайта о фотографии. Сервисы некоторых регистраторов освободившихся доменных имен предоставляют возможность находить такие домены и собирать HTML-код, который ранее размещался на сайте.