Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Веб-сайттарды скрепинг және басқа веб-сайттардың мазмұнын көшіру
Website scraping and copying the content from other websites
Скреперлік сайт – веб-скрепинг арқылы басқа веб-сайттардың мазмұнын көшіретін веб-сайт. Мазмұн содан кейін кіріс табу мақсатымен көшіріледі, әдетте жарнама арқылы, ал кейде пайдаланушы деректерін сату арқылы. Скреперлік сайттар түрлі формада болады: кейбіреулері аз материал немесе ақпарат ұсынады және спамдық электрондық пошта жіберу үшін электрондық пошта мекенжайларын алуға бағытталған. Бағаларды жинақтау және сауда сайттары бір өнімнің бірнеше жарияланымдарына қол жеткізеді және пайдаланушыға бағаларды жылдам салыстыруға мүмкіндік береді.
A scraper site is a website that copies content from other websites using web scraping. The content is then mirrored with the goal of creating revenue, usually through advertising and sometimes by selling user data. Scraper sites come in various forms: Some provide little if any material or information and are intended to obtain user information such as e mail addresses to be targeted for spam e mail. Price aggregation and shopping sites access multiple listings of a product and allow a user to rapidly compare the prices.
Скрепер веб-сайттарының мысалдары
Google сияқты іздеу жүйелерін скрапинг сайтының бір түрі деп санауға болады. Іздеу жүйелері басқа веб-сайттардан мазмұнды жинап, өз дерекқорында сақтайды, индекстейді және жиналған мазмұнды өз пайдаланушыларына ұсынады. Іздеу жүйелері скрапинг арқылы жинаған мазмұнның көп бөлігі авторлық құқықпен қорғалған. Бұл техника түрлі танысу сайттарында да қолданылады. Көптеген сайттар скрапинг әрекеттерін бетті тану технологиясымен біріктіреді. Скрапинг жалпы суреттерді талдау (таныту) сайттарында, сондай-ақ зиянкестер мен ауруларға шалдиған егістердің суреттерін анықтауға арналған арнайы сайттарда да қолданылады.
Search engines such as Google could be considered a type of scraper site. Search engines gather content from other websites, save it in their own databases, index it and present the scraped content to the search engines' own users. The majority of content scraped by search engines is copyrighted. The scraping technique has been used on various dating websites as well. These sites often combine their scraping activities with facial recognition. Scraping is also used on general image analysis (recognition) websites, as well as websites specifically made to identify images of crops with pests and diseases.
Жарнама үшін жасалған
Кейбір скрепер сайттары жарнамалық бағдарламаларды пайдалану арқылы ақша табу үшін жасалады. Мұндай жағдайларда олар AdSense үшін жасалған сайттар немесе MFA деп аталады. Бұл осы сайттардың жалғыз мақсаты – пайдаланушыларды сайтқа тартып, жарнамаларға түрту болып табылатын, ешқандай құндылығы жоқ сайттарды білдіреді. AdSense үшін жасалған сайттар іздеу жүйесіндегі спам ретінде қарастырылады, олар іздеу нәтижелерін нашар сапалы нәтижелермен толықтырады. Егер MFA сайты табылмаса, іздеу жүйесі әдеттегі жағдайларда көрсететін мазмұнға қарағанда, скреперленген мазмұн артық болып келеді. Кейбір скрепер сайттары жеке блог желісі арқылы іздеу жүйесіндегі рейтингін жақсарту үшін басқа сайттарға сілтемелер қосады. Google-дың Panda деп аталатын іздеу алгоритмін жаңартуға дейін, спамдексинг деп аталатын әдісті қолданған "қара шляпалы" маркетологтар арасында автоблог деп аталатын скрепер сайттарының түрі кең таралған болатын.
Some scraper sites are created to make money by using advertising programs. In such case, they are called Made for AdSense sites or MFA. This derogatory term refers to websites that have no redeeming value except to lure visitors to the website for the sole purpose of clicking on advertisements. Made for AdSense sites are considered search engine spam that dilute the search results with less than satisfactory search results. The scraped content is redundant compared to content shown by the search engine under normal circumstances, had no MFA website been found in the listings. Some scraper sites link to other sites in order to improve their search engine ranking through a private blog network. Prior to Google's update to its search algorithm known as Panda, a type of scraper site known as an auto blog was quite common among black hat marketers who used a method known as spamdexing.
Заңдық
Скрепер сайттары авторлық құқықты бұзуы мүмкін. Тіпті ашық контентті сайттан мазмұн алу, егер лицензия талаптары сақталмаса, авторлық құқықты бұзуға алып келуі мүмкін. Мысалы, Уикипедияда қолданылатын GNU Free Documentation License (GFDL) және Creative Commons ShareAlike (CC BY SA) лицензиялары Уикипедия мазмұнын қайта жариялаушыдан оқырмандарына осы лицензиялардың шарттарын хабарлауды және түпкілікті авторды көрсетуді талап етеді.
Scraper sites may violate copyright law. Even taking content from an open content site can be a copyright violation, if done in a way which does not respect the license. For instance, the GNU Free Documentation License (GFDL) and Creative Commons ShareAlike (CC BY SA) licenses used on Wikipedia require that a republisher of Wikipedia inform its readers of the conditions on these licenses, and give credit to the original author.
Техникалар
Скрепердің мақсатына байланысты веб-сайттарды таңдау әдістері әртүрлі болады. Мысалы, әуе компаниялары, тұтынушы электроникасы, универмагтар сияқты көп мазмұны бар сайттарды бәсекелестері баға ақпаратын білу үшін үнемі тексеріп отыруы мүмкін. Тағы бір түріндегі скреперлер, өздері таңдаған кілт сөздер бойынша жоғары орын алған веб-сайттардан мәтін бөліктерін және мәтінді шығарып алады. Осылайша, олар іздеу жүйесінің нәтижелер беттерінде (SERP) жоғары орын алуға үміттенеді, бастапқы беттің беделіне сүйеніп. RSS-тармақтары скреперлерге осал. Басқа скрепер сайттары жарнамалар мен сөздіктен кездейсоқ таңдалған сөздердің абзацтарынан тұрады. Көбінесе келушілер мұндай сайттағы «бір кликке ақы төлеу» жарнамасына басады, себебі ол беттегі жалғыз түсінікті мәтін болып табылады. Осы сайттардың операторлары осы кликтерден қаржылық пайда көреді. Жарнама желілері осы сайттарды өз бағдарламаларынан алып тастау үшін үнемі жұмыс істеп жатыр деп мәлімдейді, бірақ олар осындай сайттарда туындаған кликтерден тікелей пайда көреді. Жарнама берушілердің пікірінше, желілер бұл мәселені тоқтату үшін жеткілікті күш жұмсамайды. Скреперлер көбінесе сілтеме фермаларымен байланысты болады және бірнеше скреперлер бір мақсатты сайтқа сілтеме берген кезде, олардың арасында айырма жасау қиын. Көп рет мақсатталған сайт, бірнеше скрепер сайттарынан келетін жасанды сілтемелердің үлгісіне байланысты сілтеме фермасына қатысқан деп айыпталуы мүмкін.
Depending upon the objective of a scraper, the methods in which websites are targeted differ. For example, sites with large amounts of content such as airlines, consumer electronics, department stores, etc. might be routinely targeted by their competition just to stay abreast of pricing information. Another type of scraper will pull snippets and text from websites that rank high for keywords they have targeted. This way they hope to rank highly in the search engine results pages (SERPs), piggybacking on the original page's page rank. RSS feeds are vulnerable to scrapers. Other scraper sites consist of advertisements and paragraphs of words randomly selected from a dictionary. Often a visitor will click on a pay per click advertisement on such site because it is the only comprehensible text on the page. Operators of these scraper sites gain financially from these clicks. Advertising networks claim to be constantly working to remove these sites from their programs, although these networks benefit directly from the clicks generated at this kind of site. From the advertisers' point of view, the networks don't seem to be making enough effort to stop this problem. Scrapers tend to be associated with link farms and are sometimes perceived as the same thing, when multiple scrapers link to the same target site. A frequent target victim site might be accused of link farm participation, due to the artificial pattern of incoming links to a victim website, linked from multiple scraper sites.
Доменді ұрлау
Скрепер сайттарды құратын кейбір бағдарламашылар Google-да оның SEO күшін қайта пайдалану үшін жақында мерзімі өткен домендік атауды сатып алады. Бүкіл бизнес мерзімі өткен домендерді түсінуге және оларды тарихи рейтингтік қабілеттері үшін пайдалануға бағытталған. Бұл SEO мамандарына домендік атауға орнатылған кері сілтемелерді пайдалануға мүмкіндік береді. Кейбір спамдер сайттың сенімділігін сақтау үшін мерзімі өткен сайттың тақырыбына сәйкес келуге немесе Интернет архивінен қолжетімді мазмұнды көшіруге тырысуы мүмкін, соның арқасында кері сілтемелер жоғалмайды. Мысалы, фотограф туралы мерзімі өткен веб-сайт қайта тіркеліп, фотосурет туралы кеңестер беретін сайт құруға немесе жеке блог желісінде өздерінің фотосуреттеріне арналған сайтты дамыту үшін домендік атауды пайдалануға болады. Кейбір мерзімі өткен домендік атауларды тіркеу агенттерінің қызметтері осы өткен домендерді табуға және домендік атаудың веб-сайтында болған HTML-ді жинауға мүмкіндік береді.
Some programmers who create scraper sites may purchase a recently expired domain name to reuse its SEO power in Google. Whole businesses focus on understanding all expired domains and utilising them for their historical ranking ability exist. Doing so will allow SEOs to utilize the already established backlinks to the domain name. Some spammers may try to match the topic of the expired site or copy the existing content from the Internet Archive to maintain the authenticity of the site so that the backlinks don't drop. For example, an expired website about a photographer may be re registered to create a site about photography tips or use the domain name in their private blog network to power their own photography site. Services at some expired domain name registration agents provide both the facility to find these expired domains and to gather the HTML that the domain name used to have on its web site.