Метапоисковые системы: обзор и история развития

Введение

Инструмент для поиска информации в сети

Метапоисковая система (или агрегатор поиска) – это инструмент для поиска информации в сети, который использует данные веб-поисковых систем для формирования собственных результатов. Метапоисковые системы принимают запрос пользователя и немедленно отправляют его в несколько поисковых систем. Собранные данные ранжируются и представляются пользователю. Такие проблемы, как спам, снижают точность и релевантность результатов. Процесс объединения (или "fusion") направлен на улучшение работы метапоисковой системы. Примеры метапоисковых систем включают Skyscanner и Kayak.com, которые агрегируют результаты поиска онлайн-турагентств и сайтов поставщиков услуг, а также Searx – бесплатную поисковую систему с открытым исходным кодом, агрегирующую результаты из различных интернет-поисковиков.

История

Первым, кто внедрил идею метапоиска, был Дэниел Дрейлингер из Университета штата Колорадо. Он разработал SearchSavvy, который позволял пользователям искать одновременно в до 20 различных поисковых системах и каталогах. Хотя эта поисковая система была быстрой, она ограничивалась простыми запросами и, следовательно, была недостаточно надежной. Студент Вашингтонского университета Эрик Селберг выпустил более «усовершенствованную» версию под названием MetaCrawler. Эта поисковая система повысила точность SearchSavvy, добавив собственный синтаксис поиска и приводя его в соответствие с синтаксисом поисковых систем, которые она опрашивала. MetaCrawler сократил количество опрашиваемых поисковых систем до 6, но, хотя и выдавал более точные результаты, все еще не считался таким же точным, как поиск по отдельной поисковой системе. 20 мая 1996 года HotBot, принадлежавший тогда Wired, представлял собой поисковую систему, результаты которой поступали из баз данных Inktomi и Direct Hit. Он был известен своей скоростью и возможностью поиска внутри результатов поиска. После приобретения компанией Lycos в 1998 году разработка поисковой системы замедлилась, и ее доля на рынке резко упала. После нескольких изменений HotBot был переработан в упрощенный интерфейс поиска, а его функции были интегрированы в редизайн сайта Lycos. В 1999 году Бо Шу и Субхаш Каком разработали метапоисковую систему Anvish, в которой результаты поиска сортировались с использованием мгновенно обученных нейронных сетей. Позже эта технология была включена в другую метапоисковую систему под названием Solosearch. В августе 2000 года Индия получила свою первую метапоисковую систему – HumHaiIndia.com, разработанную 16-летним Сумитом Ламбой. Позже сайт был переименован в Tazaa.com. Ixquick – поисковая система, известная своей политикой конфиденциальности. Разработанная и запущенная в 1998 году Дэвидом Бодником, она принадлежит компании Surfboard Holding BV. В июне 2006 года Ixquick начала удалять личные данные пользователей, используя тот же процесс, что и Scroogle. Политика конфиденциальности Ixquick предусматривает отсутствие записи IP-адресов пользователей, идентификационных cookie-файлов, сбора персональных данных и обмена ими с третьими лицами. Также используется уникальная система ранжирования, где результат оценивается звездами: чем больше звезд, тем больше поисковых систем согласились с этим результатом. В апреле 2005 года Dogpile, принадлежавшая и управляемая InfoSpace, Inc., сотрудничала с исследователями из Университета Питтсбурга и Университета штата Пенсильвания для измерения степени совпадения и различий в ранжировании ведущих веб-поисковых систем, чтобы оценить преимущества использования метапоисковой системы для поиска в интернете. Результаты показали, что из 10 316 случайных запросов пользователей, заданных в Google, Yahoo! и Ask Jeeves, только 3,2% результатов поиска на первой странице совпадали для данного запроса. Другое исследование, проведенное позднее в том же году с использованием 12 570 случайных запросов пользователей, заданных в Google, Yahoo!, MSN Search и Ask Jeeves, показало, что только 1,1% результатов поиска на первой странице совпадали для данного запроса.

The first person to incorporate the idea of meta searching was Daniel Dreilinger of Colorado State University. He developed SearchSavvy, which let users search up to 20 different search engines and directories at once. Although fast, the search engine was restricted to simple searches and thus wasn't reliable. University of Washington student Eric Selberg released a more "updated" version called MetaCrawler. This search engine improved on SearchSavvy's accuracy by adding its own search syntax behind the scenes, and matching the syntax to that of the search engines it was probing. Metacrawler reduced the amount of search engines queried to 6, but although it produced more accurate results, it still wasn't considered as accurate as searching a query in an individual engine. On May 20, 1996, HotBot, then owned by Wired, was a search engine with search results coming from the Inktomi and Direct Hit databases. It was known for its fast results and as a search engine with the ability to search within search results. Upon being bought by Lycos in 1998, development for the search engine staggered and its market share fell drastically. After going through a few alterations, HotBot was redesigned into a simplified search interface, with its features being incorporated into Lycos' website redesign. A metasearch engine called Anvish was developed by Bo Shu and Subhash Kak in 1999; the search results were sorted using instantaneously trained neural networks. This was later incorporated into another metasearch engine called Solosearch. In August 2000, India got its first meta search engine when HumHaiIndia. com was launched. It was developed by the then 16 year old Sumeet Lamba. The website was later rebranded as Tazaa. com. Ixquick is a search engine known for its privacy policy statement. Developed and launched in 1998 by David Bodnick, it is owned by Surfboard Holding BV. In June 2006, Ixquick began to delete private details of its users following the same process with Scroogle. Ixquick's privacy policy includes no recording of users' IP addresses, no identifying cookies, no collection of personal data, and no sharing of personal data with third parties. It also uses a unique ranking system where a result is ranked by stars. The more stars in a result, the more search engines agreed on the result. In April 2005, Dogpile, then owned and operated by InfoSpace, Inc., collaborated with researchers from the University of Pittsburgh and Pennsylvania State University to measure the overlap and ranking differences of leading Web search engines in order to gauge the benefits of using a metasearch engine to search the web. Results found that from 10,316 random user defined queries from Google, Yahoo!, and Ask Jeeves, only 3.2% of first page search results were the same across those search engines for a given query. Another study later that year using 12,570 random user defined queries from Google, Yahoo!, MSN Search, and Ask Jeeves found that only 1.1% of first page search results were the same across those search engines for a given query.

Преимущества

Отправляя несколько запросов в различные поисковые системы, это расширяет объем данных по теме и позволяет найти больше информации. Они используют индексы, созданные другими поисковыми системами, агрегируя и часто дополнительно обрабатывая результаты уникальными способами. Метапоисковая система имеет преимущество перед отдельной поисковой системой, поскольку позволяет получить больше результатов при тех же усилиях. Большинство метапоисковых систем не предоставляют более десяти ссылок из одной поисковой системы и, как правило, не взаимодействуют с крупными поисковыми системами для получения результатов. Ссылки с оплатой за клик имеют приоритет и обычно отображаются в начале списка. Метапоиск также создает впечатление более широкого охвата по запрошенной теме, особенно при поиске популярной или общеизвестной информации. Часто результатом становятся несколько идентичных ссылок от разных поисковых систем. Кроме того, пользователям сложнее использовать расширенный синтаксис поиска, который передается вместе с запросом, поэтому результаты могут быть менее точными, чем при использовании расширенного интерфейса поиска в конкретной поисковой системе. В результате многие метапоисковые системы используют простой поиск.

Архитектура ранжирования

Веб-страницы, занимающие высокие позиции в результатах поиска многих поисковых систем, вероятно, содержат более полезную и релевантную информацию.

Отслеживание спама

Спам-дексирование – это преднамеренная манипуляция индексами поисковых систем. Оно использует различные методы для искажения релевантности или видимости ресурсов в индексе, что противоречит целям системы индексирования. Спам-дексирование может вызывать серьезное раздражение у пользователей и создавать проблемы для поисковых систем, поскольку результаты поиска становятся неточными. В конечном итоге это приводит к потере доверия к поисковой системе и ее ненадежности для пользователей. Для борьбы со спам-дексингом алгоритмы поисковых роботов постоянно усложняются и обновляются, практически ежедневно, чтобы нейтрализовать эту проблему. Это особенно актуально для метапоисковых систем, так как спам-дексирование искажает критерии индексации, используемые веб-краулерами для формирования списков ранжирования. Спам-дексирование нарушает естественный порядок ранжирования в поисковой системе, искусственно повышая позиции веб-сайтов в результатах поиска. Для этого используются три основных метода:

Маскировка

Это SEO-техника, при которой веб-сканеру и веб-браузеру передаются различные материалы и информация. Она часто используется как метод спам-индексации, поскольку может обмануть поисковые системы, заставив их посетить сайт, существенно отличающийся от его описания в поисковой выдаче, или повысить рейтинг определенного сайта.