Введение
Поисковая система типа "одноранговая сеть" YaCy (произносится "ya see") – это бесплатная распределенная поисковая система, построенная на принципах одноранговых сетей (P2P), разработанная Майклом Кристеном в 2003 году. Движок написан на Java и, по состоянию на 2006 год, распространяется на нескольких сотнях компьютеров, так называемых узлах YaCy. Каждый узел YaCy самостоятельно обходит Интернет, анализирует и индексирует найденные веб-страницы, а результаты индексации хранит в общей базе данных (так называемом индексе), которой делится с другими узлами YaCy, используя принципы одноранговой сети. По сравнению с частично распределенными поисковыми системами, сеть YaCy имеет распределенную архитектуру. Все узлы YaCy равноправны, и центрального сервера не существует. Она может работать в режиме обхода или как локальный прокси-сервер, индексируя веб-страницы, посещаемые пользователем, запустившим YaCy на своем компьютере. Предусмотрены различные механизмы для защиты конфиденциальности пользователя. Доступ к функциям поиска осуществляется через локально запущенный веб-сервер, который предоставляет поле поиска для ввода поисковых запросов и возвращает результаты поиска в формате, аналогичном другим популярным поисковым системам.
YaCy (pronounced “ya see”) is a free distributed search engine built on the principles of peer to peer (P2P) networks, created by Michael Christen in 2003. The engine is written in Java and distributed on several hundred computers, as of 2006, so called YaCy peers. Each YaCy peer independently crawls through the Internet, analyzes and indexes found web pages, and stores indexing results in a common database (so called index) which is shared with other YaCy peers using principles of peer to peer. Compared to semi distributed search engines, the YaCy network has a distributed architecture. All YaCy peers are equal and no central server exists. It can be run either in a crawling mode or as a local proxy server, indexing web pages visited by the person running YaCy on their computer. Several mechanisms are provided to protect the user's privacy. Access to the search functions is made by a locally run web server which provides a search box to enter search terms, and returns search results in a similar format to other popular search engines.
Технология поисковых систем
YaCy – это полноценный поисковый комплекс с пользовательским интерфейсом, индексом, администрированием и мониторингом. YaCy собирает веб-страницы с помощью веб-краулера. Документы затем разбираются, индексируются, а поисковый индекс хранится локально. Если ваш узел является частью пиринговой сети, то ваш локальный поисковый индекс также объединяется в общий индекс для этой сети. При выполнении поиска, локальный индекс дополняется глобальным поисковым индексом от узлов в пиринговой сети YaCy. YaCy Grid – это реализация второго поколения пирингового поиска YaCy. Установка YaCy Grid состоит из микросервисов, взаимодействующих посредством программы Master Connect Program (MCP). YaCy Parser – это микросервис, который можно развернуть с помощью Docker. При запуске компонента Parser, он ищет и подключается к MCP. По умолчанию поиск MCP осуществляется на локальном хосте, но вы можете настроить его самостоятельно.
Распространение
YaCy доступен в пакетах для Linux, Windows и Macintosh, а также в виде образа Docker. YaCy также может быть установлен на другие операционные системы либо путем самостоятельной сборки, либо с помощью архива. YaCy требует Java 8, рекомендуется OpenJDK 8. Пакет Debian можно установить из репозитория, доступного на поддомене веб-сайта проекта. Пакет пока не поддерживается в официальном репозитории пакетов Debian.