Поисковые системы рабочего стола: история и развитие.

Введение

Настольные поисковые инструменты ищут в файлах компьютера пользователя, а не в Интернете. Эти инструменты предназначены для поиска информации на ПК пользователя, включая историю веб-браузера, архивы электронной почты, текстовые документы, звуковые файлы, изображения и видео. В настоящее время доступно множество программ для поиска на рабочем столе; см. этот список для примеров. Большинство настольных поисковых программ являются автономными приложениями. Продукты поиска на рабочем столе – это программные альтернативы поисковому программному обеспечению, включенному в операционную систему, помогающие пользователям просматривать файлы на рабочем столе, электронные письма, вложения и многое другое. Настольный поиск стал важной проблемой для крупных компаний по двум основным причинам: нереализованный потенциал повышения производительности и вопросы безопасности. По данным аналитической фирмы Gartner, до 80% данных некоторых компаний содержится в неструктурированных данных – информации, хранящейся на ПК пользователя, в каталогах (папках) и файлах, созданных в сети, в документах, хранящихся в репозиториях, таких как корпоративные интрасети, и во множестве других мест. Кроме того, многие компании хранят структурированную или неструктурированную информацию в устаревших форматах файлов, к которым у них нет оперативного доступа. В период с конца 2004 года по начало 2005 года сектор привлек значительное внимание из-за конкуренции между Microsoft и Google. По мнению аналитиков рынка, обе компании пытались использовать свои монополии (в области веб-браузеров и поисковых систем соответственно) для укрепления своего доминирующего положения. В связи с жалобой Google на то, что пользователи Windows Vista не могут выбрать настольную поисковую программу конкурента вместо встроенной, между Министерством юстиции США и Microsoft было достигнуто соглашение о том, что Windows Vista Service Pack 1 позволит пользователям выбирать между встроенной и другими настольными поисковыми программами, а также устанавливать программу по умолчанию. В сентябре 2011 года Google прекратил поддержку Google Desktop.

Окна

Indexing Service, "базовая служба, извлекающая содержимое из файлов и создающая индексированный каталог для обеспечения эффективного и быстрого поиска", была впервые выпущена в августе 1996 года. Она была разработана для ускорения ручного поиска файлов на персональных компьютерах и в корпоративных сетях. Служба индексирования использовала веб-серверы Microsoft для индексации файлов на выбранных жестких дисках. Индексирование выполнялось по формату файла. Поисковый запрос, основанный на введенных пользователем терминах, сопоставлял эти термины с данными внутри файлов указанного формата. Основной проблемой службы индексирования было то, что каждый добавленный файл требовал повторной индексации. В сочетании с тем, что индекс целиком хранился в оперативной памяти, это создавало серьезные ограничения по аппаратным ресурсам. Индексирование большого объема файлов требовало чрезвычайно мощного оборудования и значительного времени ожидания. В 2003 году Microsoft Indexing Service была заменена Windows Desktop Search (WDS). В отличие от предыдущей системы, которая сопоставляла термины только с деталями формата файла и именами файлов, WDS внедрила индексацию содержимого для всех файлов Microsoft и текстовых форматов, таких как электронная почта и текстовые документы. Это означало, что WDS анализировала файлы и индексировала их содержимое. Таким образом, при поиске термина WDS сопоставляла его не только с информацией о формате и имени файла, но и с терминами и значениями, хранящимися внутри этих файлов. WDS также представила функцию "мгновенного поиска", позволяющую начать поиск и обновлять результаты по мере ввода символов пользователем. Windows Search, по-видимому, требовала значительных вычислительных ресурсов, поэтому Windows Desktop Search работала только по прямому запросу или в режиме простоя компьютера. Даже в этих режимах индексация всего жесткого диска могла занимать несколько часов. Размер индекса составлял около 10% от общего размера индексируемых файлов, например, при объеме индексируемых файлов в 100 ГБ размер индекса составлял 10 ГБ. С выпуском Windows Vista появилась Windows Search 3.1. В отличие от своих предшественников WDS и Windows Search 3.0, версия 3.1 могла беспрепятственно осуществлять поиск как в индексированных, так и в неиндексированных папках. Кроме того, были значительно снижены требования к оперативной памяти и процессору, что существенно ускорило процесс индексации. В настоящее время Windows Search 4.0 используется на всех компьютерах с Windows 7 и более поздних версий.

Indexing Service, a "base service that extracts content from files and constructs an indexed catalog to facilitate efficient and rapid searching", was originally released in August 1996. It was built in order to speed up manually searching for files on Personal Desktops and Corporate Computer Network. Indexing service helped by using Microsoft web servers to index files on the desired hard drives. Indexing was done by file format. By using terms that users provided, a search was conducted that matched terms to the data within the file formats. The largest issue that Indexing service faced was the fact that every time a file was added, it had to be indexed. This coupled with the fact that the indexing cached the entire index in RAM, made the hardware a huge limitation. This made indexing large amounts of files require extremely powerful hardware and very long wait times. In 2003, Windows Desktop Search (WDS) replaced Microsoft Indexing Service. Instead of only matching terms to the details of the file format and file names, WDS brings in content indexing to all Microsoft files and text based formats such as e mail and text files. This means, that WDS looked into the files and indexed the content. Thus, when a user searched a term, WDS no longer matched just information such as file format types and file names, but terms, and values stored within those files. WDS also brought "Instant searching" meaning the user could type a character and the query would instantly start searching and updating the query as the user typed in more characters. Windows Search apparently used up a lot of processing power, as Windows Desktop Search would only run if it was directly queried or while the PC was idle. Even only running while directly queried or while the computer was idled, indexing the entire hard drive still took hours. The index would be around 10% of the size of all the files that it indexed, e. g. if the indexed files amounted to around 100GB, the index size would be 10GB. With the release of Windows Vista came Windows Search 3.1. Unlike its predecessors WDS and Windows Search 3.0, 3.1 could search through both indexed and non indexed locations seamlessly. Also, the RAM and CPU requirements were greatly reduced, cutting back indexing times immensely. Windows Search 4.0 is currently running on all PCs with Windows 7 and up.

Mac OS

В 1994 году была представлена поисковая система AppleSearch, позволяющая пользователям осуществлять полный поиск по всем документам на компьютере Macintosh, включая типы форматов файлов, метаданные этих файлов и содержимое файлов. AppleSearch являлась клиент-серверным приложением и, следовательно, требовала отдельный от основного устройства сервер для функционирования. Главной проблемой AppleSearch были её высокие требования к ресурсам: «AppleSearch требует как минимум процессор 68040 и 5 МБ оперативной памяти». В то время компьютер Macintosh с такими характеристиками стоил около 1400 долларов США, что эквивалентно 2050 долларам США в 2015 году. Кроме того, само программное обеспечение стоило дополнительных 1400 долларов за единичную лицензию. В 1997 году вместе с Mac OS 8.5 была выпущена программа Sherlock. Sherlock (названная в честь знаменитого вымышленного детектива Шерлока Холмса) была интегрирована в файловый менеджер Mac OS – Finder. Sherlock расширила функцию поиска по рабочему столу на Всемирную паутину, позволяя пользователям искать как локально, так и в интернете. Добавление дополнительных функций, таких как доступ к интернету, в Sherlock было относительно простым, поскольку это осуществлялось через плагины, написанные в виде обычных текстовых файлов. Sherlock входила в состав каждой версии Mac OS, начиная с Mac OS 8, прежде чем была устарела и заменена Spotlight и Dashboard в Mac OS X 10.4 Tiger. Она была официально удалена в Mac OS X 10.5 Leopard.

Spotlight была выпущена в 2005 году в составе Mac OS X 10.4 Tiger. Это инструмент поиска на основе выделения, что означает, что пользователь инициирует запрос, используя только мышь. Spotlight позволяет пользователю искать в интернете дополнительную информацию о любом ключевом слове или фразе, содержащихся в документе или веб-странице, а также использует встроенный калькулятор и Оксфордский американский словарь для быстрого доступа к простым вычислениям и определениям слов. Хотя Spotlight изначально имеет длительное время запуска, оно уменьшается по мере индексации жесткого диска. По мере добавления файлов пользователем индекс постоянно обновляется в фоновом режиме, используя минимальные ресурсы процессора и оперативной памяти.

Линукс

Существует широкий спектр возможностей поиска по рабочему столу для пользователей Linux, в зависимости от уровня их подготовки, предпочтения использовать инструменты, тесно интегрированные в их графическую среду, функциональность командной строки (часто с расширенными возможностями скриптов) или веб-интерфейсы для локально запущенного программного обеспечения. Кроме того, многие пользователи создают собственную индексацию, используя различные пакеты индексирования (например, один, который хорошо извлекает и индексирует документы PDF/DOC/DOCX/ODT, а другой поисковый движок, работающий с vCard, LDAP и другими базами данных каталогов/контактов, а также стандартные команды find и locate).

Убунту

Ubuntu Linux не имела поиска по рабочему столу до выпуска Feisty Fawn 7.04. Используя поиск по рабочему столу Tracker, эта функция была очень похожа на AppleSearch и Sherlock в Mac OS. Она предлагала не только базовые возможности сортировки по формату файла и сопоставления метаданных, но и поддержку поиска по электронной почте и мгновенным сообщениям. В 2014 году Recoll был добавлен в дистрибутивы Linux и работал совместно с другими поисковыми системами, такими как Tracker и Beagle, для обеспечения эффективного полнотекстового поиска. Это значительно расширило типы запросов и поддерживаемых типов файлов для поиска по рабочему столу Linux. Главное преимущество Recoll заключается в возможности более тонкой настройки индексирования: по умолчанию Recoll индексирует весь жесткий диск, но его можно настроить для индексирования только выбранных каталогов, исключая те, которые не требуют поиска.

openSUSE

Начиная с KDE4, был представлен NEPOMUK. Он предоставлял возможность индексировать широкий спектр контента рабочего стола, электронной почты и использовать семантические веб-технологии (например, RDF) для добавления аннотаций к базе данных. Внедрение сопровождалось рядом неполадок, многие из которых были связаны с хранилищем троек. Производительность улучшилась (по крайней мере, при выполнении запросов) благодаря переходу на упрощенную версию Virtuoso Open Source Edition, однако индексация оставалась частой причиной жалоб пользователей. На основе отзывов пользователей, индексация и поиск Nepomuk были заменены на Baloo, основанную на Xapian.