Введение
поисковая система
Веб-поисковая система
WebCrawler — это поисковая система и одна из старейших сохранившихся поисковых систем в сети Интернет на сегодняшний день. На протяжении многих лет она функционировала как метапоисковая система. WebCrawler был первой веб-поисковой системой, предоставившей поиск по полному тексту.
История
Брайан Пинкертон впервые начал работу над WebCrawler, который изначально был настольным приложением, 27 января 1994 года в Университете Вашингтона, для целей "проектирования и исследований в области ядерного оружия". 1 декабря 1994 года WebCrawler привлек двух спонсоров, DealerNet и Starwave, которые предоставили средства для поддержания его работы. 1 апреля 1997 года Excite приобрел WebCrawler у AOL за 12,3 миллиона долларов. 16 июня 1997 года WebCrawler получил новый дизайн, добавив функцию WebCrawler Shortcuts, предлагавшую альтернативные ссылки на материалы, связанные с темой поиска. WebCrawler поддерживался Excite как отдельная поисковая система с собственной базой данных до 2001 года, когда он начал использовать базу данных Excite, что фактически прекратило существование WebCrawler как независимой поисковой системы. Позже в том же году Excite (тогда известный как Excite@Home) обанкротился, и WebCrawler был приобретен InfoSpace в 2001 году. В июле 2016 года InfoSpace была продана своей материнской компанией Blucora компании OpenMail за 45 миллионов долларов, в результате чего WebCrawler перешел в собственность OpenMail. Позже OpenMail была переименована в System1. В 2018 году WebCrawler был полностью переработан и изменен его логотип.
Движение транспорта
WebCrawler был очень успешен на заре своего существования. В определенный момент он становился недоступным в часы пиковой нагрузки из-за перегрузки сервера. В феврале 1996 года он был вторым по посещаемости веб-сайтом в интернете, но в 1997 году быстро уступил позиции конкурентам – поисковым системам и каталогам, таким как Yahoo!, Infoseek, Lycos и Excite.