Введение
Процесс категоризации документов
Классификация документов или категоризация документов — это задача, рассматриваемая в библиотечном деле, информатике и компьютерных науках. Суть задачи заключается в отнесении документа к одному или нескольким классам или категориям. Это может выполняться "вручную" (или "интеллектуально") либо алгоритмически. Интеллектуальная классификация документов традиционно относится к сфере библиотечного дела, а алгоритмическая классификация — к информатике и компьютерным наукам. Однако эти области пересекаются, поэтому проводятся междисциплинарные исследования в области классификации документов. Документами, подлежащими классификации, могут быть тексты, изображения, музыка и т.д. Каждый тип документов имеет свои специфические проблемы классификации. Если не указано иное, подразумевается классификация текста. Документы могут классифицироваться по их тематике или по другим признакам (например, типу документа, автору, году издания и т.п.). В дальнейшем в данной статье рассматривается только тематическая классификация. Существуют два основных подхода к тематической классификации документов: подход, основанный на содержании, и подход, основанный на запросах.
Классификация "на основе содержания" против "на основе запроса"
Классификация на основе содержания – это классификация, в которой вес, придаваемый отдельным темам в документе, определяет класс, к которому документ относится. Например, распространенное правило классификации в библиотеках заключается в том, что не менее 20% содержания книги должно быть посвящено классу, к которому она отнесена. В автоматической классификации это может быть количество появлений определенных слов в документе. Классификация, ориентированная на запросы (или индексация), – это классификация, в которой предполагаемый запрос пользователей влияет на то, как документы классифицируются. Классификатор задается вопросом: «Под какими дескрипторами следует искать данную сущность?» и «Представьте все возможные запросы и определите, для каких из них эта сущность релевантна» (Soergel, 1985, с. 230). Классификация, ориентированная на запросы, может быть направлена на определенную аудиторию или группу пользователей. Например, библиотека или база данных по феминистским исследованиям может классифицировать/индексировать документы иначе, чем историческая библиотека. Однако, вероятно, более правильно понимать классификацию, ориентированную на запросы, как классификацию, основанную на политике: классификация выполняется в соответствии с определенными принципами и отражает цель библиотеки или базы данных, осуществляющей классификацию. Таким образом, это не обязательно классификация или индексация, основанная на изучении пользователей. Только при применении эмпирических данных об использовании или пользователях классификация, ориентированная на запросы, может считаться подходом, основанным на пользователях.
Классификация против индексации
Иногда проводится различие между отнесением документов к классам ("классификация") и отнесением тем к документам ("предметная индексация"), но, как утверждал Фредерик Уилфрид Ланкастер, это различие не имеет существенного значения. "Эти терминологические различия, – пишет он, – совершенно бессмысленны и лишь порождают путаницу" (Lancaster, 2003, с. 21). Тот факт, что это различие носит чисто поверхностный характер, подтверждается также тем, что классификационная система может быть преобразована в тезаурус и наоборот (см. Aitchison, 1986, 2004; Broughton, 2008; Riesthuis & Bliedung, 1991). Следовательно, присвоение метки документу (например, путем назначения термина из контролируемого словаря) одновременно означает отнесение этого документа к классу документов, индексируемых этим термином (все документы, индексированные или классифицированные как X, принадлежат к одному классу документов). Иными словами, присвоение метки документу эквивалентно отнесению его к классу документов, индексируемых под этой меткой.
Автоматическая классификация документов (ADC)
Задачи автоматической классификации документов можно разделить на три вида: контролируемая классификация документов, при которой внешний механизм (например, отзывы пользователей) предоставляет информацию о верной классификации документов, неконтролируемая классификация документов (также известная как кластеризация документов), при которой классификация должна выполняться полностью без использования внешней информации, и частично контролируемая классификация документов, при которой часть документов размечена внешним механизмом. Существует несколько программных продуктов, доступных по различным лицензионным моделям.