Введение
Обработка естественного языка. Семантическое сходство – это метрика, определяемая для набора документов или терминов, где идея расстояния между элементами основана на близости их значения или семантического содержания, в отличие от лексикографического сходства. Это математические инструменты, используемые для оценки силы семантической связи между единицами языка, понятиями или экземплярами посредством числового описания, полученного на основе сравнения информации, подтверждающей их значение или описывающей их природу. Термин «семантическое сходство» часто путают с «семантической связанностью». Семантическая связанность включает в себя любые отношения между двумя терминами, в то время как семантическое сходство подразумевает только отношение «является». Например, «автомобиль» схож с «автобусом», но также связан с «дорогой» и «вождением». С вычислительной точки зрения, семантическое сходство можно оценить, определив топологическое сходство, используя онтологии для определения расстояния между терминами/концепциями. Например, простая метрика для сравнения понятий, упорядоченных в частично упорядоченном множестве и представленных в виде узлов направленного ациклического графа (например, таксономии), будет кратчайшим путем, соединяющим два узла понятия. На основе анализа текста, семантическую связанность между единицами языка (например, словами, предложениями) также можно оценить, используя статистические методы, такие как модель векторного пространства, для установления корреляции между словами и текстовыми контекстами из подходящего текстового корпуса. Оценка предлагаемых мер семантического сходства/связанности проводится двумя основными способами. Первый основан на использовании наборов данных, разработанных экспертами и состоящих из пар слов с оценкой степени семантического сходства/связанности. Второй способ основан на интеграции этих мер в конкретные приложения, такие как поиск информации, рекомендательные системы, обработка естественного языка и т.д.
Semantic similarity is a metric defined over a set of documents or terms, where the idea of distance between items is based on the likeness of their meaning or semantic content as opposed to lexicographical similarity. These are mathematical tools used to estimate the strength of the semantic relationship between units of language, concepts or instances, through a numerical description obtained according to the comparison of information supporting their meaning or describing their nature. The term semantic similarity is often confused with semantic relatedness. Semantic relatedness includes any relation between two terms, while semantic similarity only includes "is a" relations. For example, "car" is similar to "bus", but is also related to "road" and "driving". Computationally, semantic similarity can be estimated by defining a topological similarity, by using ontologies to define the distance between terms/concepts. For example, a naive metric for the comparison of concepts ordered in a partially ordered set and represented as nodes of a directed acyclic graph (e. g., a taxonomy), would be the shortest path linking the two concept nodes. Based on text analyses, semantic relatedness between units of language (e. g., words, sentences) can also be estimated using statistical means such as a vector space model to correlate words and textual contexts from a suitable text corpus. The evaluation of the proposed semantic similarity / relatedness measures are evaluated through two main ways. The former is based on the use of datasets designed by experts and composed of word pairs with semantic similarity / relatedness degree estimation. The second way is based on the integration of the measures inside specific applications such as information retrieval, recommender systems, natural language processing, etc.
Терминология
Понятие семантического сходства более конкретно, чем семантическая связанность, поскольку последняя включает в себя такие отношения, как антонимия и меронимия, в то время как сходство – нет. Однако в большинстве публикаций эти термины используются как взаимозаменяемые, наряду с такими понятиями, как семантическое расстояние. По сути, семантическое сходство, семантическое расстояние и семантическая связанность все сводятся к вопросу: "Насколько термин А соотносится с термином Б?". Ответ на этот вопрос обычно выражается числом в диапазоне от −1 до 1 или от 0 до 1, где 1 указывает на чрезвычайно высокую степень сходства.
Визуализация
Интуитивно понятным способом визуализации семантического сходства терминов является объединение тесно связанных терминов в группы и увеличение расстояния между отдалённо связанными терминами. Такой подход часто используется на практике при создании интеллект-карт и концептуальных карт. Более прямой способ визуализации семантического сходства двух лингвистических единиц предлагает подход семантического свёртывания (Semantic Folding). В рамках этого подхода лингвистическая единица, такая как термин или текст, может быть представлена путём генерации пикселя для каждой из её активных семантических характеристик, например, в сетке 128 x 128. Это позволяет напрямую визуально сравнивать семантику двух единиц, сопоставляя графические представления их соответствующих наборов характеристик.
В вычислительной лингвистике
Несколько метрик используют WordNet — лексическую базу данных английских слов, созданную вручную. Несмотря на преимущества, которые дает участие человека в создании этой базы данных, поскольку слова не изучаются автоматически, она не способна измерять семантическую близость между многословными терминами и не учитывает динамически расширяющийся словарный запас.
В обработке естественного языка
Обработка естественного языка (NLP) — это область компьютерных наук и лингвистики. Анализ тональности, понимание естественного языка и машинный перевод (автоматический перевод текста с одного человеческого языка на другой) — лишь некоторые из основных областей его применения. Например, если известен один информационный ресурс в интернете, часто возникает непосредственная потребность найти похожие ресурсы. Семантическая сеть предоставляет семантические расширения для поиска аналогичных данных по содержанию, а не только по произвольным идентификаторам. Методы глубокого обучения стали точным способом определения семантической близости между двумя текстовыми фрагментами, при котором каждый фрагмент сначала преобразуется в непрерывное векторное представление.
Семантические сети сходства
Семантическая сеть сходства (SSN) — это особая форма семантической сети, предназначенная для представления концепций и их семантического сходства. Её основное преимущество заключается в снижении сложности вычисления семантических расстояний. Бендек (2004, 2008) представил концепцию сетей семантического сходства (SSN) как специализацию семантической сети для измерения семантического сходства на основе онтологических представлений. Реализации включают обработку генетической информации.
Статьи обследования
Статья конференции: C. d'Amato, S. Staab, N. Fanizzi. 2008. О влиянии онтологий описательной логики на концептуальное сходство. В материалах 16-й международной конференции по инженерии знаний: практика и образцы. Страницы 48–63. Ачитрецца, Италия, Springer Verlag.
Статья в журнале, посвященная более общей теме связанности, включая также сходство: Z. Zhang, A. Gentile, F. Ciravegna. 2013. Последние достижения в методах лексико-семантической связанности – обзор. Natural Language Engineering 19 (4), 411–479, Cambridge University Press.
Книга: S. Harispe, S. Ranwez, S. Janaqi, J. Montmain. 2015. Семантическое сходство на основе анализа естественного языка и онтологий, Morgan & Claypool Publishers.
Journal article on the more general topic of relatedness, also including similarity: Z. Zhang, A. Gentile, F. Ciravegna. 2013. Recent advances in methods of lexical semantic relatedness – a survey. Natural Language Engineering 19 (4), 411–479, Cambridge University Press
Book: S. Harispe, S. Ranwez, S. Janaqi, J. Montmain. 2015. Semantic Similarity from Natural Language and Ontology Analysis, Morgan & Claypool Publishers.