Семантические сети: от истоков до современных графов знаний

Введение

База знаний, представляющая семантические связи между понятиями в виде сети.

Семантическая сеть, или сеть фреймов, – это база знаний, представляющая семантические связи между понятиями в виде сети. Она часто используется как способ представления знаний. Это ориентированный или неориентированный граф, состоящий из вершин, представляющих понятия, и ребер, представляющих семантические связи между понятиями и разрешение лексической многозначности. Семантические сети также могут использоваться для анализа больших текстов и выявления основных тем и направлений (например, в публикациях в социальных сетях), для выявления предвзятости (например, в новостных материалах) или даже для построения карты целой исследовательской области.

История

Примеры использования семантических сетей в логике, направленных ациклических графов как мнемонического инструмента, уходят корнями в века. Самым ранним задокументированным примером является комментарий греческого философа Порфирия к категориям Аристотеля в III веке нашей эры. В истории вычислительной техники "Семантические сети" для пропозиционального исчисления впервые были реализованы на компьютерах Ричардом Х. Риченсом из Кембриджского исследовательского подразделения языков в 1956 году в качестве "интерлингва" для машинного перевода естественных языков, хотя значимость этой работы и Кембриджского исследовательского подразделения языков была осознана лишь спустя время. Семантические сети также были независимо реализованы Робертом Ф. Симмонсом и Шелдоном Клейном, используя предикатное исчисление первого порядка в качестве основы, вдохновленные демонстрацией Виктора Ингве. "Это направление исследований было начато первым президентом Ассоциации вычислительной лингвистики Виктором Ингве, который в 1960 году опубликовал описания алгоритмов использования грамматики структуры фраз для генерации синтаксически корректных бессмысленных предложений. Шелдон Кляйн и я, примерно в 1962–1964 годах, были увлечены этой техникой и обобщили ее до метода контроля смысла генерируемого текста, учитывая семантические зависимости слов в контексте. Другие исследователи, в частности, М. Росс Куиллиан и коллеги из Корпорации системного развития, внесли свой вклад в их работу в начале 1960-х годов в рамках проекта SYNTHEX. Именно эти публикации Корпорации системного развития чаще всего цитируются в качестве основы для современных производных термина "семантическая сеть". Позднее значительные работы были выполнены Алланом М. Коллинзом и Куиллианом (например, Коллинз и Куиллиан; Коллинз и Лофтус Куиллиан). Еще позже, в 2006 году, Герман Хелбиг полностью описал MultiNet. В конце 1980-х годов два университета в Нидерландах, Гронинген и Твенте, совместно начали проект под названием "Графы знаний", которые представляют собой семантические сети, но с дополнительным ограничением, что ребра ограничены конечным набором возможных отношений, для упрощения алгебраических операций на графе. В последующие десятилетия различие между семантическими сетями и графами знаний стало размытым. В 2012 году Google присвоил своему графу знаний название Knowledge Graph. Семантическая сеть связей была систематически изучена как метод семантических социальных сетей. Ее базовая модель состоит из семантических узлов, семантических связей между узлами и семантического пространства, определяющего семантику узлов и связей, а также правил логического вывода на основе семантических связей. Систематическая теория и модель были опубликованы в 2004 году. Это направление исследований восходит к определению правил наследования для эффективного поиска моделей в 1998 году и фреймворку активных документов (ADF). С 2003 года исследования развивались в направлении социальных семантических сетей. Эта работа представляет собой систематическую инновацию в эпоху Всемирной паутины и глобальных социальных сетей, а не простое приложение или расширение Семантической сети. Ее цели и масштаб отличаются от целей и масштаба Семантической сети. Правила логического вывода и эволюции, а также автоматическое обнаружение скрытых связей играют важную роль в Семантической сети связей. В последнее время она была развита для поддержки кибер-физического социального интеллекта. Она использовалась для создания общего метода обобщения. Самоорганизующаяся Семантическая сеть связей была интегрирована с многомерным категориальным пространством для формирования семантического пространства, поддерживающего продвинутые приложения с многомерными абстракциями и самоорганизующимися семантическими связями. Было подтверждено, что Семантическая сеть связей играет важную роль в понимании и представлении информации посредством приложений по обобщению текста. Семантическая сеть связей была расширена из киберпространства в кибер-физическое социальное пространство. Конкурентные и симбиотические отношения, а также их роль в развивающемся обществе, изучались в новой области: кибер-физический социальный интеллект. Для конкретных задач были созданы более специализированные формы семантических сетей. Например, в 2008 году докторская диссертация Фосси Бендека формализовала Семантическую сеть сходства (SSN), содержащую специализированные отношения и алгоритмы распространения для упрощения представления и вычисления семантического сходства.

Examples of the use of semantic networks in logic, directed acyclic graphs as a mnemonic tool, dates back centuries. The earliest documented use being the Greek philosopher Porphyry's commentary on Aristotle's categories in the third century AD. In computing history, "Semantic Nets" for the propositional calculus were first implemented for computers by Richard H. Richens of the Cambridge Language Research Unit in 1956 as an "interlingua" for machine translation of natural languages, although the importance of this work and the Cambridge Language Research Unit was only belatedly realized. Semantic networks were also independently implemented by Robert F. Simmons and Sheldon Klein, using the first order predicate calculus as a base, after being inspired by a demonstration of Victor Yngve. The "line of research was originated by the first President of the Association for Computational Linguistics, Victor Yngve, who in 1960 had published descriptions of algorithms for using a phrase structure grammar to generate syntactically well formed nonsense sentences. Sheldon Klein and I about 1962–1964 were fascinated by the technique and generalized it to a method for controlling the sense of what was generated by respecting the semantic dependencies of words as they occurred in text." Other researchers, most notably M. Ross Quillian and others at System Development Corporation helped contribute to their work in the early 1960s as part of the SYNTHEX project. It's these publications at System Development Corporation that most modern derivatives of the term "semantic network" cite as their background. Later prominent works were done by Allan M. Collins and Quillian (e. g., Collins and Quillian; Collins and Loftus Quillian). Still later in 2006, Hermann Helbig fully described MultiNet. In the late 1980s, two universities in the Netherlands, Groningen and Twente, jointly began a project called Knowledge Graphs, which are semantic networks but with the added constraint that edges are restricted to be from a limited set of possible relations, to facilitate algebras on the graph. In the subsequent decades, the distinction between semantic networks and knowledge graphs was blurred. In 2012, Google gave their knowledge graph the name Knowledge Graph. The semantic link network was systematically studied as a semantic social networking method. Its basic model consists of semantic nodes, semantic links between nodes, and a semantic space that defines the semantics of nodes and links and reasoning rules on semantic links. The systematic theory and model was published in 2004. This research direction can trace to the definition of inheritance rules for efficient model retrieval in 1998 and the Active Document Framework ADF. Since 2003, research has developed toward social semantic networking. This work is a systematic innovation at the age of the World Wide Web and global social networking rather than an application or simple extension of the Semantic Net (Network). Its purpose and scope are different from that of the Semantic Net (or network). The rules for reasoning and evolution and automatic discovery of implicit links play an important role in the Semantic Link Network. Recently it has been developed to support Cyber Physical Social Intelligence. It was used for creating a general summarization method. The self organised Semantic Link Network was integrated with a multi dimensional category space to form a semantic space to support advanced applications with multi dimensional abstractions and self organised semantic links It has been verified that Semantic Link Network play an important role in understanding and representation through text summarisation applications. Semantic Link Network has been extended from cyberspace to cyber physical social space. Competition relation and symbiosis relation as well as their roles in evolving society were studied in the emerging topic: Cyber Physical Social Intelligence

More specialized forms of semantic networks has been created for specific use. For example, in 2008, Fawsy Bendeck's PhD thesis formalized the Semantic Similarity Network (SSN) that contains specialized relationships and propagation algorithms to simplify the semantic similarity representation and calculations.

Основы семантических сетей

Семантическая сеть используется, когда знания лучше всего представляются в виде набора взаимосвязанных понятий. Большинство семантических сетей имеют когнитивную основу. Они состоят из дуг (связей) и узлов (центров), которые могут быть организованы в таксономическую иерархию. Различные семантические сети также могут быть соединены мостовыми узлами. Семантические сети внесли вклад в развитие идей распространения активации, наследования и представления узлов как прототипов объектов. Один из способов построения семантических сетей, также известных как сети совместной встречаемости, включает в себя определение ключевых слов в тексте, вычисление частоты их совместной встречаемости и анализ сетей для выявления центральных слов и тематических кластеров.

В лингвистике

В области лингвистики семантические сети отражают то, как человеческий разум обрабатывает связанные понятия. Как правило, понятия в семантической сети могут находиться в одном из двух типов отношений: семантическом или ассоциативном. Если отношение семантическое, то два понятия связаны одним из следующих семантических типов: синонимия, антонимия, гипернимия, гипонимия, голонимия, меронимия, метонимия или полисемия. Это не исчерпывающий список семантических отношений, но одни из наиболее распространенных. Если отношение ассоциативное, то два понятия связаны на основе частоты их совместного появления. Эти ассоциации случайны, то есть ничто в их отдельных значениях не обуславливает их связь, лишь их типичное совместное возникновение. Примерами могут служить сочетания «свинья и ферма», «свинья и корыто» или «свинья и грязь». Хотя значение слова «свинья» не подразумевает обязательной связи с фермой (свиньи могут быть дикими), частота их нахождения на фермах создает случайную ассоциативную связь. Эти тематические отношения распространены в семантических сетях и проявляются в результатах тестов свободных ассоциаций. При предъявлении исходного слова активируются наиболее тесно связанные понятия, а затем эта активация распространяется на менее связанные. Например, слово «свинья» может активировать понятия «млекопитающее», затем «животное» и, наконец, «дышит». Этот пример демонстрирует, что таксономические отношения являются неотъемлемой частью семантических сетей. Наиболее тесно связанные понятия обычно имеют общие семантические признаки, определяющие степень их семантического сходства. Слова с более высоким показателем сходства более тесно связаны и, следовательно, имеют более высокую вероятность быть близкими в семантической сети. Эти связи могут быть усилены в мозге посредством прайминга, когда перед предъявлением целевого слова демонстрируются предыдущие примеры аналогичных отношений. Эффект прайминга на связи в семантической сети можно увидеть по скорости реакции на слово. Прайминг помогает выявить структуру семантической сети и определить, какие слова наиболее тесно связаны с исходным словом. Нарушение семантической сети может привести к семантическому дефициту, который отличается от семантической деменции.

In the field of linguistics, semantic networks represent how the human mind handles associated concepts. Typically, concepts in a semantic network can have one of two different relationships: either semantic or associative. If semantic in relation, the two concepts are linked by any of the following semantic relationships: synonymy, antonymy, hypernymy, hyponymy, holonymy, meronymy, or metonymy, or polysemy. These are not the only semantic relationships, but some of the most common. If associative in relation, the two concepts are linked based on their frequency to occur together. These associations are accidental, meaning that nothing about their individual meanings requires them to be associated with one another, only that they typically are. Examples of this would be pig and farm, pig and trough, or pig and mud. While nothing about the meaning of pig forces it to be associated with farms, as pigs can be wild, the fact that pigs are so frequently found on farms creates an accidental associated relationship. These thematic relationships are common within semantic networks and are notable results in free association tests. As the initial word is given, activation of the most closely related concepts begin, spreading outward to the lesser associated concepts. An example of this would be the initial word pig prompting mammal, then animal, and then breathes. This example shows that taxonomic relationships are inherent within semantic networks. The most closely related concepts typically share semantic features, which are determinants of semantic similarity scores. Words with higher similarity scores are more closely related, thus have higher probability of being a close word in the semantic network. These relationships can be suggested into the brain through priming, where previous examples of the same relationship are shown before the target word is shown. The effect of priming on a semantic network linking can be seen through the speed of the reaction time to the word. Priming can help to reveal the structure of a semantic network and which words are most closely associated with the original word. Disruption of a semantic network can lead to a semantic deficit, not the same as semantic dementia.

В мозге

В мозге также существует физическое проявление семантических отношений. Категориально-специфические семантические схемы демонстрируют, что слова, относящиеся к разным категориям, обрабатываются в схемах, расположенных в различных областях мозга. Например, семантическая схема для слова, ассоциирующегося с лицом или ртом (например, "лизать"), находится в другом месте мозга, чем схема для слова, ассоциирующегося с ногой или ступней (например, "пинать"). Это основной результат исследования 2013 года, опубликованного Фридеманом Пульвермюллером. Эти семантические схемы напрямую связаны с сенсомоторными областями мозга. Это явление известно как воплощенная семантика – подраздел воплощенной обработки языка. Повреждение мозга может нарушить нормальную обработку семантических сетей, приводя к преобладанию определенных типов отношений в семантической сети сознания.

WordNet (англ.)

Примером семантической сети является WordNet, лексическая база данных английского языка. Она группирует английские слова в наборы синонимов, называемые синсетами, предоставляет краткие, общие определения и фиксирует различные семантические отношения между этими наборами синонимов. Некоторые из наиболее распространенных семантических отношений включают меронимию (A является меронимом B, если A является частью B), голонимию (B является голонимом A, если B содержит A), гипонимию (или тропонимию) (A является подчиненным B; A – это вид B), гипернимию (A является вышестоящим по отношению к B), синонимию (A обозначает то же самое, что и B) и антонимию (A обозначает противоположное B). Свойства WordNet изучались с точки зрения теории сетей и сравнивались с другими семантическими сетями, созданными на основе Тезауруса Роже и задач по ассоциациям слов. С этой точки зрения, все три представляют собой структуру «малого мира».

Другие примеры

Также возможно представлять логические описания с использованием семантических сетей, таких как экзистенциальные графы Чарльза Сандерса Пирса или связанные с ними концептуальные графы Джона Ф. Совы. Они обладают выразительной силой, равной или превосходящей стандартную логику предикатов первого порядка. В отличие от WordNet или других лексических или поисковых сетей, семантические сети, использующие эти представления, могут применяться для надежного автоматизированного логического вывода. Некоторые системы автоматизированного рассуждения используют графотеоретические особенности сетей в процессе обработки. Другими примерами семантических сетей являются модели Геллиша. Геллишский английский язык с его Геллишским английским словарем является формальным языком, который определяется как сеть отношений между понятиями и именами понятий. Геллишский английский – это формальное подмножество естественного английского языка, так же как геллишский голландский – формальное подмножество голландского языка, при этом различные языки могут использовать одни и те же понятия. Другие геллишские сети состоят из моделей знаний и информационных моделей, выраженных на геллишском языке. Сеть Геллиша – это сеть (бинарных) отношений между сущностями. Каждое отношение в сети является выражением факта, классифицируемого по типу отношения. Каждый тип отношения сам по себе является понятием, определенным в словаре геллишского языка. Каждая связанная сущность – это либо понятие, либо индивидуальная сущность, классифицируемая по понятию. Определения понятий создаются в форме моделей определений (сетей определений), которые вместе образуют Геллишский словарь. Сеть Геллиша может быть задокументирована в базе данных Геллиш и интерпретироваться компьютером. SciCrunch – это совместно редактируемая база знаний для научных ресурсов. Она предоставляет однозначные идентификаторы (Research Resource IDentifiers или RRID) для программного обеспечения, лабораторного оборудования и т. д., а также возможности для создания связей между RRID и сообществами. Другим примером семантических сетей, основанных на теории категорий, являются ologs. В них каждый тип является объектом, представляющим набор сущностей, а каждая стрелка – морфизмом, представляющим функцию. Коммутативные диаграммы также используются для ограничения семантики. В социальных науках термин «семантическая сеть» иногда используется для обозначения сетей совместной встречаемости. Основная идея заключается в том, что слова, которые встречаются вместе в единице текста, например, в предложении, семантически связаны друг с другом. Связи, основанные на совместной встречаемости, могут быть использованы для построения семантических сетей. Этот процесс включает в себя выявление ключевых слов в тексте, построение сетей совместной встречаемости и анализ сетей для поиска центральных слов и кластеров тем. Это особенно полезный метод для анализа больших объемов текста и больших данных.

It is also possible to represent logical descriptions using semantic networks such as the existential graphs of Charles Sanders Peirce or the related conceptual graphs of John F. Sowa. These have expressive power equal to or exceeding standard first order predicate logic. Unlike WordNet or other lexical or browsing networks, semantic networks using these representations can be used for reliable automated logical deduction. Some automated reasoners exploit the graph theoretic features of the networks during processing. Other examples of semantic networks are Gellish models. Gellish English with its Gellish English dictionary, is a formal language that is defined as a network of relations between concepts and names of concepts. Gellish English is a formal subset of natural English, just as Gellish Dutch is a formal subset of Dutch, whereas multiple languages share the same concepts. Other Gellish networks consist of knowledge models and information models that are expressed in the Gellish language. A Gellish network is a network of (binary) relations between things. Each relation in the network is an expression of a fact that is classified by a relation type. Each relation type itself is a concept that is defined in the Gellish language dictionary. Each related thing is either a concept or an individual thing that is classified by a concept. The definitions of concepts are created in the form of definition models (definition networks) that together form a Gellish Dictionary. A Gellish network can be documented in a Gellish database and is computer interpretable. SciCrunch is a collaboratively edited knowledge base for scientific resources. It provides unambiguous identifiers (Research Resource IDentifiers or RRIDs) for software, lab tools etc. and it also provides options to create links between RRIDs and from communities. Another example of semantic networks, based on category theory, is ologs. Here each type is an object, representing a set of things, and each arrow is a morphism, representing a function. Commutative diagrams also are prescribed to constrain the semantics. In the social sciences people sometimes use the term semantic network to refer to co occurrence networks. The basic idea is that words that co occur in a unit of text, e. g. a sentence, are semantically related to one another. Ties based on co occurrence can then be used to construct semantic networks. This process includes identifying keywords in the text, constructing co occurrence networks, and analyzing the networks to find central words and clusters of themes in the network. It is a particularly useful method to analyze large text and big data.

Программные инструменты

Существуют также сложные типы семантических сетей, связанные с соответствующими наборами программных инструментов, используемых в области разработки лексических знаний, такие как Semantic Network Processing System (SNePS) Стюарта С. Шапиро или парадигма MultiNet Германа Хелбига, особенно подходящая для семантического представления выражений естественного языка и применяемая в различных задачах обработки естественного языка (NLP). Семантические сети используются в специализированных задачах информационного поиска, например, для выявления плагиата. Они предоставляют информацию об иерархических связях, что позволяет применять семантическое сжатие для уменьшения разнообразия языка и обеспечить сопоставление значений слов системой, независимо от используемых словарных конструкций. Knowledge Graph, предложенный Google в 2012 году, фактически является применением семантической сети в поисковом движке. Моделирование многореляционных данных, таких как семантические сети, в низкоразмерных пространствах посредством методов встраивания (embedding) позволяет эффективно представлять связи между сущностями, а также извлекать отношения из текстовых данных и других источников. Существует множество подходов к обучению этим встраиваниям, в частности, с использованием байесовских кластерных моделей или моделей, основанных на энергии, а в последнее время – TransE (NIPS 2013). Области применения встраивания баз знаний включают анализ социальных сетей и извлечение отношений.