Введение
В лингвистике деревобанк — это размеченный текст-корпус, содержащий аннотации синтаксической или семантической структуры предложений. Создание размеченных корпусов в начале 1990-х годов произвело революцию в компьютерной лингвистике, предоставив ей доступ к большим объемам эмпирических данных.
Этимология
Термин «деревобанк» был введен лингвистом Джеффри Личем в 1980-х годах по аналогии с другими хранилищами, такими как банк семян или банк крови. Это объясняется тем, что как синтаксическая, так и семантическая структура обычно представляются композиционно в виде древовидной структуры. Термин «синтаксически размеченный корпус» часто используется как синоним термина «деревобанк», с акцентом на первичность предложений, а не деревьев.
Приложения
С точки зрения вычислительной лингвистики, деревобанки использовались для создания передовых систем обработки естественного языка, таких как определители частей речи, синтаксические анализаторы, семантические анализаторы и системы машинного перевода. Большинство вычислительных систем используют данные деревобанков, соответствующие золотому стандарту. Однако автоматически проанализированный корпус, не прошедший коррекцию лингвистов, всё равно может быть полезен. Он может предоставить информацию о частоте применения правил для анализатора. Анализатор может быть улучшен путём его применения к большим объёмам текста и сбора статистики по частоте правил. Однако должно быть очевидно, что только посредством ручной коррекции и дополнения корпуса возможно выявить правила, отсутствующие в базе знаний анализатора. Кроме того, частоты, вероятно, будут более точными. В корпусной лингвистике деревобанки используются для изучения синтаксических явлений (например, диахронические корпуса могут быть использованы для изучения динамики синтаксических изменений). После синтаксического анализа корпус содержит данные о частоте встречаемости различных грамматических структур. Деревобанки также предоставляют информацию о полноте охвата и способствуют открытию новых, неожиданных грамматических явлений. Другое применение деревобанков в теоретической и психолингвистике – это данные о взаимодействии. Завершённый деревобанк может помочь лингвистам проводить эксперименты, чтобы выяснить, как решение использовать ту или иную грамматическую конструкцию влияет на выбор других конструкций, и попытаться понять, как говорящие и пишущие принимают решения при построении предложений. Исследования взаимодействия особенно продуктивны при добавлении к корпусу дополнительных слоёв аннотации, например, семантических и прагматических. Тогда становится возможным оценить влияние несинтаксических факторов на грамматический выбор. В лингвистических исследованиях аннотированные данные деревобанков использовались в синтаксических исследованиях для проверки лингвистических теорий структуры предложения на большом количестве примеров, взятых из естественной речи.
Инструменты поиска
Один из ключевых способов извлечения доказательств из дерева разбора — использование поисковых инструментов. Поисковые инструменты для размеченных корпусов обычно зависят от схемы аннотирования, применённой к корпусу. Пользовательские интерфейсы различаются по степени сложности: от систем запросов на основе выражений, ориентированных на программистов, до полноценных сред исследования, предназначенных для лингвистов. Уоллис (2008) подробно рассматривает принципы поиска в деревьях разбора и анализирует современное состояние этой области на тот момент.