Контекстсіз тілдерді талдау алгоритмі: Earley талдағышы
Earley parser
Ерлі парсері: Контекстсіз тілдерді талдау алгоритмі. Динамикалық бағдарламалау, жылдамдық (сызықтық-кубтық) және лингвистикада қолданылуы туралы ақпарат.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Контекстсіз тілдерді талдау алгоритмі
Algorithm for parsing context free languages
Компьютерлік ғылымда Эрли талдағышы – белгілі бір контекстсіз тілге жататын тізбектерді талдау алгоритмі, бірақ (нұсқасына байланысты) ол кейбір нөлдік грамматикалармен проблемаларға тап болуы мүмкін. Алгоритм, оны ойлап тапқан Джей Эрли есімімен аталады, динамикалық бағдарламалауды қолданатын кестелік талдағыш; ол негізінен есептеу лингвистикасында талдау үшін қолданылады. Ол алғаш рет 1968 жылы диссертациясында (кейін қысқартылған, оқуға қолайлы түрінде журналда жарияланған) ұсынылды. Эрли талдағыштары тартымды, себебі олар барлық контекстсіз тілдерді талдай алады, LR және LL талдағыштарынан өзгеше, олар көбінесе компиляторларда қолданылады, бірақ тек шектеулі тілдер кластарын ғана өңдей алады. Эрли талдағышы жалпы жағдайда кубикалық уақытта орындалады, мұнда n – талданатын тізбенің ұзындығы, екі мәнді емес грамматика үшін квадраттық уақытта, ал барлық детерминистік контекстсіз грамматика үшін сызықтық уақытта. Ережелер сол жақтан рекурсивті жазылғанда ол ерекше жақсы жұмыс істейді.
In computer science, the Earley parser is an algorithm for parsing strings that belong to a given context free language, though (depending on the variant) it may suffer problems with certain nullable grammars. The algorithm, named after its inventor, Jay Earley, is a chart parser that uses dynamic programming; it is mainly used for parsing in computational linguistics. It was first introduced in his dissertation in 1968 (and later appeared in an abbreviated, more legible, form in a journal). Earley parsers are appealing because they can parse all context free languages, unlike LR parsers and LL parsers, which are more typically used in compilers but which can only handle restricted classes of languages. The Earley parser executes in cubic time in the general case , where n is the length of the parsed string, quadratic time for unambiguous grammars , and linear time for all deterministic context free grammars. It performs particularly well when the rules are written left recursively.
Ерли танушысы
Келесі алгоритм Ерли танушысын сипаттайды. Танушыны танитын кезінде талдау ағашын құруға бейімдеуге болады, осылайша оны талдаушыға айналдыруға болады.
The following algorithm describes the Earley recogniser. The recogniser can be modified to create a parse tree as it recognises, and in that way can be turned into a parser.
Парс орманын құру
Ерлидің диссертациясы қысқаша түрде әрбір терминал емес элементтен оны тануға себеп болған элементтерге сілтемелер жиынтығын қосу арқылы талдау ағаштарын құру алгоритмін сипаттайды. Бірақ Томита бұл символдар арасындағы байланысты ескермейтінін байқады, сондықтан егер біз S → SS | b грамматикасын және bbb жолын қарастырсақ, ол тек әрбір S бір немесе екі b-ға сәйкес келетінін көрсетеді, соның салдарынан bb және bbbb үшін жалған туындыларды, ал bbb үшін екі дұрыс туындыны шығарады. Тағы бір әдіс – әрбір Ерли элементін (s, i, j) үштігімен белгіленген ортақ жиналған талдау орманына (SPPF) сілтемемен толықтыру болып табылады, мұнда s – символ немесе LR(0) элементі (нүктесі бар өндіріс ережесі), ал i және j – осы түйіннен туындаған кіріс жол бөлігін көрсетеді. Түйіннің мазмұны – бір туындыны беретін екі балама көрсеткіштер немесе әрқайсысында көрсеткіштер жұбы бар және бір туындыны білдіретін «жиналған» түйіндер тізімі болуы мүмкін. SPPF түйіндері бірегей (берілген белгісі бар тек біреуі бар), бірақ екі мәнді талдаулар үшін бірнеше туындылар болуы мүмкін. Сондықтан, егер операция Ерли элементін қоспаса да (ол қазірдің өзінде бар болса), ол элементтің талдау орманына туынды қосуы мүмкін. Болжамды элементтерде SPPF көрсеткіші нөлдік болады. Сканер сканерлеп жатқан терминал емес элементті көрсететін SPPF түйінін жасайды. Содан кейін сканер немесе толықтырушы элементті жылжытқанда, олар балалары – нүктесі жылжытылған элементтің түйіні және жылжытылған жаңа символдың (терминал емес немесе толыққан элемент) туындысын қосады. SPPF түйіндері ешқашан толыққан LR(0) элементімен белгіленбейді: оның орнына олар шығарылған символмен белгіленеді, сондықтан барлық туындылар қай өндіріс нұсқасынан келгеніне қарамастан, бір түйін астында біріктіріледі.
Earley's dissertation briefly describes an algorithm for constructing parse trees by adding a set of pointers from each non terminal in an Earley item back to the items that caused it to be recognized. But Tomita noticed that this does not take into account the relations between symbols, so if we consider the grammar S → SS | b and the string bbb, it only notes that each S can match one or two b's, and thus produces spurious derivations for bb and bbbb as well as the two correct derivations for bbb. Another method is to build the parse forest as you go, augmenting each Earley item with a pointer to a shared packed parse forest (SPPF) node labelled with a triple (s, i, j) where s is a symbol or an LR(0) item (production rule with dot), and i and j give the section of the input string derived by this node. A node's contents are either a pair of child pointers giving a single derivation, or a list of "packed" nodes each containing a pair of pointers and representing one derivation. SPPF nodes are unique (there is only one with a given label), but may contain more than one derivation for ambiguous parses. So even if an operation does not add an Earley item (because it already exists), it may still add a derivation to the item's parse forest. Predicted items have a null SPPF pointer. The scanner creates an SPPF node representing the non terminal it is scanning. Then when the scanner or completer advance an item, they add a derivation whose children are the node from the item whose dot was advanced, and the one for the new symbol that was advanced over (the non terminal or completed item). SPPF nodes are never labeled with a completed LR(0) item: instead they are labelled with the symbol that is produced so that all derivations are combined under one node regardless of which alternative production they come from.
Оңтайландырулар
Филипп Маклин мен Р. Найджел Хорспул «Жылдамдатылған Эрли Parser» деген мақаласында Эрли талдауын LR талдауымен үйлестіріп, нәтижесінде бірнеше есе жақсартуға қол жеткізеді.
Philippe McLean and R. Nigel Horspool in their paper "A Faster Earley Parser" combine Earley parsing with LR parsing and achieve an improvement in an order of magnitude.
ОКамл
Қарапайым Эрли – құжаттамасы бар қарапайым Эрли тәрізді талдау алгоритмінің іске асырылуы.
Simple Earley An implementation of a simple Earley like parsing algorithm, with documentation.
Қатты тотығу
Сантьяго – Rust бағдарламалау тілі үшін лексикалық талдау және синтаксистік талдау құралы, Earley талдаушысын қолданады.
Santiago – A lexing and parsing toolkit for Rust implementing an Earley parser.
Вольфрам
properEarleyParser Эрли талдаушының Wolfram бағдарламалау тіліндегі қарапайым, минималды іске асырылуы, қажетті сынақ жағдайларымен.
properEarleyParser A basic minimal implementation of an Earley parser in Wolfram programming language with some essential test cases.