Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Ережеге негізделген машиналық оқыту әдістерінің парадигмасы
Paradigm of rule based machine learning methods
Оқу жіктегіш жүйелері, немесе LCS, – бұл зерттеу компонентін (мысалы, әдетте генетикалық алгоритм) және оқыту компонентін (бақылаулы оқыту, нығайту оқыту немесе қадағалаусыз оқыту) біріктіретін ережеге негізделген машиналық оқыту әдістерінің парадигмасы. Оқу жіктегіш жүйелері болжамдар жасау үшін (мысалы, мінез-құлықты модельдеу, жіктеу, деректерді табу, регрессия, функцияларды жуықтау немесе ойын стратегиясы) контекстке тәуелді ережелер жиынтығын анықтауға тырысады, бұл жиынтық білімді бөлік-бөлікпен сақтап, қолданады. Бұл тәсіл күрделі шешім кеңістіктерін кішірек, қарапайым бөліктерге бөлуге мүмкіндік береді. Оқу жіктегіш жүйелерінің негізін қалаушы түсініктер кешенді бейімделу жүйелерін модельдеу әрекеттерінен туындады, олар ережеге негізделген агенттерді қолдан жасалған танымдық жүйе (яғни жасанды интеллект) құру үшін пайдаланды.
Learning classifier systems, or LCS, are a paradigm of rule based machine learning methods that combine a discovery component (e. g. typically a genetic algorithm) with a learning component (performing either supervised learning, reinforcement learning, or unsupervised learning). Learning classifier systems seek to identify a set of context dependent rules that collectively store and apply knowledge in a piecewise manner in order to make predictions (e. g. behavior modeling, classification, data mining, regression, function approximation, or game strategy). This approach allows complex solution spaces to be broken up into smaller, simpler parts. The founding concepts behind learning classifier systems came from attempts to model complex adaptive systems, using rule based agents to form an artificial cognitive system (i. e. artificial intelligence).
Әдістеме
Берілген оқыту классификаторы жүйесінің архитектурасы мен компоненттері өте өзгермелі болуы мүмкін. LCS-ті өзара әрекеттесетін бірнеше компоненттен тұратын машина ретінде қарастыру тиімді. Компоненттер қосылуы немесе алынып тасталуы мүмкін, немесе белгілі бір проблемалық доменнің талаптарына сәйкес келетін қолданыстағы компоненттер өзгертілуі/алмастырылуы мүмкін (алгоритмдік құрылыс блоктары сияқты) немесе алгоритмнің көптеген түрлі проблемалық домендерде жұмыс істеуге жеткілікті икемді болуын қамтамасыз етуге болады. Нәтижесінде LCS парадигмасын машиналық оқытуды қажет ететін көптеген проблемалық салаларға икемді түрде қолдануға болады. LCS іске асырулары арасындағы негізгі айырмашылықтар мыналар: (1) Мичиган стиліндегі архитектура және Питтсбург стиліндегі архитектура, (2) күшейтілген оқыту және қадағалаумен оқыту, (3) үстемелі оқыту және топтамалық оқыту, (4) онлайн оқыту және офлайн оқыту, (5) күшке негізделген сәйкестік және (6) толық әрекеттерді бейнелеу және ең жақсы әрекеттерді бейнелеу. Бұл айырмашылықтар міндетті түрде бір-бірін жоққа шығармайды. Мысалы, XCS, 1975 жылы және Голландтың схема теоремасын ресми түрде бекітуі. 1976 жылы Холланд GA тұжырымдамасын "танымдық жүйе" деп аталатын нәрсеге кеңейтті және "Адаптивті алгоритмдерге негізделген танымдық жүйелер" атты мақаласында бірінші оқыту классификаторы жүйесі ретінде танылатын нәрсенің алғашқы егжей-тегжейлі сипаттамасын ұсынды. Когнитивтік жүйе 1 (КГ1) деп аталған бұл алғашқы жүйе модельдеу құралы ретінде жасалды, ол белгісіз негізгі динамикасы бар нақты жүйені (яғни, ортаны) адамдар оқи алатын ережелер жиынтығын пайдалана отырып модельдеуге арналған. Мақсат – ортаға сирек кездесетін сыйлық/сыйақыға (яғни, күшейтілген оқыту) негізделген ортаға бейімделу үшін онлайн машиналық оқытуды жүзеге асыратын ережелер жиынтығын жасау және осы ережелерді нақты жүйеге сәйкес келетін мінез-құлықты құру үшін қолдану болды. Бұл ертедегі, амбициялы іске асыру кейін тым күрделі деп танылды, нәтижесінде тұрақсыз нәтижелер алынды. 1980 жылдан бастап Кеннет де Йонг және оның студенті Стивен Смит (LS 1) қағидаға негізделген машиналық оқытуға басқаша көзқарас ұсынды, онда оқыту онлайн-оптимизация процесіне қарағанда офлайн-оптимизация процесі ретінде қарастырылды. Бұл жаңа тәсіл стандартты генетикалық алгоритмге көбірек ұқсас болды, бірақ тәуелсіз ережелер жиынтығын дамытты. Содан бері Мичиган университетінде Голланд ұсынған онлайн оқыту шеңберіне негізделген LCS әдістері Мичиган стиліндегі LCS деп аталады, ал Питтсбург университетінде Смит пен Де Йонгтың жұмысына негізделген әдістер Питтсбург стиліндегі LCS деп аталады. LCS зерттеулерінің алғашқы кезеңінде пайда болған басқа маңызды тұжырымдамаларға (1) кредиттерді тағайындау/оқыту үшін түймешік бригада алгоритмін (BBA) ресмилендіру, (2) жалпы "орталық нишадан" (яғни, сәйкес келетін жиынтық [M]) бүкіл популяциядан емес, (3) алғаш рет құру операторы ретінде енгізілген жабу, (4) әрекеттер жиынтығын [A] ресмилендіру және дұрыс жиынтықты [C] енгізу, (8) дәлдікке негізделген сәйкестік, (9) LCS-пен тұйық логиканы біріктіру (кейін бұл тұйық LCS алгоритмдерінің ұрпағын тудырды), (10) көп қадамдық мәселелерде өнімділікті жақсарту үшін ұзақ әрекеттер тізбектерін және әдепкі иерархияларды ынталандыру, (11) жасырын оқытуды зерттеу (кейін бұл алдын ала жіктеуші (ACS) жүйелерінің жаңа саласына ықпал етті) және (12) алғашқы Q-оқыту сияқты кредиттерді тағайындау әдісін енгізу кіреді. Бұл тұжырымдамалардың барлығы қазіргі заманғы LCS алгоритмдерінде қолданылмайтын болса да, олардың әрқайсысы LCS парадигмасының дамуындағы маңызды кезеңдер болды.
The architecture and components of a given learning classifier system can be quite variable. It is useful to think of an LCS as a machine consisting of several interacting components. Components may be added or removed, or existing components modified/exchanged to suit the demands of a given problem domain (like algorithmic building blocks) or to make the algorithm flexible enough to function in many different problem domains. As a result, the LCS paradigm can be flexibly applied to many problem domains that call for machine learning. The major divisions among LCS implementations are as follows: (1) Michigan style architecture vs. Pittsburgh style architecture, (2) reinforcement learning vs. supervised learning, (3) incremental learning vs. batch learning, (4) online learning vs. offline learning, (5) strength based fitness vs. accuracy based fitness, and (6) complete action mapping vs best action mapping. These divisions are not necessarily mutually exclusive. For example, XCS, in 1975 and his formalization of Holland's schema theorem. In 1976, Holland conceptualized an extension of the GA concept to what he called a "cognitive system", and provided the first detailed description of what would become known as the first learning classifier system in the paper "Cognitive Systems based on Adaptive Algorithms". This first system, named Cognitive System One (CS 1) was conceived as a modeling tool, designed to model a real system (i. e. environment) with unknown underlying dynamics using a population of human readable rules. The goal was for a set of rules to perform online machine learning to adapt to the environment based on infrequent payoff/reward (i. e. reinforcement learning) and apply these rules to generate a behavior that matched the real system. This early, ambitious implementation was later regarded as overly complex, yielding inconsistent results. Beginning in 1980, Kenneth de Jong and his student Stephen Smith took a different approach to rule based machine learning with (LS 1), where learning was viewed as an offline optimization process rather than an online adaptation process. This new approach was more similar to a standard genetic algorithm but evolved independent sets of rules. Since that time LCS methods inspired by the online learning framework introduced by Holland at the University of Michigan have been referred to as Michigan style LCS, and those inspired by Smith and De Jong at the University of Pittsburgh have been referred to as Pittsburgh style LCS. Other important concepts that emerged in the early days of LCS research included (1) the formalization of a bucket brigade algorithm (BBA) for credit assignment/learning, (2) selection of parent rules from a common 'environmental niche' (i. e. the match set [M]) rather than from the whole population [P], (3) covering, first introduced as a create operator, (4) the formalization of an action set [A], and the introduction of the correct set [C], (8) accuracy based fitness (9) the combination of fuzzy logic with LCS (which later spawned a lineage of fuzzy LCS algorithms), (10) encouraging long action chains and default hierarchies for improving performance on multi step problems, (11) examining latent learning (which later inspired a new branch of anticipatory classifier systems (ACS)), and (12) the introduction of the first Q learning like credit assignment technique. While not all of these concepts are applied in modern LCS algorithms, each were landmarks in the development of the LCS paradigm.
Революция
Оқу жіктеуіш жүйелеріне қызығушылық 1990 жылдардың ортасында негізінен екі оқиғаға байланысты қайта жанданды: күшейту оқыту үшін Q Learning алгоритмінің дамуы және Стюарт Уилсонның Мичиган стиліндегі LCS архитектурасын едәуір жеңілдетуі. Уилсонның Нөлдік деңгейлі жіктеуіш жүйесі (ZCS). Күшейту оқыту көбінесе күй/әрекет кеңістігінің толық бейнесін карталайтын мән функциясын үйренуге тырысады. Сол сияқты, XCS дизайны оны қоршаған ортадағы жоғары сыйлыққа ие нишаларға назар аудармай, проблемалық кеңістіктің (яғни толық картаның) қамтитын және дәл бейнелеуін қалыптастыруға итермелейді (күшке негізделген LCS-де болғандай). Теориялық тұрғыдан алғанда, толық карталар не істеу керектігін, не дұрыс екенін ғана емес, сонымен қатар не істемеу керектігін, не дұрыс емес екенін де көрсетеді. Керісінше, күшке негізделген немесе қадағалаумен оқытуды қолданатын көптеген LCS жүйелері ең жақсы әрекет картасы (немесе ішінара карта) түрінде тиімді мысалдардың жиынтығын іздейді. Күш пен дәлдік негізіндегі бағалау және толық және ең жақсы әрекет карталары арасындағы салыстырулар содан бері егжей-тегжейлі зерттелді.
Interest in learning classifier systems was reinvigorated in the mid 1990s largely due to two events; the development of the Q Learning algorithm for reinforcement learning, and the introduction of significantly simplified Michigan style LCS architectures by Stewart Wilson. Wilson's Zeroth level Classifier System (ZCS) Reinforcement learning typically seeks to learn a value function that maps out a complete representation of the state/action space. Similarly, the design of XCS drives it to form an all inclusive and accurate representation of the problem space (i. e. a complete map) rather than focusing on high payoff niches in the environment (as was the case with strength based LCS). Conceptually, complete maps don't only capture what you should do, or what is correct, but also what you shouldn't do, or what's incorrect. Differently, most strength based LCSs, or exclusively supervised learning LCSs seek a rule set of efficient generalizations in the form of a best action map (or a partial map). Comparisons between strength vs. accuracy based fitness and complete vs. best action maps have since been examined in greater detail.
XCS-тің салдарынан
XCS LCS алгоритмдері мен қосымшаларының жаңа буынын дамытуға түрткі болды. 1995 жылы Конгдон алғаш рет LCS-ті нақты әлемдегі эпидемиологиялық зерттеулерде, EpiCS ауруын зерттеуде және кейіннен эпидемиологиялық жіктеу үшін EpiXCS-ті қолданды. Бұл алғашқы жұмыстар LCS алгоритмдерін биоинформатика саласындағы күрделі және ірі көлемді деректерді өңдеу міндеттеріне қолдануға деген қызығушылықты күшейтті. 1998 жылы Стольцман классификатордың алдын ала жүйелерін (ACS) енгізді, олар классикалық «шарт-әрекет» форматының орнына «шарт-әрекет-салдар» түріндегі ережелерді қамтиды. 2002 жылы Уилсон XCSF-ті ұсынды, оған функцияларды жуықтау үшін есептелген әрекет қосылды. 2003 жылы Бернадо Мансилла қадағалаулы оқытуға, бір қадамдық мәселелерге және ең жақсы әрекеттер жиынтығын құруға арналған XCS алгоритмін мамандандырған қадағалаулы классификатор жүйесін (UCS) енгізді. UCS көптеген нығайту оқушыларына тән зерттеу/пайдалану оқыту кезеңдері мен қарапайым, дәлдікке негізделген ережелік сәйкестікті нығайту оқыту стратегиясынан бас тартты. Bull LCS аясының теориялық түсінігін жақсарту үшін қарапайым дәлдікке негізделген LCS (YCS) және қарапайым күшке негізделген LCS – Минималды классификатор жүйесін (MCS) енгізді. Бакардит деректерді өңдеу және биоинформатикадағы үлкен деректер жиынтығына масштабтау үшін арналған Питтсбург стиліндегі LCS – GAssist және BioHEL жүйелерін ұсынды. 2008 жылы Другович «Оқыту классификатор жүйелерін жобалау және талдау» атты кітап жариялады, онда LCS алгоритмдерінің кейбір теориялық аспектілері қарастырылған. Бютц XCSF үшін графикалық интерфейсте онлайн оқытуды визуализациялаудың алғашқы ережесін енгізді. ExSTraCS (1) сарапшы білімін деректердегі маңызды ерекшеліктерге қарайтын жабу және генетикалық алгоритмді басқару үшін, (2) атрибуттарды қадағалау деп аталатын ұзақ мерзімді жадты, тиімді оқытуға және гетерогенді деректер үлгілерін сипаттауға мүмкіндік беру үшін және (3) Бакардиттің аралас дискретті-үздіксіз атрибуттар тізіміне ұқсас икемді ережелік ұсынысты интеграциялады. Бакардит және Урбанович LCS ережелерін түсіндіру және деректерді өңдеу үшін білімді ашу мақсатымен статистикалық және визуализациялық стратегияларды зерттеді. Браун мен Икбал код фрагменттері түріндегі құрылыс блоктарын қайта пайдалану тұжырымдамасын зерттеді және алғаш рет қарапайым мультиплексерлік мәселелерден пайдалы құрылыс блоктарын оқып, 135 биттік мультиплексерлік эталондық мәселені шешті. Мичиган стиліндегі LCS масштабталуын жақсарту үшін кейіннен ExSTraCS 2.0 ұсынылды, ол 135 биттік мультиплексерлік эталондық мәселені алғаш рет тікелей шешті. Оқу классификатор жүйесі ретінде белгілі нәрселерге де сілтеме жасалды. Генетикалық алгоритмдерге ұқсастығы болғандықтан, Питтсбург стиліндегі оқыту классификатор жүйелері кейде «генетикалық алгоритмдер» деп аталады. Бұдан асып түсуде, кейбір LCS алгоритмдері немесе олармен тығыз байланысты әдістер «танымдық жүйелер» деп аталды. Терминологияның осы айырмашылығы саланың шатасуына себеп болады. 2000 жылдарға дейін барлық дерлік оқыту классификатор жүйелері нығайту оқыту мәселелерін ескере отырып әзірленді. Нәтижесінде «оқыту классификатор жүйесі» термині генетикалық алгоритмнің жаһандық іздеуімен біріктірілген «сынақ және қате» нығайту оқыту ретінде анықталды. Қадағалаулы оқытуға және тіпті қадағалаусыз оқытуға қызығушылық осы терминнің қолданылуын және анықтамасын кеңейтті.
XCS inspired the development of a whole new generation of LCS algorithms and applications. In 1995, Congdon was the first to apply LCS to real world epidemiological investigations of disease EpiCS, and later EpiXCS for epidemiological classification. These early works inspired later interest in applying LCS algorithms to complex and large scale data mining tasks epitomized by bioinformatics applications. In 1998, Stolzmann introduced anticipatory classifier systems (ACS) which included rules in the form of 'condition action effect, rather than the classic 'condition action' representation. In 2002, Wilson introduced XCSF, adding a computed action in order to perform function approximation. In 2003, Bernado Mansilla introduced a sUpervised Classifier System (UCS), which specialized the XCS algorithm to the task of supervised learning, single step problems, and forming a best action set. UCS removed the reinforcement learning strategy in favor of a simple, accuracy based rule fitness as well as the explore/exploit learning phases, characteristic of many reinforcement learners. Bull introduced a simple accuracy based LCS (YCS) and a simple strength based LCS Minimal Classifier System (MCS) in order to develop a better theoretical understanding of the LCS framework. Bacardit introduced GAssist and BioHEL, Pittsburgh style LCSs designed for data mining and scalability to large datasets in bioinformatics applications. In 2008, Drugowitsch published the book titled "Design and Analysis of Learning Classifier Systems" including some theoretical examination of LCS algorithms. Butz introduced the first rule online learning visualization within a GUI for XCSF ExSTraCS integrated (1) expert knowledge to drive covering and genetic algorithm towards important features in the data, (2) a form of long term memory referred to as attribute tracking, allowing for more efficient learning and the characterization of heterogeneous data patterns, and (3) a flexible rule representation similar to Bacardit's mixed discrete continuous attribute list representation. Both Bacardit and Urbanowicz explored statistical and visualization strategies to interpret LCS rules and perform knowledge discovery for data mining. Browne and Iqbal explored the concept of reusing building blocks in the form of code fragments and were the first to solve the 135 bit multiplexer benchmark problem by first learning useful building blocks from simpler multiplexer problems. ExSTraCS 2.0 was later introduced to improve Michigan style LCS scalability, successfully solving the 135 bit multiplexer benchmark problem for the first time directly. have also been applied to refer to what would be more characteristically defined as a learning classifier system. Due to their similarity to genetic algorithms, Pittsburgh style learning classifier systems are sometimes generically referred to as 'genetic algorithms'. Beyond this, some LCS algorithms, or closely related methods, have been referred to as 'cognitive systems', This variation in terminology contributes to some confusion in the field. Up until the 2000s nearly all learning classifier system methods were developed with reinforcement learning problems in mind. As a result, the term ‘learning classifier system’ was commonly defined as the combination of ‘trial and error’ reinforcement learning with the global search of a genetic algorithm. Interest in supervised learning applications, and even unsupervised learning have since broadened the use and definition of this term.
Видео оқулық
Классификатор жүйелерін түсінуге арналған нұсқаулық (2016) Негізгі LCS алгоритмінің құрамдас бөліктерін және олардың қалай жұмыс істейтінін білу үшін оның ішіндегі процеске кіріңіз.
Learning Classifier Systems in a Nutshell (2016) Go inside a basic LCS algorithm to learn their components and how they work.