Соломоновтың индуктивті шығырымдау теориясы және есептеулі оқу модельдері
Solomonoff's theory of inductive inference
Соломоновтың индуктивті шығарым теориясы – мәліметтер негізінде ең ықтимал теорияны анықтайтын математикалық модель. Байес қағидасы мен алгоритмдік күрделілік негізінде жұмыс істейді.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Соломоновтың индуктивті қорытынды теориясы – Рэй Соломонов енгізген, ықтималдықтар теориясы мен теориялық информатикаға негізделген математикалық индукция теориясы. Қорытындысында, Соломоновтың индукциясы бақыланған деректер тізбегін ескере отырып, кез келген есептелетін теорияның кейіннен алынатын ықтималдығын шығарады. Бұл кейіннен алынатын ықтималдық Байес ережесі және кез келген есептелетін теорияға оң ықтималдық беретін, яғни әмбебап алдын ала болжамға негізделген. Соломонов бұл индукцияның есептеуге келмейтінін дәлелдеді, бірақ «бұл есептеуге келмеу өте қауіпсіз түрдегі» және «практикалық болжамдар жасау үшін оны қолдануға ешқандай кедергі келтірмейді» деп атап өтті, себебі алгоритмдік сипаттамасы қысқа болатын теорияларға үлкен үміт артылады.
Solomonoff's theory of inductive inference is a mathematical theory of induction introduced by Ray Solomonoff, based on probability theory and theoretical computer science. In essence, Solomonoff's induction derives the posterior probability of any computable theory, given a sequence of observed data. This posterior probability is derived from Bayes' rule and some universal prior, that is, a prior that assigns a positive probability to any computable theory. Solomonoff proved that this induction is incomputable, but noted that "this incomputability is of a very benign kind", and that it "in no way inhibits its use for practical prediction". by assigning larger prior credences to theories that require a shorter algorithmic description.
Философиялық
Теория философиялық негіздерге негізделген және шамамен 1960 жылы Рей Соломоновпен құрылған. Ол Окамның қырғышының математикалық тұжырымдалған үйлесімі болып табылады. Бұрынғы бақылауларды мінсіз сипаттайтын барлық есептеуге келтірілетін теориялар келесі бақылаудың ықтималдығын есептеу үшін пайдаланылады, мұнда қысқарақ есептеуге келтірілетін теорияларға басымдық беріледі. Маркус Хаттердің әмбебап жасанды интеллектісі осыған сүйене отырып, әрекеттің күтілетін құнын есептейді.
The theory is based in philosophical foundations, and was founded by Ray Solomonoff around 1960. It is a mathematically formalized combination of Occam's razor All computable theories which perfectly describe previous observations are used to calculate the probability of the next observation, with more weight put on the shorter computable theories. Marcus Hutter's universal artificial intelligence builds upon this to calculate the expected value of an action.
Принцип
Соломоновтың индукциясы таза Байесшілдіктің есептеулік формализациясы деп саналады. Индуктивті қорытындының тағы бір бағыты 1967 жылдан бастап Е. Марк Голдтың шектеулі оқыту моделіне негізделген, және содан бері оқытудың көптеген модельдері дамытылды. Жалпы сценарий мынадай: Егер есептелетін функциялардың S класы берілген болса, (f(0), f(1), ..., f(n)) түріндегі кез келген кіріс үшін гипотезаны (барлық есептелетін функциялардың алдын ала келісілген реттік нөміріне сәйкес индекс e; индекстелген функция f-тың берілген мәндерімен сәйкес болуы керек) шығаратын оқушы (яғни рекурсивті функциял) бар ма? Оқушы M, егер оның дерлік барлық гипотезалары бірдей индекс e болса, ол f функциясын тудырады, сондықтан M функцияны f үйренеді; M егер M, S класындағы әрбір f функциясын үйренсе, S класын үйренеді. Негізгі нәтижелер: функциялардың барлық рекурсивті санамалы кластары оқытылуға жарамды, ал барлық есептелетін функциялардың REC класы оқытылуға жарамсыз. Көптеген байланысты модельдер қарастырылды, сондай-ақ оң деректерден рекурсивті санамалы жиындардың кластарын оқыту – Голдтың 1967 жылғы пионерлік еңбегінен бастап зерттеліп келе жатқан тақырып. Голдтың тәсілінің кең ауқымды кеңейтілген түрі – Шмидхубердің жалпыланған Колмогоров күрделіліктері теориясы, ол супер рекурсивті алгоритмдердің бір түрі болып табылады.
Solomonoff's induction has been argued to be the computational formalization of pure Bayesianism. Another direction of inductive inference is based on E. Mark Gold's model of learning in the limit from 1967 and has developed since then more and more models of learning. The general scenario is the following: Given a class S of computable functions, is there a learner (that is, recursive functional) which for any input of the form (f(0),f(1), ,f(n)) outputs a hypothesis (an index e with respect to a previously agreed on acceptable numbering of all computable functions; the indexed function may be required consistent with the given values of f). A learner M learns a function f if almost all its hypotheses are the same index e, which generates the function f; M learns S if M learns every f in S. Basic results are that all recursively enumerable classes of functions are learnable while the class REC of all computable functions is not learnable. Many related models have been considered and also the learning of classes of recursively enumerable sets from positive data is a topic studied from Gold's pioneering paper in 1967 onwards. A far reaching extension of the Gold’s approach is developed by Schmidhuber's theory of generalized Kolmogorov complexities, which are kinds of super recursive algorithms.