Кіріспе
Стохастикалық қайталанатын нейрондық желі түрі – Больцман машинасы (сонымен қатар сыртқы өрісі бар Шеррингтон-Киркпатрик моделі немесе стохастикалық Исинг-Ленц-Литтл моделі деп те аталады), Людвиг Больцманның есімімен аталған. Бұл сыртқы өрісі бар стохастикалық спин шыны моделі, яғни Шеррингтон-Киркпатрик моделі, ал ол – стохастикалық Исинг моделі. Ол когнитивтік ғылым саласында қолданылатын статистикалық физика әдісі. Сонымен қатар, ол Марковтың кездейсоқ өрісі ретінде жіктеледі. Больцман машиналарының оқыту алгоритмі жергілікті және Хебб заңына негізделгендігі (Хебб ережесі бойынша оқытылады), сондай-ақ олардың параллельдігі мен динамикасының қарапайым физикалық процестерге ұқсастығы теориялық тұрғыдан қызығушылық тудырады. Шектелмеген байланысы бар Больцман машиналары машиналық оқыту немесе қорытынды шығарудағы практикалық мәселелер үшін пайдалы екені дәлелденбеген, бірақ байланыс дұрыс шектелген жағдайда оқыту тиімді болуы мүмкін және практикалық мәселелерді шешуге көмектеседі. Олар статистикалық механикадағы Больцманның үлестірімімен байланысты аталған, ол олардың үлгі алу функциясында қолданылады. Джеффри Хинтон, Терри Сейновски және Янн ЛеКун оларды танып-білу ғылымдары қауымдастықтарында, әсіресе машиналық оқыту саласында кеңінен танымал етіп, насихаттады.
A Boltzmann machine (also called Sherrington–Kirkpatrick model with external field or stochastic Ising–Lenz–Little model), named after Ludwig Boltzmann is a stochastic spin glass model with an external field, i. e., a Sherrington–Kirkpatrick model, that is a stochastic Ising model. It is a statistical physics technique applied in the context of cognitive science. It is also classified as a Markov random field. Boltzmann machines are theoretically intriguing because of the locality and Hebbian nature of their training algorithm (being trained by Hebb's rule), and because of their parallelism and the resemblance of their dynamics to simple physical processes. Boltzmann machines with unconstrained connectivity have not been proven useful for practical problems in machine learning or inference, but if the connectivity is properly constrained, the learning can be made efficient enough to be useful for practical problems. They are named after the Boltzmann distribution in statistical mechanics, which is used in their sampling function. They were heavily popularized and promoted by Geoffrey Hinton, Terry Sejnowski and Yann LeCun in cognitive sciences communities, particularly in machine learning,
Тепе-теңдік күйі
Желі бірлікті қайта-қайта таңдап, оның күйін қалпына келтіру арқылы жұмыс істейді. Белгілі бір температурада жеткілікті ұзақ жұмыс істегеннен кейін, желідегі жаһандық күйдің ықтималдығы Болцман таралымына сәйкес тек сол жаһандық күйдің энергиясына ғана байланысты болады, ал процесс басталған бастапқы күйге емес. Бұл жаһандық күйлердің логарифмдік ықтималдығы олардың энергиясына пропорционалды болады дегенді білдіреді. Бұл қатынас машина "термиялық тепе-теңдікте" болғанда ғана дұрыс, яғни жаһандық күйлердің ықтималдық таралымы жинақталғанда. Желі жоғары температурадан басталып, температурасы біртіндеп төмендеп, төмен температурада термиялық тепе-теңдікке жетеді. Содан кейін ол энергия деңгейі жаһандық минимумның төңірегінде ауытқуы мүмкін болатын таралымға жинақталуы мүмкін. Бұл процесс симуляцияланған қайнату деп аталады. Желіні оқыту үшін, оның осы күйлердің сыртқы таралымына сәйкес жаһандық күйге жинақталу ықтималдығын арттыру үшін, салмақтар ең жоғары ықтималдығы бар жаһандық күйлерге ең төмен энергия сәйкес келуі керек. Бұл оқыту арқылы іске асырылады.
Оқыту
Болцман машинасының бірліктері "көрінетін" бірліктер, V, және "жасырын" бірліктер, H болып бөлінеді. Көрінетін бірліктер – "сыртқы ортадан" ақпарат алатын бірліктер, яғни оқу жиынтығы V жиынтығындағы екілік векторлар жиынтығы болып табылады. Оқу жиынтығындағы үлестіру мына символда белгіленеді. Болцман машинасы термиялық тепе-теңдікке жеткен кезде, жағдайлардың жаһандық үлестіруі жинақталады. Біз жасырын бірліктер бойынша шеттеуден өткеннен кейін осы үлестіруді былай белгілейміз. Біздің мақсатымыз машинаның тудырған үлестіруін пайдалану арқылы "шынайы" үлестіруді жуықтау. Екі үлестірудің ұқсастығы Kullback–Leibler дивергенциясымен өлшенеді:
The distribution over global states converges as the Boltzmann machine reaches thermal equilibrium. We denote this distribution, after we marginalize it over the hidden units, as
Our goal is to approximate the "real" distribution using the produced by the machine. The similarity of the two distributions is measured by the Kullback–Leibler divergence, :
where the sum is over all the possible states of is a function of the weights, since they determine the energy of a state, and the energy determines , as promised by the Boltzmann distribution. A gradient descent algorithm over changes a given weight, , by subtracting the partial derivative of with respect to the weight. Boltzmann machine training involves two alternating phases. One is the "positive" phase where the visible units' states are clamped to a particular binary state vector sampled from the training set (according to ). The other is the "negative" phase where the network is allowed to run freely, i. e. only the input nodes have their state determined by external data, but the output nodes are allowed to float. The gradient with respect to a given weight, , is given by the equation:
One example of a practical RBM application is in speech recognition.
мұндағы сома – барлық мүмкін күйлер бойынша алынады, ал – салмақтардың функциясы, себебі олар күйдің энергиясын анықтайды, ал энергия Больцман үлестірімімен уәделенгендей анықтайды. Салмаққа қатысты бөлшектік туындысын алып тастау арқылы градиенттік төмендеу алгоритмі берілген салмақты өзгертеді. Болцман машинасының оқытылуы екі кезекті фазаны қамтиды. Бірі – "оң" фаза, онда көрінетін бірліктердің күйлері оқу жиынтығынан алынған нақты екілік күй векторына бекітіледі (.). Екіншісі – "теріс" фаза, онда желіге еркін жұмыс істеуге рұқсат етіледі, яғни тек кіріс түйіндерінің күйі сыртқы деректермен анықталады, бірақ шығыс түйіндеріне еркін өзгеруге рұқсат етіледі. Берілген салмаққа қатысты градиент келесі теңдеумен беріледі:
The distribution over global states converges as the Boltzmann machine reaches thermal equilibrium. We denote this distribution, after we marginalize it over the hidden units, as
Our goal is to approximate the "real" distribution using the produced by the machine. The similarity of the two distributions is measured by the Kullback–Leibler divergence, :
where the sum is over all the possible states of is a function of the weights, since they determine the energy of a state, and the energy determines , as promised by the Boltzmann distribution. A gradient descent algorithm over changes a given weight, , by subtracting the partial derivative of with respect to the weight. Boltzmann machine training involves two alternating phases. One is the "positive" phase where the visible units' states are clamped to a particular binary state vector sampled from the training set (according to ). The other is the "negative" phase where the network is allowed to run freely, i. e. only the input nodes have their state determined by external data, but the output nodes are allowed to float. The gradient with respect to a given weight, , is given by the equation:
One example of a practical RBM application is in speech recognition.
Сөйлеуді тану – RBM-нің практикалық қолданылуының бір мысалы.
The distribution over global states converges as the Boltzmann machine reaches thermal equilibrium. We denote this distribution, after we marginalize it over the hidden units, as
Our goal is to approximate the "real" distribution using the produced by the machine. The similarity of the two distributions is measured by the Kullback–Leibler divergence, :
where the sum is over all the possible states of is a function of the weights, since they determine the energy of a state, and the energy determines , as promised by the Boltzmann distribution. A gradient descent algorithm over changes a given weight, , by subtracting the partial derivative of with respect to the weight. Boltzmann machine training involves two alternating phases. One is the "positive" phase where the visible units' states are clamped to a particular binary state vector sampled from the training set (according to ). The other is the "negative" phase where the network is allowed to run freely, i. e. only the input nodes have their state determined by external data, but the output nodes are allowed to float. The gradient with respect to a given weight, , is given by the equation:
One example of a practical RBM application is in speech recognition.
Терең Болцман машинасы
Терең Болцман машинасы (ДБМ) – жасырын кездейсоқ айнымалылардың бірнеше қабаты бар екілік жұптық Марков кездейсоқ өрісінің (бағытталмаған ықтималдық графикалық модель) түрі. Ол симметриялық жұпталған стохастикалық екілік бірліктерден тұратын желі. Онда көрінетін бірліктер мен жасырын бірліктердің қабаттары бар. Бір қабаттың бірліктері (RBM сияқты) бір-бірімен байланыстырылмайды. Вектор ν-қа тағайындалған ықтималдық мынадай:
мұнда – жасырын бірліктер жиыны, ал – модель параметрлері, көрінетін-жасырын және жасырын-жасырын өзара әрекеттесулерді көрсетеді. DBN-де тек жоғарғы екі қабат ғана шектелген Болцман машинасынан (бағытталмаған графикалық модель) тұрады, ал төменгі қабаттар бағытталған генеративтік модельді құрайды. ДБМ-де барлық қабаттар симметриялық және бағытталмаған. DBN сияқты, ДБМ-дер объектіні немесе сөйлеуді тану сияқты міндеттерде кірістің күрделі және абстрактілі ішкі бейнелеулерін үйренуге қабілетті, шектеулі, таңбаланған деректерді қолданып, үлкен таңбаланбаған сезімдік кіріс деректерінің жиынтығымен құрылған бейнелеулерді жетілдіруге болады. Алайда, DBN және терең конволюциялық нейрондық желілерден айырмашылығы, олар төменнен жоғары және жоғарыдан төмен екі бағыттағы тұжырымдау және оқыту процесін жүзеге асырады, бұл ДБМ-ге кіріс құрылымдарының бейнелеуін жақсырақ ашуға мүмкіндік береді. Дегенмен, ДБМ-нің баяу жылдамдығы оның өнімділігі мен функционалдығын шектейді. ДБМ үшін нақты ең жоғары ықтималдықпен оқыту мүмкін емес болғандықтан, тек шамамен ең жоғары ықтималдықпен оқыту ғана қолданылады. Тағы бір мүмкіндік – орташа өріс арқылы деректерге тәуелді күтулерді бағалау және Марков тізбегі Монте-Карло (MCMC) арқылы күтілетін жеткілікті статистиканы шамалау. Негізгі RBM және оның түрлеріне ұқсас, шпикалы және плиталы RBM екі жақты граф болып табылады, ал GRBM сияқты, көрінетін бірліктер (кіріс) нақты мәнді болады. Айырмашылық жасырын қабатта, онда әр жасырын бірлікте екілік шпикалы айнымалы және нақты мәнді плиталы айнымалы болады. Шпика – нөлдегі дискретті ықтималдық массасы, ал плита – үздіксіз домендегі тығыздық; олардың қоспасы алдын ала бейнелеуді құрайды. ssRBM-нің μ ssRBM деп аталатын кеңейтімі энергия функциясының қосымша мүшелерін пайдалана отырып, қосымша модельдеу мүмкіндіктерін ұсынады. Осы мүшелердің бірі модельге бақылау бойынша плиталы айнымалыларды есептен шығару арқылы шпикалы айнымалылардың шартты үлестірімін құруға мүмкіндік береді.
Математикадан
Жалпы математикалық контексте Болцманның үлестірімі Гиббс шарасы деп те аталады. Статистика мен машиналық оқытуда ол логарифмдік-сызықтық модель деп аталады. Тераң оқытуда Болцманның үлестірімі Болцман машинасы сияқты стохастикалық нейрондық желілердің пішіндіру үлестірімінде қолданылады.
Тарих
Болцман машинасы Шеррингтон-Киркпатриктің стохастикалық Изинг моделінің спин шыны моделіне негізделген. Когнитивтік ғылымда мұндай энергияға негізделген модельдерді қолдануға жасалған алғашқы үлес Хинтон мен Сейньовскидің еңбектерінде кездеседі. Джон Хопфилдтің маңызды жарияланымы физика мен статистикалық механиканы байланыстырып, спин шыныларын атады. Изинг моделін қыздырылған Гиббс үлгісімен қолдану идеясы Дуглас Хофстадтердің Copycat жобасында бар. Ұқсас идеялар (энергиялық функциядағы таңбаның өзгеруімен) Пол Смоленскийдің "Гармония теориясында" табылған. Болцман машинасының формуласында статистикалық механикамен тікелей салыстыру жасауы физикадан алынған терминологияны пайдалануға әкелді (мысалы, "гармония" емес, "энергия"), ол бұл салада стандартқа айналды. Бұл терминологияның кеңінен қабылдануына себеп – статистикалық механикадан әртүрлі түсініктер мен әдістерді қабылдауы болуы мүмкін. Симуляцияланған қыздыруды қорытынды жасау үшін пайдалану туралы әртүрлі ұсыныстар тәуелсіз болды. Изинг модельдері тіл білімі, робототехника, компьютерлік көру және жасанды интеллект салаларында кеңінен қолданылатын Марковтың кездейсоқ өрістерінің ерекше жағдайы ретінде қарастырылды.