Байес модельдерін таңдаудағы девианттық ақпараттық критерий (DIC)
Deviance information criterion
Байес модельдерін таңдаудағы DIC (девианттық ақпараттық критерий) туралы. MCMC симуляциясы, AIC-ге қатысты, үлкен үлгілерде қолданылады. Жақсы модельді анықтауға көмектеседі.
Ағылшыншамен салыстырыңыз: абзацты басыңыз — түпнұсқа терезеде ашылады. Абзац астындағы EN түймесі оны мәтін ішінде көрсетеді.
Мазмұны
Кіріспе
Ауысу ақпарат критерийі (DIC) — Акаике ақпарат критерийінің (AIC) иерархиялық модельдеудегі жалпылауы. Бұл, әсіресе, байестік модельдерді таңдау мәселелерінде пайдалы, онда модельдердің кейінгі үлестірімдері Марков тізбегі Монте-Карло (MCMC) симуляциясы арқылы есептелген. DIC, AIC сияқты, үлгі көлемі артқанда асимптотикалық жуықтау болып табылады. Ол тек кейінгі үлестірім шамамен көпөлшемді қалыпты үлестірімге жақын болғанда ғана қолданылады.
The deviance information criterion (DIC) is a hierarchical modeling generalization of the Akaike information criterion (AIC). It is particularly useful in Bayesian model selection problems where the posterior distributions of the models have been obtained by Markov chain Monte Carlo (MCMC) simulation. DIC is an asymptotic approximation as the sample size becomes large, like AIC. It is only valid when the posterior distribution is approximately multivariate normal.
Мотивация
Идея мынада: кішкентай DIC мәніне ие модельдер, үлкен DIC мәніне ие модельдерге қарағанда артықшылықты болуы керек. Модельдер жақсы сәйкестікті қамтамасыз ететін мәнімен де, сондай-ақ (AIC-ге ұқсас) параметрлердің тиімді санымен де жазаланады. Модельдегі параметрлер саны артқан сайын кемитін болғандықтан, бұл термин осы әсерді параметрлер саны аз модельдерді жақтап, өтеуге көмектеседі. Байестік модельді таңдауда DIC-тің басқа критерийлерге қарағандағы артықшылығы – DIC Марков тізбегі Монте-Карло симуляциясы арқылы алынған үлгілерден оңай есептелуі. AIC ықтималдылықты оның максималды мәнінде есептеуді қажет етеді, бұл MCMC симуляциясынан тікелей қол жетімді емес. Ал DIC-ті есептеу үшін , мәнін үлгілердің орташасы бойынша есептеу керек, ал мәнін үлгілердің орташа мәніндегі мәні бойынша анықтау керек. Содан кейін DIC осы жуықтамалардан тікелей шығады. Claeskens және Hjort (2008, 3.5 тарау) көрсеткендей, DIC үлкен үлгілерде AIC-тің табиғи түрде берік нұсқасына тең келеді.
The idea is that models with smaller DIC should be preferred to models with larger DIC. Models are penalized both by the value of , which favors a good fit, but also (similar to AIC) by the effective number of parameters Since will decrease as the number of parameters in a model increases, the term compensates for this effect by favoring models with a smaller number of parameters. An advantage of DIC over other criteria in the case of Bayesian model selection is that the DIC is easily calculated from the samples generated by a Markov chain Monte Carlo simulation. AIC requires calculating the likelihood at its maximum over , which is not readily available from the MCMC simulation. But to calculate DIC, simply compute as the average of over the samples of , and as the value of evaluated at the average of the samples of Then the DIC follows directly from these approximations. Claeskens and Hjort (2008, Ch. 3.5) show that the DIC is large sample equivalent to the natural model robust version of the AIC.
Қорытындылар
DIC-ті есептеу кезінде, болашақ байқауларды құрайтын, берілген параметрлік ықтималдық үлестірілімдерінің нақты модельді қамтиды деп қарастырылады. Бұл ереже әрқашан орындалмайды, сондықтан мұндай жағдайда модельді бағалау процедураларын қарастыру қажет. Сонымен қатар, байқалған деректер артқы үлестірімді құру және бағаланған модельдерді тексеру үшін пайдаланылады. Осы себепті, DIC шамадан тыс сәйкес келетін модельдерді таңдауға ұмтылады.
In the derivation of DIC, it is assumed that the specified parametric family of probability distributions that generate future observations encompasses the true model. This assumption does not always hold, and it is desirable to consider model assessment procedures in that scenario. Also, the observed data are used both to construct the posterior distribution and to evaluate the estimated models. Therefore, DIC tends to select over fitted models.