Кіріспе
Ықтималдық және статистикада байқалатын деректерді генерациялайтын модель. Статистикалық жіктеу контекстінде генеративтік модельдер.
generative models in the context of statistical classification
Статистикалық жіктеуде екі негізгі тәсіл – генеративтік тәсіл және дискриминациялық тәсіл деп аталады. Бұл тәсілдер классификаторларды әртүрлі жолдармен есептейді, олар статистикалық модельдеу дәрежесімен ерекшеленеді. Терминология тұрақсыз, бірақ үш негізгі түрді ажыратуға болады: генеративтік модель – берілген байқалатын айнымалы X және мақсатты айнымалы Y үшін бірлескен ықтималдық үлестірілімінің статистикалық моделі; генеративтік модель x байқауының кездейсоқ мысалдарының (нәтижелерінің) «өндіруіне» пайдаланылуы мүмкін. Зерттеушілер бұл үш класты генеративтік оқыту, шартты оқыту және дискриминациялық оқыту деп атайды, бірақ олар тек екі класты ғана ажыратады, оларды генеративтік жіктегіштер (бірлескен үлестірім) және дискриминациялық жіктегіштер (шартты үлестірім немесе үлестірімнің болмауы) деп атайды, соңғы екі класты ажыратпайды. Сәйкесінше, генеративтік модельге негізделген жіктегіш – генеративтік жіктегіш, ал дискриминациялық модельге негізделген жіктегіш – дискриминациялық жіктегіш болып табылады, дегенмен бұл термин модельге негізделмеген жіктегіштерге де қатысты. Олардың әрқайсысының стандартты мысалдары, барлығы сызықтық жіктегіштер:
A generative model is a statistical model of the joint probability distribution on a given observable variable X and target variable Y; A generative model can be used to "generate" random instances (outcomes) of an observation x. refers to these three classes as generative learning, conditional learning, and discriminative learning, but only distinguish two classes, calling them generative classifiers (joint distribution) and discriminative classifiers (conditional distribution or no distribution), not distinguishing between the latter two classes. Analogously, a classifier based on a generative model is a generative classifier, while a classifier based on a discriminative model is a discriminative classifier, though this term also refers to classifiers that are not based on a model. Standard examples of each, all of which are linear classifiers, are:
Генеративтік жіктегіштер:
наив Байес жіктегіші және
сызықтық дискриминантты талдау.
Дискриминациялық модель:
логистикалық регрессия.
naive Bayes classifier and
linear discriminant analysis
discriminative model:
logistic regression
Жіктеуге қолдану кезінде, x байқауынан y белгісіне (немесе белгілердегі ықтималдық үлестіріміне) өту қажет. Мұны ықтималдық үлестірімін (үлестірімсіз жіктегіш) пайдаланбай тікелей есептеуге болады; байқау берілген белгінің ықтималдығын бағалауға болады (дискриминациялық модель) және оған негізделген жіктеуге; немесе бірлескен үлестірімін бағалауға болады (генеративтік модель), содан кейін шартты ықтималдықты есептеуге және содан кейін оған негізделген жіктеуге. Бұл тәсілдер көбірек жанама, бірақ көбірек ықтималдыққа негізделген, бұл домендік білім мен ықтималдық теориясын қолдануға мүмкіндік береді. Іс жүзінде нақты мәселеге байланысты әртүрлі тәсілдер қолданылады, ал гибридтік тәсілдер бірнеше тәсілдердің артықшылықтарын біріктіре алады.
Терең генеративтік модельдер
Терең оқытудың дамуымен бірге, генеративтік модельдер мен терең нейрондық желілердің үйлесімі арқылы терең генеративтік модельдер (DGM) деп аталатын жаңа әдістер отбасы қалыптасты. Нейрондық желілердің көлемінің ұлғаюы, әдетте, жақсы нәтиже алу үшін қажетті оқыту деректерінің көлемінің ұлғаюымен бірге жүреді. Көп таралған DGM-ге вариациялық автокодерлер (VAE), генеративтік қарсыластық желілер (GAN) және авторегрессивті модельдер жатады. Соңғы кезде өте үлкен терең генеративтік модельдер құруға бағытталған үрдіс пайда болды. Мысалы, миллиардтаған параметрлері бар авторегрессивті нейрондық тілдік модельдер, BigGAN және VQ VAE – суреттер жасау үшін жүз миллиондаған параметрлері бар модельдер, ал Jukebox – миллиардтаған параметрлері бар музыкалық аудио үшін өте үлкен генеративтік модель болып табылады.
Мәтін жасау
ағылшын тіліндегі сөз жұптарының жиілік кестесін пайдаланып, "representing and speedily is an good" деген сөзбен басталатын сөйлем жасауға мысал келтіреді; бұл толыққанды ағылшын тілі емес, бірақ кесте сөз жұптарынан сөз үштіктеріне және одан әрі өзгешеленгенде оған жақындап келеді.