Введение
Модель для генерации наблюдаемых данных в теории вероятностей и статистике. Генеративные модели в контексте статистической классификации.
generative models in the context of statistical classification
В статистической классификации два основных подхода называются генеративным и дискриминативным подходами. Они вычисляют классификаторы разными способами, отличающимися степенью статистического моделирования. Терминология непоследовательна, но можно выделить три основных типа: генеративная модель – это статистическая модель совместного распределения вероятностей для заданной наблюдаемой переменной X и целевой переменной Y; генеративную модель можно использовать для «генерации» случайных экземпляров (результатов) наблюдения x. Некоторые авторы относят эти три класса к генеративному, условному и дискриминативному обучению, но другие различают только два класса, называя их генеративными классификаторами (совместное распределение) и дискриминативными классификаторами (условное распределение или отсутствие распределения), не различая последние два класса. Аналогично, классификатор, основанный на генеративной модели, является генеративным классификатором, а классификатор, основанный на дискриминативной модели, – дискриминативным классификатором, хотя этот термин также относится к классификаторам, не основанным на модели. Стандартные примеры каждого из них, все из которых являются линейными классификаторами:
A generative model is a statistical model of the joint probability distribution on a given observable variable X and target variable Y; A generative model can be used to "generate" random instances (outcomes) of an observation x. refers to these three classes as generative learning, conditional learning, and discriminative learning, but only distinguish two classes, calling them generative classifiers (joint distribution) and discriminative classifiers (conditional distribution or no distribution), not distinguishing between the latter two classes. Analogously, a classifier based on a generative model is a generative classifier, while a classifier based on a discriminative model is a discriminative classifier, though this term also refers to classifiers that are not based on a model. Standard examples of each, all of which are linear classifiers, are:
Генеративные классификаторы:
Классификатор наивного Байеса и
Линейный дискриминантный анализ.
Дискриминативная модель:
Логистическая регрессия.
naive Bayes classifier and
linear discriminant analysis
discriminative model:
logistic regression
При применении к классификации требуется перейти от наблюдения x к метке y (или распределению вероятностей по меткам). Это можно вычислить напрямую, не используя распределение вероятностей (классификатор, не зависящий от распределения); можно оценить вероятность метки при заданном наблюдении (дискриминативная модель) и основывать классификацию на этом; или можно оценить совместное распределение (генеративная модель), вычислить на его основе условную вероятность и затем основывать классификацию на ней. Эти подходы становятся все более косвенными, но и все более вероятностными, позволяя применять больше знаний предметной области и теорию вероятностей. На практике используются различные подходы в зависимости от конкретной задачи, а гибридные подходы могут сочетать сильные стороны нескольких методов.
Глубокие генеративные модели
С появлением глубокого обучения сформировалось новое семейство методов, называемых глубокими генеративными моделями (DGM), объединяющих генеративные модели и глубокие нейронные сети. Как правило, увеличение масштаба нейронных сетей сопровождается увеличением объема обучающих данных, и то, и другое необходимо для достижения хорошей производительности. К популярным DGM относятся вариационные автоэнкодеры (VAE), генеративно-состязательные сети (GAN) и авторегрессивные модели. В последнее время наблюдается тенденция к созданию очень больших глубоких генеративных моделей, таких как авторегрессивные нейронные языковые модели, содержащие миллиарды параметров, BigGAN и VQ-VAE, используемые для генерации изображений и способные иметь сотни миллионов параметров, а также Jukebox – очень большая генеративная модель для музыкального аудио, содержащая миллиарды параметров.
Создание текста
дает пример, в котором таблица частот английских пар слов используется для генерации предложения, начинающегося с "representing and speedily is an good"; которое не является корректным английским, но будет все больше ему соответствовать по мере расширения таблицы от пар слов до троек слов и так далее.