Категориальная переменная: определение и свойства

Введение

Переменная, способная принимать ограниченное число возможных значений. В статистике, категорическая переменная (также называемая качественной переменной) – это переменная, которая может принимать одно из ограниченного и обычно фиксированного числа возможных значений, присваивая каждую отдельную единицу наблюдения или другую единицу наблюдения определенной группе или номинальной категории на основе какого-либо качественного признака. В информатике и некоторых областях математики категорические переменные называют перечислениями или перечисляемыми типами. Как правило (хотя и не в данной статье), каждое из возможных значений категорической переменной называют уровнем. Распределение вероятностей, связанное со случайной категорической переменной, называется категориальным распределением. Категориальные данные – это тип статистических данных, состоящий из категорических переменных или данных, преобразованных в эту форму, например, в виде сгруппированных данных. В частности, категориальные данные могут быть получены из наблюдений качественных данных, суммированных в виде подсчетов или перекрестных таблиц, или из наблюдений количественных данных, сгруппированных по заданным интервалам. Часто чисто категориальные данные суммируются в виде таблицы сопряженности. Однако, особенно при анализе данных, термин «категориальные данные» обычно используется для обозначения наборов данных, которые, хотя и содержат некоторые категорические переменные, могут также содержать и некатегорические переменные. Категорическая переменная, которая может принимать ровно два значения, называется бинарной или дихотомической переменной; важным частным случаем является переменная Бернулли. Категорические переменные с более чем двумя возможными значениями называются политомическими переменными; категорические переменные часто предполагаются политомическими, если не указано иное. Дискретизация – это обработка непрерывных данных как категориальных. Дихотомизация – это обработка непрерывных данных или политомических переменных как бинарных переменных. Регрессионный анализ часто рассматривает принадлежность к категории с помощью одной или нескольких количественных дамми-переменных.

Variable capable of taking on a limited number of possible values
In statistics, a categorical variable (also called qualitative variable) is a variable that can take on one of a limited, and usually fixed, number of possible values, assigning each individual or other unit of observation to a particular group or nominal category on the basis of some qualitative property. In computer science and some branches of mathematics, categorical variables are referred to as enumerations or enumerated types. Commonly (though not in this article), each of the possible values of a categorical variable is referred to as a level. The probability distribution associated with a random categorical variable is called a categorical distribution. Categorical data is the statistical data type consisting of categorical variables or of data that has been converted into that form, for example as grouped data. More specifically, categorical data may derive from observations made of qualitative data that are summarised as counts or cross tabulations, or from observations of quantitative data grouped within given intervals. Often, purely categorical data are summarised in the form of a contingency table. However, particularly when considering data analysis, it is common to use the term "categorical data" to apply to data sets that, while containing some categorical variables, may also contain non categorical variables. A categorical variable that can take on exactly two values is termed a binary variable or a dichotomous variable; an important special case is the Bernoulli variable. Categorical variables with more than two possible values are called polytomous variables; categorical variables are often assumed to be polytomous unless otherwise specified. Discretization is treating continuous data as if it were categorical. Dichotomization is treating continuous data or polytomous variables as if they were binary variables. Regression analysis often treats category membership with one or more quantitative dummy variables.

Обозначение

Для облегчения статистической обработки, категорическим переменным могут быть присвоены числовые индексы, например, от 1 до K для K-значной категорической переменной (то есть переменной, которая может принимать ровно K различных значений). Однако в целом эти числа произвольны и не имеют значения, кроме как удобной метки для конкретного значения. Иными словами, значения в категорической переменной существуют в номинальной шкале: каждое из них представляет собой логически отдельную концепцию, не обязательно может быть осмысленно упорядочено и не может быть иным образом манипулировано как числа. Вместо этого допустимыми операциями являются проверка на равенство, принадлежность к множеству и другие операции, связанные с множествами. Следовательно, центральная тенденция набора категорических переменных определяется модой; ни среднее, ни медиана не могут быть определены. В качестве примера, рассмотрим набор людей и соответствующий набор категорических переменных, представляющих их фамилии. Мы можем выполнять такие операции, как проверка на равенство (имеют ли два человека одинаковую фамилию), проверка принадлежности к множеству (есть ли у человека фамилия в данном списке), подсчет (сколько человек имеют данную фамилию) или поиск моды (какая фамилия встречается чаще всего). Однако мы не можем осмысленно вычислить "сумму" Смит + Джонсон или спросить, является ли Смит "меньше" или "больше" Джонсона. Следовательно, мы не можем осмысленно спросить, что такое "средняя фамилия" (среднее) или "средняя по порядку фамилия" (медиана) в наборе фамилий. Это игнорирует концепцию алфавитного порядка, которая является свойством не самих фамилий, а способа, которым мы определяем эти метки. Например, если мы запишем фамилии кириллицей и будем учитывать порядок букв в кириллице, мы можем получить другой результат при оценке "Смит < Джонсон", чем если бы мы записали фамилии в стандартном латинском алфавите; и если мы запишем фамилии китайскими иероглифами, мы вообще не сможем осмысленно оценить "Смит < Джонсон", поскольку для таких иероглифов не определен последовательный порядок. Однако, если мы рассматриваем фамилии в том виде, в котором они написаны, например, в латинском алфавите, и определим порядок, соответствующий стандартному алфавитному порядку, то мы фактически преобразуем их в порядковые переменные, определенные в порядковой шкале.

For ease in statistical processing, categorical variables may be assigned numeric indices, e. g. 1 through K for a K way categorical variable (i. e. a variable that can express exactly K possible values). In general, however, the numbers are arbitrary, and have no significance beyond simply providing a convenient label for a particular value. In other words, the values in a categorical variable exist on a nominal scale: they each represent a logically separate concept, cannot necessarily be meaningfully ordered, and cannot be otherwise manipulated as numbers could be. Instead, valid operations are equivalence, set membership, and other set related operations. As a result, the central tendency of a set of categorical variables is given by its mode; neither the mean nor the median can be defined. As an example, given a set of people, we can consider the set of categorical variables corresponding to their last names. We can consider operations such as equivalence (whether two people have the same last name), set membership (whether a person has a name in a given list), counting (how many people have a given last name), or finding the mode (which name occurs most often). However, we cannot meaningfully compute the "sum" of Smith + Johnson, or ask whether Smith is "less than" or "greater than" Johnson. As a result, we cannot meaningfully ask what the "average name" (the mean) or the "middle most name" (the median) is in a set of names. This ignores the concept of alphabetical order, which is a property that is not inherent in the names themselves, but in the way we construct the labels. For example, if we write the names in Cyrillic and consider the Cyrillic ordering of letters, we might get a different result of evaluating "Smith < Johnson" than if we write the names in the standard Latin alphabet; and if we write the names in Chinese characters, we cannot meaningfully evaluate "Smith < Johnson" at all, because no consistent ordering is defined for such characters. However, if we do consider the names as written, e. g., in the Latin alphabet, and define an ordering corresponding to standard alphabetical order, then we have effectively converted them into ordinal variables defined on an ordinal scale.

Количество возможных значений

Категорические случайные переменные обычно описываются статистически с помощью категориального распределения, которое позволяет представить произвольную K-разрядную категориальную переменную отдельными вероятностями для каждого из K возможных исходов. Такие многокатегорийные переменные часто анализируются с использованием многочленного распределения, подсчитывающего частоту каждой возможной комбинации чисел появлений различных категорий. Регрессионный анализ категориальных результатов проводится с помощью многочленной логистической регрессии, многочленной пробит-регрессии или связанных типов моделей дискретного выбора. Категорические переменные, имеющие только два возможных исхода (например, "да" или "нет", "успех" или "неудача"), называются бинарными (или переменными Бернулли). В силу своей важности, эти переменные часто рассматриваются как отдельная категория, с собственным распределением (распределением Бернулли) и отдельными моделями регрессии (логистическая регрессия, пробит-регрессия и т. д.). В результате термин "категорическая переменная" часто резервируется для случаев с 3 и более исходами, иногда называемых многосторонними переменными в отличие от бинарных. Также возможно рассматривать категориальные переменные, где число категорий не фиксировано заранее. Например, для категориальной переменной, описывающей конкретное слово, мы можем не знать заранее размер словаря и хотим предусмотреть возможность встретить слова, которые мы еще не видели. Стандартные статистические модели, такие как те, что используют категориальное распределение и многочленную логистическую регрессию, предполагают, что число категорий известно заранее, и изменение числа категорий "на лету" затруднительно. В таких случаях необходимо использовать более продвинутые методы. Примером является процесс Дирихле, относящийся к области непараметрической статистики. В этом случае логически предполагается существование бесконечного числа категорий, но в любой момент времени большинство из них (фактически, все, кроме конечного числа) никогда не наблюдались. Все формулы выражаются через количество категорий, фактически наблюдавшихся на данный момент, а не через (бесконечное) общее число потенциальных категорий, и разработаны методы для поэтапного обновления статистических распределений, включая добавление "новых" категорий.

Categorical random variables are normally described statistically by a categorical distribution, which allows an arbitrary K way categorical variable to be expressed with separate probabilities specified for each of the K possible outcomes. Such multiple category categorical variables are often analyzed using a multinomial distribution, which counts the frequency of each possible combination of numbers of occurrences of the various categories. Regression analysis on categorical outcomes is accomplished through multinomial logistic regression, multinomial probit or a related type of discrete choice model. Categorical variables that have only two possible outcomes (e. g., "yes" vs. "no" or "success" vs. "failure") are known as binary variables (or Bernoulli variables). Because of their importance, these variables are often considered a separate category, with a separate distribution (the Bernoulli distribution) and separate regression models (logistic regression, probit regression, etc.). As a result, the term "categorical variable" is often reserved for cases with 3 or more outcomes, sometimes termed a multi way variable in opposition to a binary variable. It is also possible to consider categorical variables where the number of categories is not fixed in advance. As an example, for a categorical variable describing a particular word, we might not know in advance the size of the vocabulary, and we would like to allow for the possibility of encountering words that we have not already seen. Standard statistical models, such as those involving the categorical distribution and multinomial logistic regression, assume that the number of categories is known in advance, and changing the number of categories on the fly is tricky. In such cases, more advanced techniques must be used. An example is the Dirichlet process, which falls in the realm of nonparametric statistics. In such a case, it is logically assumed that an infinite number of categories exist, but at any one time most of them (in fact, all but a finite number) have never been seen. All formulas are phrased in terms of the number of categories actually seen so far rather than the (infinite) total number of potential categories in existence, and methods are created for incremental updating of statistical distributions, including adding "new" categories.

Бессмысленное кодирование

Бессмысленное кодирование возникает, когда вместо установленных значений "0", "1" и "-1", используемых в предыдущих системах кодирования, применяются произвольные значения. Хотя это и позволяет получить корректные средние значения переменных, использование бессмысленного кодирования не рекомендуется, так как приводит к статистическим результатам, которые невозможно интерпретировать.

Встраивания

Встраивания — это представление категориальных значений в виде векторов в многомерном вещественном (иногда комплексном) пространстве, как правило, таким образом, что «похожие» значения отображаются в «похожие» векторы, или в соответствии с каким-либо другим критерием, делающим векторы полезными для конкретной задачи. Распространенным частным случаем являются векторные представления слов, где возможными значениями категориальной переменной являются слова языка, а словам с близким значением соответствуют близкие векторы.

Взаимодействия

Взаимодействие может возникать при рассмотрении взаимосвязи между тремя или более переменными и описывает ситуацию, в которой совместное влияние двух переменных на третью не является суммарным. Взаимодействия с категориальными переменными могут возникать двумя способами: взаимодействие категориальной переменной с категориальной переменной или взаимодействие категориальной переменной с непрерывной переменной.

Категорические взаимодействия категорических переменных

Этот тип взаимодействия возникает при наличии двух категориальных переменных. Для изучения этого типа взаимодействия следует использовать систему кодирования, наиболее точно соответствующую гипотезе исследователя. Произведение кодов определяет взаимодействие. После этого можно вычислить коэффициент b и установить, является ли взаимодействие статистически значимым.

Категорические по непрерывным переменным взаимодействиям

Простой анализ наклонов – распространенный пост-хок тест, используемый в регрессионном анализе, аналогичный анализу простых эффектов в ANOVA, применяемому для анализа взаимодействий. В этом тесте мы исследуем простые наклоны одной независимой переменной при конкретных значениях другой независимой переменной. Этот тест не ограничивается использованием только с непрерывными переменными, но также может применяться, когда независимая переменная является категориальной. Мы не можем произвольно выбирать значения для изучения взаимодействия, как это делается в случае с непрерывными переменными, из-за номинальной природы категориальных данных (то есть, в случае непрерывных переменных можно анализировать данные на высоких, умеренных и низких уровнях, определяемых как одно стандартное отклонение выше среднего, на среднем уровне и одно стандартное отклонение ниже среднего, соответственно). В случае категориальных переменных мы используем простое регрессионное уравнение для каждой группы, чтобы исследовать простые наклоны. Распространенной практикой является стандартизация или центрирование переменных для облегчения интерпретации данных при проведении простого анализа наклонов; однако категориальные переменные никогда не следует стандартизировать или центрировать. Этот тест совместим со всеми системами кодирования.