Введение
Количество значений в окончательном расчете статистики, которые могут свободно изменяться.
In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary. Estimates of statistical parameters can be based upon different amounts of information or data. The number of independent pieces of information that go into the estimate of a parameter is called the degrees of freedom. In general, the degrees of freedom of an estimate of a parameter are equal to the number of independent scores that go into the estimate minus the number of parameters used as intermediate steps in the estimation of the parameter itself. For example, if the variance is to be estimated from a random sample of independent scores, then the degrees of freedom is equal to the number of independent scores (N) minus the number of parameters estimated as intermediate steps (one, namely, the sample mean) and is therefore equal to
Mathematically, degrees of freedom is the number of dimensions of the domain of a random vector, or essentially the number of "free" components (how many components need to be known before the vector is fully determined). The term is most often used in the context of linear models (linear regression, analysis of variance), where certain random vectors are constrained to lie in linear subspaces, and the number of degrees of freedom is the dimension of the subspace. The degrees of freedom are also commonly associated with the squared lengths (or "sum of squares" of the coordinates) of such vectors, and the parameters of chi squared and other distributions that arise in associated statistical testing problems. While introductory textbooks may introduce degrees of freedom as distribution parameters or through hypothesis testing, it is the underlying geometry that defines degrees of freedom, and is critical to a proper understanding of the concept.
В статистике число степеней свободы – это количество значений в окончательном расчете статистики, которые могут свободно изменяться. Оценки статистических параметров могут основываться на различном объеме информации или данных. Количество независимых единиц информации, используемых при оценке параметра, называется степенями свободы. В общем случае, степени свободы оценки параметра равны числу независимых наблюдений, участвующих в оценке, минус количество параметров, используемых в качестве промежуточных шагов при оценке самого параметра. Например, если дисперсия оценивается по случайной выборке независимых наблюдений, то степени свободы равны числу независимых наблюдений (N) минус количество параметров, оцененных на промежуточных этапах (один, а именно, выборочное среднее), и, следовательно, равны…
In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary. Estimates of statistical parameters can be based upon different amounts of information or data. The number of independent pieces of information that go into the estimate of a parameter is called the degrees of freedom. In general, the degrees of freedom of an estimate of a parameter are equal to the number of independent scores that go into the estimate minus the number of parameters used as intermediate steps in the estimation of the parameter itself. For example, if the variance is to be estimated from a random sample of independent scores, then the degrees of freedom is equal to the number of independent scores (N) minus the number of parameters estimated as intermediate steps (one, namely, the sample mean) and is therefore equal to
Mathematically, degrees of freedom is the number of dimensions of the domain of a random vector, or essentially the number of "free" components (how many components need to be known before the vector is fully determined). The term is most often used in the context of linear models (linear regression, analysis of variance), where certain random vectors are constrained to lie in linear subspaces, and the number of degrees of freedom is the dimension of the subspace. The degrees of freedom are also commonly associated with the squared lengths (or "sum of squares" of the coordinates) of such vectors, and the parameters of chi squared and other distributions that arise in associated statistical testing problems. While introductory textbooks may introduce degrees of freedom as distribution parameters or through hypothesis testing, it is the underlying geometry that defines degrees of freedom, and is critical to a proper understanding of the concept.
Математически, степени свободы – это число размерностей области случайного вектора, или, по сути, число «свободных» компонент (сколько компонент необходимо знать, прежде чем вектор будет полностью определен). Этот термин чаще всего используется в контексте линейных моделей (линейной регрессии, дисперсионного анализа), где определенные случайные векторы ограничены линейными подпространствами, а число степеней свободы является размерностью этого подпространства. Степени свободы также обычно связаны с квадратами длин (или «суммой квадратов» координат) таких векторов и параметрами распределения хи-квадрат и других распределений, возникающих в связанных статистических задачах. Хотя вводные учебники могут представлять степени свободы как параметры распределения или через проверку гипотез, именно базовая геометрия определяет степени свободы и имеет решающее значение для правильного понимания этой концепции.
In statistics, the number of degrees of freedom is the number of values in the final calculation of a statistic that are free to vary. Estimates of statistical parameters can be based upon different amounts of information or data. The number of independent pieces of information that go into the estimate of a parameter is called the degrees of freedom. In general, the degrees of freedom of an estimate of a parameter are equal to the number of independent scores that go into the estimate minus the number of parameters used as intermediate steps in the estimation of the parameter itself. For example, if the variance is to be estimated from a random sample of independent scores, then the degrees of freedom is equal to the number of independent scores (N) minus the number of parameters estimated as intermediate steps (one, namely, the sample mean) and is therefore equal to
Mathematically, degrees of freedom is the number of dimensions of the domain of a random vector, or essentially the number of "free" components (how many components need to be known before the vector is fully determined). The term is most often used in the context of linear models (linear regression, analysis of variance), where certain random vectors are constrained to lie in linear subspaces, and the number of degrees of freedom is the dimension of the subspace. The degrees of freedom are also commonly associated with the squared lengths (or "sum of squares" of the coordinates) of such vectors, and the parameters of chi squared and other distributions that arise in associated statistical testing problems. While introductory textbooks may introduce degrees of freedom as distribution parameters or through hypothesis testing, it is the underlying geometry that defines degrees of freedom, and is critical to a proper understanding of the concept.
История
Хотя основная концепция степеней свободы была признана еще в 1821 году в работе немецкого астронома и математика Карла Фридриха Гаусса, ее современное определение и применение были впервые подробно изложены английским статистиком Уильямом Сили Госсетом в его статье 1908 года для журнала "Biometrika" под названием "Вероятная ошибка среднего", опубликованной под псевдонимом "Студент". Хотя Госсет и не использовал непосредственно термин "степени свободы", он объяснил эту концепцию в процессе разработки того, что впоследствии стало известно как t-распределение Стьюдента. Сам термин был популяризирован английским статистиком и биологом Рональдом Фишером, начиная с его работы 1922 года о хи-квадрате.
Обозначение
В уравнениях типичным символом для степеней свободы является ν (строчная греческая буква ню). В тексте и таблицах обычно используется аббревиатура "с.с.". Р.А. Фишер использовал n для обозначения степеней свободы, но в современной практике n обычно резервируется для обозначения размера выборки.
В моделях структурных уравнений
Когда представляются результаты структурных уравнений (SEM), они обычно включают один или несколько индексов общей пригодности модели, наиболее распространенным из которых является статистика χ2. Она служит основой для других индексов, которые обычно приводятся. Хотя именно эти другие статистики чаще всего интерпретируются, степени свободы χ2 необходимы для понимания пригодности модели, а также структуры самой модели. Степень свободы в SEM вычисляется как разница между количеством уникальных единиц информации, используемых в качестве входных данных для анализа, иногда называемых известными значениями, и количеством параметров, которые оцениваются уникально, иногда называемых неизвестными значениями. Например, в однофакторном подтверждающем факторном анализе с 4 элементами имеется 10 известных значений (шесть уникальных ковариаций между четырьмя элементами и четыре дисперсии элементов) и 8 неизвестных значений (4 факторные нагрузки и 4 дисперсии ошибок), что соответствует 2 степеням свободы. Степень свободы важна для понимания пригодности модели, поскольку, при прочих равных условиях, чем меньше степеней свободы, тем лучше будут показатели, такие как χ2. Было показано, что степень свободы может быть использована читателями статей, содержащих SEM, для определения того, правильно ли авторы этих статей сообщают статистику пригодности модели. Например, в организационных науках почти половина статей, опубликованных в ведущих журналах, содержит информацию о степенях свободы, которые не соответствуют описанным в этих статьях моделям, что заставляет читателя сомневаться в том, какие модели были фактически протестированы.
Из остатков
Обычный способ понимания степеней свободы — это количество независимых единиц информации, доступных для оценки другой единицы информации. Более конкретно, число степеней свободы — это количество независимых наблюдений в выборке данных, которые можно использовать для оценки параметра генеральной совокупности, из которой эта выборка была получена. Например, если у нас есть два наблюдения, при вычислении среднего значения мы имеем два независимых наблюдения; однако, при вычислении дисперсии у нас остается только одно независимое наблюдение, поскольку оба наблюдения равноудалены от среднего значения выборки. При подгонке статистических моделей к данным векторы невязок ограничены пространством меньшей размерности, чем количество компонентов в векторе. Эта меньшая размерность и есть число степеней свободы для ошибки, также называемое остаточными степенями свободы.
Анализ дисперсии (ANOVA)
В статистических задачах проверки гипотез обычно интересуют не сами компонентные векторы, а скорее их квадраты длин, или сумма квадратов. Степень свободы, связанная с суммой квадратов, равна степени свободы соответствующих компонентных векторов. Приведенный выше пример с тремя популяциями является примером однофакторного дисперсионного анализа. Сумма квадратов модели, или эффекта, – это квадрат длины второго вектора, имеющая 2 степени свободы. Остаточная сумма квадратов, или ошибка, равна 3(n−1) степеням свободы. Разумеется, вводные учебники по дисперсионному анализу обычно приводят формулы без демонстрации векторов, но именно эта базовая геометрия порождает формулы для суммы квадратов и показывает, как однозначно определить степени свободы в любой конкретной ситуации. При нулевой гипотезе об отсутствии различий между средними значениями генеральных совокупностей (и при условии выполнения стандартных предположений регулярности дисперсионного анализа) суммы квадратов имеют масштабированные распределения хи-квадрат с соответствующими степенями свободы. Статистика F-теста – это отношение, нормированное на степени свободы. Если различий между средними значениями генеральных совокупностей нет, то это отношение следует F-распределению со степенями свободы 2 и 3n − 3. В некоторых сложных ситуациях, таких как несбалансированные схемы разбиения по блокам, суммы квадратов перестают иметь масштабированные распределения хи-квадрат. Сравнение суммы квадратов со степенями свободы теряет смысл, и в таких случаях программное обеспечение может сообщать о некоторых дробных «степенях свободы». Эти числа не имеют реальной интерпретации степеней свободы, а лишь обеспечивают приближенное распределение хи-квадрат для соответствующей суммы квадратов. Подробности таких приближений выходят за рамки данной страницы.
with 2 degrees of freedom. The residual, or error, sum of squares is
with 3(n−1) degrees of freedom. Of course, introductory books on ANOVA usually state formulae without showing the vectors, but it is this underlying geometry that gives rise to SS formulae, and shows how to unambiguously determine the degrees of freedom in any given situation. Under the null hypothesis of no difference between population means (and assuming that standard ANOVA regularity assumptions are satisfied) the sums of squares have scaled chi squared distributions, with the corresponding degrees of freedom. The F test statistic is the ratio, after scaling by the degrees of freedom. If there is no difference between population means this ratio follows an F distribution with 2 and 3n − 3 degrees of freedom. In some complicated settings, such as unbalanced split plot designs, the sums of squares no longer have scaled chi squared distributions. Comparison of sum of squares with degrees of freedom is no longer meaningful, and software may report certain fractional 'degrees of freedom' in these cases. Such numbers have no genuine degrees of freedom interpretation, but are simply providing an approximate chi squared distribution for the corresponding sum of squares. The details of such approximations are beyond the scope of this page.
В распределениях вероятности
Несколько часто встречающихся статистических распределений (t-распределение Стьюдента, хи-квадрат, F-распределение) имеют параметры, которые обычно называют степенями свободы. Эта терминология просто отражает тот факт, что во многих приложениях, где эти распределения возникают, параметр соответствует степеням свободы базового случайного вектора, как в предыдущем примере ANOVA. Другой простой пример: если являются независимыми нормально распределенными случайными величинами, то статистика
follows a chi squared distribution with n − 1 degrees of freedom. Here, the degrees of freedom arises from the residual sum of squares in the numerator, and in turn the n − 1 degrees of freedom of the underlying residual vector
In the application of these distributions to linear models, the degrees of freedom parameters can take only integer values. The underlying families of distributions allow fractional values for the degrees of freedom parameters, which can arise in more sophisticated uses. One set of examples is problems where chi squared approximations based on effective degrees of freedom are used. In other applications, such as modelling heavy tailed data, a t or F distribution may be used as an empirical model. In these cases, there is no particular degrees of freedom interpretation to the distribution parameters, even though the terminology may continue to be used.
следует распределению хи-квадрат со степенями свободы n − 1. Здесь степени свободы возникают из остаточной суммы квадратов в числителе, а, в свою очередь, из n − 1 степеней свободы базового остаточного вектора.
follows a chi squared distribution with n − 1 degrees of freedom. Here, the degrees of freedom arises from the residual sum of squares in the numerator, and in turn the n − 1 degrees of freedom of the underlying residual vector
In the application of these distributions to linear models, the degrees of freedom parameters can take only integer values. The underlying families of distributions allow fractional values for the degrees of freedom parameters, which can arise in more sophisticated uses. One set of examples is problems where chi squared approximations based on effective degrees of freedom are used. In other applications, such as modelling heavy tailed data, a t or F distribution may be used as an empirical model. In these cases, there is no particular degrees of freedom interpretation to the distribution parameters, even though the terminology may continue to be used.
При применении этих распределений к линейным моделям параметры степеней свободы могут принимать только целые значения. Основные семейства распределений допускают дробные значения для параметров степеней свободы, которые могут возникать при более сложных применениях. Один из примеров – задачи, где используются приближения хи-квадрат, основанные на эффективных степенях свободы. В других приложениях, таких как моделирование данных с тяжелыми хвостами, t- или F-распределение может использоваться в качестве эмпирической модели. В этих случаях не существует какой-либо особой интерпретации параметров распределения в терминах степеней свободы, хотя соответствующая терминология может продолжать использоваться.
follows a chi squared distribution with n − 1 degrees of freedom. Here, the degrees of freedom arises from the residual sum of squares in the numerator, and in turn the n − 1 degrees of freedom of the underlying residual vector
In the application of these distributions to linear models, the degrees of freedom parameters can take only integer values. The underlying families of distributions allow fractional values for the degrees of freedom parameters, which can arise in more sophisticated uses. One set of examples is problems where chi squared approximations based on effective degrees of freedom are used. In other applications, such as modelling heavy tailed data, a t or F distribution may be used as an empirical model. In these cases, there is no particular degrees of freedom interpretation to the distribution parameters, even though the terminology may continue to be used.
В нестандартной регрессии
Многие нестандартные методы регрессии, включая регуляризованные наименьшие квадраты (например, гребневая регрессия), линейные сглаживатели, сглаживающие сплайны и полупараметрическую регрессию, не основаны на обычных проекциях методом наименьших квадратов, а скорее на регуляризованных (обобщенных и/или штрафных) наименьших квадратах, поэтому степени свободы, определяемые через размерность, обычно неприменимы для этих процедур. Однако эти процедуры остаются линейными относительно наблюдений, и подгоняемые значения регрессии могут быть выражены в виде
где – вектор подгоняемых значений в каждой из исходных ковариат, полученный из подобранной модели, y – исходный вектор ответов, а H – матрица влияния (hat matrix) или, в более общем случае, сглаживающая матрица. Для статистического вывода можно по-прежнему формировать суммы квадратов: модельная сумма квадратов равна ; остаточная сумма квадратов равна . Однако, поскольку H не соответствует подгонке методом наименьших квадратов (то есть не является ортогональной проекцией), эти суммы квадратов больше не имеют (масштабированных, нецентральных) распределений хи-квадрат, и степени свободы, определяемые через размерность, не полезны. Эффективные степени свободы подгонки могут быть определены различными способами для реализации тестов на качество подгонки, перекрестной проверки и других процедур статистического вывода. Здесь можно различать эффективные степени свободы регрессии и эффективные степени свободы остатков.