Введение

Наличие большей изменчивости в наборе данных, чем следовало бы ожидать.

В статистике, передисперсия – это наличие большей изменчивости (статистической дисперсии) в наборе данных, чем ожидается на основе заданной статистической модели. Распространенная задача в прикладной статистике – выбор параметрической модели для описания данного набора эмпирических наблюдений. Это требует оценки соответствия выбранной модели данным. Обычно можно подобрать параметры модели таким образом, чтобы теоретическое среднее значение генеральной совокупности было приблизительно равно выборочному среднему. Однако, особенно для простых моделей с небольшим числом параметров, теоретические прогнозы могут не соответствовать эмпирическим наблюдениям для высших моментов. Когда наблюдаемая дисперсия превышает дисперсию теоретической модели, возникает передисперсия. И наоборот, недодисперсия означает, что в данных наблюдалось меньше вариаций, чем было предсказано. Передисперсия – очень распространенное явление в прикладном анализе данных, поскольку на практике популяции часто неоднородны, что противоречит предположениям, заложенным в широко используемые простые параметрические модели.

Рыба

Сверхдисперсия часто возникает при подгонке очень простых параметрических моделей, таких как модели, основанные на распределении Пуассона. Распределение Пуассона имеет один параметр и не позволяет независимо изменять дисперсию от среднего значения. Выбор распределения из семейства Пуассона часто определяется характером эмпирических данных. Например, регрессионный анализ Пуассона обычно используется для моделирования данных о количестве случаев. Если сверхдисперсия является характерной особенностью, альтернативная модель с дополнительными параметрами может обеспечить лучшую подгонку. В случае данных о количестве случаев, вместо этого можно предложить модель смеси Пуассона, например, отрицательное биномиальное распределение, в котором среднее значение распределения Пуассона само по себе может рассматриваться как случайная величина, взятая – в данном случае – из гамма-распределения, тем самым вводя дополнительный параметр (следует отметить, что полученное отрицательное биномиальное распределение полностью определяется двумя параметрами).

Биномиальный

В качестве более конкретного примера можно отметить, что число мальчиков, рожденных в семьях, не соответствует биномиальному распределению, как можно было бы ожидать. Вместо этого, соотношение полов в семьях, по-видимому, смещается в сторону мальчиков или девочек (см., например, гипотезу Триверса-Уилларда для одного из возможных объяснений), то есть наблюдается больше семей, где рождены только мальчики, больше семей, где рождены только девочки, и недостаточно семей с соотношением, близким к среднему популяционному соотношению 51:49 мальчиков к девочкам, чем ожидалось бы при биномиальном распределении. В результате, эмпирическая дисперсия оказывается больше, чем предсказывает биномиальная модель. В этом случае, бета-биномиальное распределение является популярной и аналитически удобной альтернативой биномиальному распределению, поскольку оно лучше соответствует наблюдаемым данным. Чтобы учесть неоднородность семей, можно представить, что параметр вероятности биномиальной модели (например, вероятность рождения мальчика) сам является случайной величиной (то есть модель случайных эффектов), выбираемой для каждой семьи из бета-распределения, которое выступает в качестве смешивающего распределения. Полученное составное распределение (бета-биномиальное) имеет дополнительный параметр свободы. Другая распространенная модель для объяснения избыточной дисперсии – возникающая, когда некоторые наблюдения не являются распределенными по Бернулли – основана на введении нормальной случайной величины в логистическую модель. Для подгонки такого типа многоуровневых моделей широко доступно программное обеспечение. В этом случае, если дисперсия нормальной величины равна нулю, модель сводится к стандартной (не избыточной) логистической регрессии. Эта модель также имеет дополнительный параметр свободы, а именно дисперсию нормальной величины. Что касается биномиальных случайных величин, концепция избыточной дисперсии имеет смысл только при n>1 (то есть избыточная дисперсия бессмысленна для случайных величин Бернулли).

Нормальное распределение

Поскольку нормальное распределение (гауссово) имеет дисперсию в качестве параметра, любые данные с конечной дисперсией (включая любые конечные наборы данных) могут быть смоделированы нормальным распределением с точной дисперсией – нормальное распределение является двухпараметрической моделью, с математическим ожиданием и дисперсией. Таким образом, при отсутствии лежащей в основе модели, нельзя говорить о том, что данные чрезмерно диспергированы относительно нормальной модели, хотя качество подгонки может быть неудовлетворительным по другим параметрам (например, по более высоким моментам асимметрии, эксцесса и т.д.). Однако, если данные моделируются нормальным распределением с ожидаемой дисперсией, они могут быть более или менее диспергированы по сравнению с этим прогнозом. Например, в статистическом исследовании погрешность (определяемая размером выборки) предсказывает ошибку выборки и, следовательно, дисперсию результатов при повторных исследованиях. Если проводить метаанализ повторных исследований фиксированной популяции (например, с заданным размером выборки, и, следовательно, одинаковой погрешностью), можно ожидать, что результаты будут распределены по нормальному закону со стандартным отклонением, равным погрешности. Однако, при наличии гетерогенности исследований, когда исследования имеют различные систематические ошибки выборки, распределение будет являться составным и будет более диспергированным, чем прогнозируемое распределение. Например, если имеются повторные опросы общественного мнения, все с погрешностью 3%, и они проводятся разными организациями, можно ожидать, что результаты будут иметь стандартное отклонение больше 3%, из-за предвзятости, связанной с различными методологиями опросов.

Различия в терминологии между дисциплинами

Сверх- и недодисперсия – это термины, которые получили распространение в различных областях биологических наук. В паразитологии термин «сверхдисперсия» обычно используется в том значении, в котором он определен здесь, – подразумевая распределение с дисперсией выше ожидаемой. Однако в некоторых областях экологии значения были перепутаны, так что сверхдисперсия фактически понимается как более равномерное (с меньшей дисперсией), чем ожидалось. Эта путаница побудила некоторых экологов предложить использовать термины «агрегированный» или «контагиозный» вместо «сверхдисперсный» в экологии. Подобные предпочтения начинают проникать и в паразитологию. В целом, это предложение не получило поддержки, и путаница сохраняется в научной литературе. Более того, в демографии сверхдисперсия часто проявляется при анализе данных о количестве смертей, но демографы предпочитают термин «ненаблюдаемая гетерогенность».