Отрицательное биномиальное распределение: теория и применение.

Введение

Распределение вероятности

В теории вероятностей и статистике отрицательное биномиальное распределение — это дискретное распределение вероятностей, которое моделирует число неудач в последовательности независимых и одинаково распределённых испытаний Бернулли до наступления заданного (неслучайного) числа успехов (обозначается r). Например, можно считать выпадение 6 на игральной кости успехом, а выпадение любого другого числа — неудачей, и спросить, сколько неудачных бросков произойдёт до третьего успеха. В этом случае распределение вероятностей числа неудач будет отрицательным биномиальным распределением. Альтернативная формулировка заключается в моделировании общего числа испытаний (вместо числа неудач). Фактически, для заданного (неслучайного) числа успехов (r), число неудач (n − r) является случайным, поскольку общее число испытаний (n) является случайным. Например, можно использовать отрицательное биномиальное распределение для моделирования числа дней n (случайных), в течение которых определённая машина работает (определяется r) до поломки. Распределение Паскаля (в честь Блеза Паскаля) и распределение Поли (в честь Джорджа Поли) являются частными случаями отрицательного биномиального распределения. Принято среди инженеров, климатологов и других специалистов использовать термины «отрицательное биномиальное» или «Паскаля» для случая параметра времени остановки, принимающего целые значения, и «Поли» — для случая, принимающего действительные значения. Для описания связанных дискретных событий, таких как вспышки торнадо, распределения Поли могут давать более точные модели, чем распределение Пуассона, позволяя среднему и дисперсии отличаться, в отличие от распределения Пуассона. Отрицательное биномиальное распределение имеет дисперсию , при этом распределение становится идентичным распределению Пуассона в пределе при заданном среднем значении (то есть, когда неудачи становятся всё более редкими). Это делает распределение полезной альтернативой распределению Пуассона при избыточной дисперсии, например, для устойчивой модификации регрессии Пуассона. В эпидемиологии оно использовалось для моделирования распространения инфекционных заболеваний, где вероятное число последующих заражений может значительно варьироваться от человека к человеку и от места к месту. В более общем смысле, оно может быть уместно, когда события имеют положительную корреляцию, что приводит к большей дисперсии, чем при независимых событиях, из-за положительного ковариационного члена. Термин «отрицательное биномиальное» вероятно происходит от того факта, что определённый биномиальный коэффициент, который появляется в формуле для функции массы вероятности распределения, можно записать проще с использованием отрицательных чисел.

In probability theory and statistics, the negative binomial distribution is a discrete probability distribution that models the number of failures in a sequence of independent and identically distributed Bernoulli trials before a specified (non random) number of successes (denoted ) occurs. For example, we can define rolling a 6 on some dice as a success, and rolling any other number as a failure, and ask how many failure rolls will occur before we see the third success In such a case, the probability distribution of the number of failures that appear will be a negative binomial distribution. An alternative formulation is to model the number of total trials (instead of the number of failures). In fact, for a specified (non random) number of successes (r), the number of failures (n − r) are random because the total trials (n) are random. For example, we could use the negative binomial distribution to model the number of days n (random) a certain machine works (specified by r) before it breaks down. The Pascal distribution (after Blaise Pascal) and Polya distribution (for George Pólya) are special cases of the negative binomial distribution. A convention among engineers, climatologists, and others is to use "negative binomial" or "Pascal" for the case of an integer valued stopping time parameter and use "Polya" for the real valued case. For occurrences of associated discrete events, like tornado outbreaks, the Polya distributions can be used to give more accurate models than the Poisson distribution by allowing the mean and variance to be different, unlike the Poisson. The negative binomial distribution has a variance , with the distribution becoming identical to Poisson in the limit for a given mean (i. e. when the failures are increasingly rare). This can make the distribution a useful overdispersed alternative to the Poisson distribution, for example for a robust modification of Poisson regression. In epidemiology, it has been used to model disease transmission for infectious diseases where the likely number of onward infections may vary considerably from individual to individual and from setting to setting. More generally, it may be appropriate where events have positively correlated occurrences causing a larger variance than if the occurrences were independent, due to a positive covariance term. The term "negative binomial" is likely due to the fact that a certain binomial coefficient that appears in the formula for the probability mass function of the distribution can be written more simply with negative numbers.

Определения

Представьте себе последовательность независимых испытаний Бернулли: каждое испытание имеет два возможных исхода, называемых "успех" и "неудача". В каждом испытании вероятность успеха равна , а вероятность неудачи равна . Мы наблюдаем эту последовательность до тех пор, пока не произойдет заданное количество успехов . Тогда случайное число наблюдаемых неудач, , следует отрицательному биномиальному (или распределению Паскаля):

Ожидания

Ожидаемое общее количество испытаний, необходимых для наблюдения r успехов, равно. Таким образом, ожидаемое количество неудач будет равно этой величине, минус количество успехов:

Расхождение

При подсчете числа неудач до r-го успеха дисперсия равна r(1 − p) / p². При подсчете числа успехов до r-го провала, как в альтернативной формулировке (3) выше, дисперсия равна rp / (1 − p)².

Соответствующие распределения

Геометрическое распределение (на { 0, 1, 2, 3, }) является частным случаем отрицательного биномиального распределения, а отрицательное биномиальное распределение является частным случаем распределения дискретного типа фаз. Отрицательное биномиальное распределение также является частным случаем дискретного составного распределения Пуассона.

Смесь Гамма-Рыба

Отрицательное биномиальное распределение также возникает как непрерывная смесь распределений Пуассона (т. е. составное распределение вероятностей), где смешивающее распределение интенсивности Пуассона является гамма-распределением. То есть, отрицательное биномиальное распределение можно рассматривать как распределение Пуассона с параметром λ, где λ само является случайной величиной, распределенной по гамма-распределению с параметром формы r и масштабом θ = (1 − p)/p или, соответственно, параметром скорости β = p/(1 − p). Чтобы проиллюстрировать интуицию, лежащую в основе этого утверждения, рассмотрим два независимых процесса Пуассона, "Успех" и "Неудача", с интенсивностями p и 1 − p соответственно. Вместе процессы "Успех" и "Неудача" эквивалентны единому процессу Пуассона с интенсивностью 1, где каждое событие в процессе считается успехом, если соответствующий независимый бросок монеты выпадает орлом с вероятностью p; в противном случае это неудача. Если r – целое число, то броски монеты показывают, что количество успехов до r-й неудачи следует отрицательному биномиальному распределению с параметрами r и p. Однако это количество также является количеством событий в процессе Пуассона "Успех" в случайный момент времени T, соответствующий r-му событию в процессе Пуассона "Неудача". Количество успехов следует распределению Пуассона со средним значением pT, где T – время ожидания r событий в процессе Пуассона с интенсивностью 1 − p, то есть T распределено по гамма-распределению с параметром формы r и параметром скорости 1 − p. Таким образом, отрицательное биномиальное распределение эквивалентно распределению Пуассона со средним значением pT, где случайная величина T распределена по гамма-распределению с параметром формы r и параметром скорости (1 − p). Предыдущий абзац следует из того, что λ = pT распределено по гамма-распределению с параметром формы r и параметром скорости (1 − p)/p. Следующее строгое выведение (не зависящее от того, является ли r целым числом) подтверждает эту интуицию. В связи с этим отрицательное биномиальное распределение также известно как гамма-распределение Пуассона (смесь). Отрицательное биномиальное распределение первоначально было получено как предельный случай гамма-распределения Пуассона.

The negative binomial distribution also arises as a continuous mixture of Poisson distributions (i. e. a compound probability distribution) where the mixing distribution of the Poisson rate is a gamma distribution. That is, we can view the negative binomial as a Poisson(λ) distribution, where λ is itself a random variable, distributed as a gamma distribution with shape r and scale θ = (1 − p)/p or correspondingly rate β = p/(1 − p). To display the intuition behind this statement, consider two independent Poisson processes, "Success" and "Failure", with intensities p and 1 − p. Together, the Success and Failure processes are equivalent to a single Poisson process of intensity 1, where an occurrence of the process is a success if a corresponding independent coin toss comes up heads with probability p; otherwise, it is a failure. If r is a counting number, the coin tosses show that the count of successes before the rth failure follows a negative binomial distribution with parameters r and p. The count is also, however, the count of the Success Poisson process at the random time T of the rth occurrence in the Failure Poisson process. The Success count follows a Poisson distribution with mean pT, where T is the waiting time for r occurrences in a Poisson process of intensity 1 − p, i. e., T is gamma distributed with shape parameter r and intensity 1 − p. Thus, the negative binomial distribution is equivalent to a Poisson distribution with mean pT, where the random variate T is gamma distributed with shape parameter r and intensity (1 − p). The preceding paragraph follows, because λ = pT is gamma distributed with shape parameter r and intensity (1 − p)/p. The following formal derivation (which does not depend on r being a counting number) confirms the intuition. Because of this, the negative binomial distribution is also known as the gamma–Poisson (mixture) distribution. The negative binomial distribution was originally derived as a limiting case of the gamma Poisson distribution.

(a,b,0) класс распределений

Отрицательное биномиальное распределение, вместе с распределениями Пуассона и биномиальным, принадлежит к классу распределений (a,b,0). Все три этих распределения являются частными случаями распределения Панжера. Они также входят в состав естественного экспоненциального семейства.

Слишком рассеянный рыбак

Отрицательное биномиальное распределение, особенно в его альтернативной параметризации, описанной выше, может использоваться как альтернатива распределению Пуассона. Оно особенно полезно для дискретных данных в неограниченном положительном диапазоне, где выборочная дисперсия превышает выборочное среднее. В таких случаях наблюдения демонстрируют избыточную дисперсию по отношению к распределению Пуассона, для которого среднее равно дисперсии. Следовательно, распределение Пуассона не является подходящей моделью. Поскольку отрицательное биномиальное распределение имеет на один параметр больше, чем распределение Пуассона, второй параметр можно использовать для корректировки дисперсии независимо от среднего. См. Кумуляты некоторых дискретных распределений вероятности. Это применимо, например, к ежегодному подсчету тропических циклонов в Северной Атлантике или к ежемесячному и шестимесячному подсчету зимних внетропических циклонов над Европой, где дисперсия больше среднего. В случае умеренной избыточной дисперсии это может давать результаты, существенно схожие с результатами распределения Пуассона с избыточной дисперсией. Отрицательное биномиальное моделирование широко используется в экологии и исследованиях биоразнообразия для анализа данных подсчета, где избыточная дисперсия встречается очень часто. Это связано с тем, что избыточная дисперсия указывает на биологическую агрегацию, такую как формирование кластеров видами или сообществами. Игнорирование избыточной дисперсии может привести к значительному завышению параметров модели и, как следствие, к ошибочным статистическим выводам. Отрицательное биномиальное распределение эффективно решает проблему избыточной дисперсии, позволяя дисперсии изменяться квадратично относительно среднего. Дополнительный параметр дисперсии определяет наклон квадратичного члена, определяя степень избыточной дисперсии. Квадратичная связь между средним и дисперсией в модели оказывается реалистичным подходом к обработке избыточной дисперсии, что подтверждается эмпирическими данными из множества исследований. В целом, модель NB предлагает две привлекательные особенности: (1) удобную интерпретацию параметра дисперсии как индекса кластеризации или агрегации и (2) ее аналитическую форму, характеризующуюся замкнутым выражением для функции массы вероятности. В генетике отрицательное биномиальное распределение обычно используется для моделирования данных в виде дискретных подсчетов последовательностей, полученных в экспериментах высокопроизводительного секвенирования РНК и ДНК. В эпидемиологии инфекционных заболеваний отрицательное биномиальное распределение используется как более подходящий вариант, чем распределение Пуассона, для моделирования избыточно дисперсных подсчетов вторичных инфекций от одного инфицированного случая (суперраспространение).

The negative binomial distribution, especially in its alternative parameterization described above, can be used as an alternative to the Poisson distribution. It is especially useful for discrete data over an unbounded positive range whose sample variance exceeds the sample mean. In such cases, the observations are overdispersed with respect to a Poisson distribution, for which the mean is equal to the variance. Hence a Poisson distribution is not an appropriate model. Since the negative binomial distribution has one more parameter than the Poisson, the second parameter can be used to adjust the variance independently of the mean. See Cumulants of some discrete probability distributions. An application of this is to annual counts of tropical cyclones in the North Atlantic or to monthly to 6 monthly counts of wintertime extratropical cyclones over Europe, for which the variance is greater than the mean. In the case of modest overdispersion, this may produce substantially similar results to an overdispersed Poisson distribution. Negative binomial modeling is widely employed in ecology and biodiversity research for analyzing count data where overdispersion is very common. This is because overdispersion is indicative of biological aggregation, such as species or communities forming clusters. Ignoring overdispersion can lead to significantly inflated model parameters, resulting in misleading statistical inferences. The negative binomial distribution effectively addresses overdispersed counts by permitting the variance to vary quadratically with the mean. An additional dispersion parameter governs the slope of the quadratic term, determining the severity of overdispersion. The model's quadratic mean variance relationship proves to be a realistic approach for handling overdispersion, as supported by empirical evidence from many studies. Overall, the NB model offers two attractive features: (1) the convenient interpretation of the dispersion parameter as an index of clustering or aggregation, and (2) its tractable form, featuring a closed expression for the probability mass function. In genetics, the negative binomial distribution is commonly used to model data in the form of discrete sequence read counts from high throughput RNA and DNA sequencing experiments. In epidemiology of infectious diseases, the negative binomial has been used as a better option than the Poisson distribution to model overdispersed counts of secondary infections from one infected case (super spreading events).