Введение
Трансформация Фурье функции плотности вероятности
В теории вероятностей и статистике характеристическая функция любой случайной величины, принимающей действительные значения, полностью определяет ее распределение вероятностей. Если случайная величина имеет функцию плотности вероятности, то характеристическая функция является преобразованием Фурье (с изменением знака) этой функции плотности вероятности. Таким образом, она предоставляет альтернативный способ получения аналитических результатов по сравнению с непосредственной работой с функциями плотности вероятности или функциями распределения. Существуют особенно простые результаты для характеристических функций распределений, заданных взвешенными суммами случайных величин. Помимо унивариантных распределений, характеристические функции могут быть определены для векторных или матричных случайных величин и могут быть расширены на более общие случаи. Характерная функция всегда существует при рассмотрении как функции действительного аргумента, в отличие от производящей функции моментов. Существуют связи между поведением характеристической функции распределения и свойствами этого распределения, такими как существование моментов и существование функции плотности.
Введение
Характерная функция – это способ описания случайной величины. Характерная функция, являющаяся функцией t, полностью определяет поведение и свойства распределения вероятностей случайной величины X. Характерная функция аналогична функции распределения, (где '1'{X ≤ x} – это индикаторная функция, равная 1, если X ≤ x, и нулю в противном случае), которая также полностью определяет поведение и свойства распределения вероятностей случайной величины X. Оба подхода эквивалентны в том смысле, что, зная одну из функций, всегда можно найти другую, однако они предоставляют различные возможности для понимания особенностей случайной величины. Более того, в отдельных случаях могут быть различия в том, можно ли представить эти функции в виде выражений, включающих простые стандартные функции. Если случайная величина имеет функцию плотности, то характерная функция является ее преобразованием Фурье, в том смысле, что каждая из них является преобразованием Фурье другой. Если случайная величина имеет момент-генерирующую функцию, то область определения характеристической функции может быть расширена до комплексной плоскости, и следует отметить, что характеристическая функция распределения всегда существует, даже когда функция плотности вероятности или момент-генерирующая функция не существуют. Подход с использованием характеристической функции особенно полезен при анализе линейных комбинаций независимых случайных величин: классическое доказательство центральной предельной теоремы использует характеристические функции и теорему о непрерывности Леви. Другое важное применение – теория разложимости случайных величин.
a function of t,
completely determines the behavior and properties of the probability distribution of the random variable X. The characteristic function is similar to the cumulative distribution function,
(where '1'{X ≤ x} is the indicator function — it is equal to 1 in the event that X ≤ x, and zero otherwise), which also completely determines the behavior and properties of the probability distribution of the random variable X. The two approaches are equivalent in the sense that knowing one of the functions it is always possible to find the other, yet they provide different insights for understanding the features of the random variable. Moreover, in particular cases, there can be differences in whether these functions can be represented as expressions involving simple standard functions. If a random variable admits a density function, then the characteristic function is its Fourier dual, in the sense that each of them is a Fourier transform of the other. If a random variable has a moment generating function , then the domain of the characteristic function can be extended to the complex plane, and
Note however that the characteristic function of a distribution always exists, even when the probability density function or moment generating function do not. The characteristic function approach is particularly useful in analysis of linear combinations of independent random variables: a classical proof of the Central Limit Theorem uses characteristic functions and Lévy's continuity theorem. Another important application is to the theory of the decomposability of random variables.
Свойства
Характерная функция вещественнозначной случайной переменной всегда существует, поскольку она является интегралом от ограниченной непрерывной функции по пространству с конечной мерой. Характерная функция равномерно непрерывна на всем пространстве. Она не обращается в нуль в окрестности нуля: φ(0) = 1. Она ограничена: она эрмитова: в частности, характеристическая функция симметричной (относительно начала координат) случайной переменной является вещественнозначной и чётной. Существует биекция между распределениями вероятностей и характеристическими функциями. То есть, для любых двух случайных переменных X1 и X2, они имеют одинаковое распределение вероятностей тогда и только если. Если случайная переменная X имеет моменты до k-го порядка, то характеристическая функция φX k раз непрерывно дифференцируема на всей вещественной прямой. В этом случае, если характеристическая функция φX имеет k-ю производную в нуле, то случайная переменная X имеет все моменты до k, если k чётно, но только до k-1, если k нечётно. Если X1, ..., Xn – независимые случайные переменные, а a1, ..., an – некоторые константы, то характеристическая функция линейной комбинации переменных Xi равна. Частный случай – сумма двух независимых случайных переменных X1 и X2, в этом случае имеем. Пусть и – две случайные переменные с характеристическими функциями и , и они независимы тогда и только если. Поведение хвоста характеристической функции определяет гладкость соответствующей функции плотности. Пусть случайная переменная является линейным преобразованием случайной переменной. Характеристическая функция равна. Для случайных векторов и (где A – постоянная матрица, а B – постоянный вектор) имеем.
If a random variable X has moments up to k th order, then the characteristic function φX is k times continuously differentiable on the entire real line. In this case
If a characteristic function φX has a k th derivative at zero, then the random variable X has all moments up to k if k is even, but only up to k – 1 if k is odd. If X1, , Xn are independent random variables, and a1, , an are some constants, then the characteristic function of the linear combination of the Xi variables is One specific case is the sum of two independent random variables X1 and X2 in which case one has
Let and be two random variables with characteristic functions and and are independent if and only if The tail behavior of the characteristic function determines the smoothness of the corresponding density function. Let the random variable be the linear transformation of a random variable The characteristic function of is For random vectors and (where A is a constant matrix and B a constant vector), we have .
Непрерывность
Биекция, указанная выше между распределениями вероятностей и характеристическими функциями, является последовательно непрерывной. То есть, если последовательность функций распределения Fj(x) сходится (слабо) к некоторой функции распределения F(x), то соответствующая последовательность характеристических функций φj(t) также будет сходиться, и предел φ(t) будет соответствовать характеристической функции распределения F. Более формально это формулируется как теорема непрерывности Леви: последовательность Xj из n случайных величин сходится в распределении к случайной величине X тогда и только тогда, когда последовательность φXj сходится поточечно к функции φ, непрерывной в нуле. При этом φ является характеристической функцией X. Эта теорема может быть использована для доказательства закона больших чисел и центральной предельной теоремы.
Lévy’s continuity theorem: A sequence Xj of n variate random variables converges in distribution to random variable X if and only if the sequence φXj converges pointwise to a function φ which is continuous at the origin. Where φ is the characteristic function of X. This theorem can be used to prove the law of large numbers and the central limit theorem.
Применение
Из-за теоремы о непрерывности характерные функции используются в наиболее распространенном доказательстве центральной предельной теоремы. Основной прием при вычислениях с характерной функцией — определение, какой именно функции распределения она соответствует.
Моменты
Характерные функции также могут использоваться для нахождения моментов случайной величины. При условии, что n-й момент существует, характерную функцию можно дифференцировать n раз:
Это может быть формально записано с использованием производных дельта-функции Дирака, что позволяет формально решить проблему моментов. Например, предположим, что X имеет стандартное распределение Коши. Тогда это не дифференцируемо при t = 0, что показывает, что распределение Коши не имеет математического ожидания. Также, характеристическая функция среднего значения выборки из n независимых наблюдений имеет характеристическую функцию , используя результат из предыдущего раздела. Это характеристическая функция стандартного распределения Коши: таким образом, среднее значение выборки имеет такое же распределение, как и генеральная совокупность. В качестве дополнительного примера предположим, что X следует нормальному (гауссову) распределению, т.е. Тогда и
Аналогичный расчет проще выполнить, чем применять определение математического ожидания и использовать интегрирование по частям для вычисления . Логарифм характерной функции является кумулятивной генерирующей функцией, которая полезна для нахождения кумулянт; некоторые вместо этого определяют кумулятивную генерирующую функцию как логарифм момент-генерирующей функции, а логарифм характерной функции называют второй кумулятивной генерирующей функцией.
The logarithm of a characteristic function is a cumulant generating function, which is useful for finding cumulants; some instead define the cumulant generating function as the logarithm of the moment generating function, and call the logarithm of the characteristic function the second cumulant generating function.
Анализ данных
Характерные функции могут использоваться как часть процедур подгонки распределений вероятностей к выборкам данных. Случаи, когда это представляет собой практичный вариант по сравнению с другими подходами, включают подгонку стабильного распределения, поскольку не существует аналитических выражений для плотности, что затрудняет реализацию метода максимального правдоподобия. Существуют оценочные процедуры, которые сопоставляют теоретическую характеристическую функцию с эмпирической характеристической функцией, вычисленной по данным. Полсон и др. (1975) и Хиткоут (1977) приводят некоторую теоретическую базу для такой оценочной процедуры. Кроме того, Ю (2004) описывает применение эмпирических характеристических функций для подгонки моделей временных рядов, где процедуры, основанные на функции правдоподобия, непрактичны. Эмпирические характеристические функции также использовались Ансари и др. (2020) и Ли и др. (2020) для обучения генеративно-состязательных сетей.
Целые характерные функции
Как определено выше, аргумент характеристической функции рассматривается как действительное число. Однако, некоторые аспекты теории характеристических функций развиваются за счет расширения определения на комплексную плоскость посредством аналитического продолжения, когда это возможно.
Связанные понятия
Связанные понятия включают функцию, порождающую моменты, и функцию, порождающую вероятности. Характерная функция существует для всех распределений вероятностей. Это не относится к функции, порождающей моменты. Характерная функция тесно связана с преобразованием Фурье: характерная функция функции плотности вероятности p(x) является комплексно сопряжённой к непрерывному преобразованию Фурье функции p(x) (в соответствии с общепринятым соглашением; см. непрерывное преобразование Фурье – другие соглашения). Аналогично, p(x) может быть восстановлена из φX(t) с помощью обратного преобразования Фурье:
Действительно, даже когда случайная величина не имеет плотности, характерная функция может рассматриваться как преобразование Фурье меры, соответствующей этой случайной величине. Другим связанным понятием является представление распределений вероятностей как элементов воспроизводящего ядра пространства Гильберта посредством вложения распределений в ядро. Этот подход можно рассматривать как обобщение характерной функции при определённом выборе функции ядра.