Введение
Переменная, представляющая случайное явление
Случайная переменная (также называемая случайной величиной, алеаторной переменной или стохастической переменной) – это математическая формализация величины или объекта, значение которого зависит от случайных событий. Термин «случайная переменная» в математическом определении не подразумевает ни случайность, ни изменчивость, а представляет собой математическую функцию, в которой:
областью определения является множество всех возможных исходов в пространстве элементарных событий (например, множество возможных сторон монеты, выпадающих при броске – орёл или решка); и
областью значений является измеримое пространство (например, соответствующее вышеуказанной области определения, областью значений может быть множество, где орлу сопоставлен 1, а решке – 0). Как правило, область значений случайной переменной является множеством действительных чисел. В неформальном смысле, случайность обычно отражает фундаментальный элемент неопределённости, например, при бросании игральной кости; она также может представлять собой неопределённость, например, погрешность измерения.
the range is a measurable space (e. g. corresponding to the domain above, the range might be the set if say heads mapped to 1 and mapped to 1). Typically, the range of a random variable is set of real numbers. Informally, randomness typically represents some fundamental element of chance, such as in the roll of a die; it may also represent uncertainty, such as measurement error.
Стандартный случай
Во многих случаях, случайная величина принимает действительные значения, то есть является вещественной. В некоторых контекстах термин "случайный элемент" (см. раздел "Расширения") используется для обозначения случайной переменной, не имеющей такой формы. Когда область значений (или диапазон) случайной величины является конечной или бесконечно счетной, случайная переменная называется дискретной, а ее распределение – дискретным распределением вероятностей, то есть может быть описано функцией вероятностной массы, которая присваивает вероятность каждому значению в области значений. Если область значений бесконечно несчетна (обычно это интервал), то случайная величина называется непрерывной. В частном случае, когда она абсолютно непрерывна, ее распределение может быть описано функцией плотности вероятности, которая присваивает вероятности интервалам; в частности, для абсолютно непрерывной случайной величины вероятность каждой отдельной точки обязательно равна нулю. Не все непрерывные случайные величины являются абсолютно непрерывными. Любую случайную величину можно описать ее функцией распределения, которая определяет вероятность того, что случайная величина примет значение, меньшее или равное заданному.
Расширения
Термин "случайная величина" в статистике традиционно ограничивается случаем с вещественными значениями. В этом случае структура вещественных чисел позволяет определить такие величины, как математическое ожидание и дисперсия случайной величины, её функция распределения и моменты распределения. Однако вышеприведённое определение справедливо для любого измеримого пространства значений. Таким образом, можно рассматривать случайные элементы других множеств, таких как случайные булевы значения, категориальные значения, комплексные числа, векторы, матрицы, последовательности, деревья, множества, фигуры, многообразия и функции. Можно конкретно говорить о случайной величине типа или о случайном элементе со значениями в . Эта более общая концепция случайного элемента особенно полезна в таких областях, как теория графов, машинное обучение, обработка естественного языка и другие области дискретной математики и информатики, где часто требуется моделировать случайные изменения нечисловых структур данных. В некоторых случаях, тем не менее, удобно представлять каждый элемент с помощью одного или нескольких вещественных чисел. В этом случае случайный элемент может быть представлен в виде вектора вещественных случайных величин (все определённых на одном и том же базовом вероятностном пространстве , что позволяет различным случайным величинам коварировать). Например: случайное слово может быть представлено случайным целым числом, которое служит индексом в словаре возможных слов. В качестве альтернативы, оно может быть представлено случайным индикаторным вектором, длина которого равна размеру словаря, где единственными значениями с положительной вероятностью являются , , и позиция 1 указывает на слово. Случайное предложение заданной длины может быть представлено вектором из случайных слов. Случайный граф на заданных вершинах может быть представлен матрицей размером из случайных величин, значения которых определяют матрицу смежности случайного графа. Случайная функция может быть представлена набором случайных величин , дающих значения функции в различных точках в области определения функции. Эти являются обычными вещественными случайными величинами, при условии, что функция принимает вещественные значения. Например, стохастический процесс — это случайная функция времени, случайный вектор — это случайная функция по некоторому множеству индексов, такому как , а случайное поле — это случайная функция на любом множестве (обычно времени, пространства или дискретном множестве).
A random word may be represented as a random integer that serves as an index into the vocabulary of possible words. Alternatively, it can be represented as a random indicator vector, whose length equals the size of the vocabulary, where the only values of positive probability are , , and the position of the 1 indicates the word. A random sentence of given length may be represented as a vector of random words. A random graph on given vertices may be represented as a matrix of random variables, whose values specify the adjacency matrix of the random graph. A random function may be represented as a collection of random variables , giving the function's values at the various points in the function's domain. The are ordinary real valued random variables provided that the function is real valued. For example, a stochastic process is a random function of time, a random vector is a random function of some index set such as , and random field is a random function on any set (typically time, space, or a discrete set).
Функции распределения
Если задана случайная величина, определенная на пространстве вероятностей, можно задавать вопросы, например: "Какова вероятность того, что значение равно 2?". Это то же самое, что вероятность события, которое часто записывается как или сокращенно. Запись всех этих вероятностей значений случайной величины дает распределение вероятностей. Распределение вероятностей "забывает" о конкретном пространстве вероятностей, использованном для определения , и фиксирует только вероятности различных значений. Такое распределение вероятностей, если принимает вещественные значения, всегда может быть описано с помощью своей функции распределения, а иногда и с помощью функции плотности вероятности. В терминах теории меры мы используем случайную величину для "отображения" меры на меру на . Мера называется "(распределением) вероятностей" или "законом". Плотность – это производная Радона-Никодима относительно некоторой опорной меры на (часто эта опорная мера является мерой Лебега в случае непрерывных случайных величин или счетной мерой в случае дискретных случайных величин). Базовое пространство вероятностей – это технический инструмент, используемый для гарантии существования случайных величин, иногда для их построения, и для определения понятий, таких как корреляция и зависимость или независимость, основанных на совместном распределении двух или более случайных величин на одном и том же пространстве вероятностей. На практике часто отказываются от пространства и просто определяют меру на , которая присваивает меру 1 всей вещественной прямой, то есть работают с распределениями вероятностей вместо случайных величин. Подробнее см. статью о квантильных функциях.
and sometimes also using a probability density function, In measure theoretic terms, we use the random variable to "push forward" the measure on to a measure on The measure is called the "(probability) distribution of " or the "law of ". The density , the Radon–Nikodym derivative of with respect to some reference measure on (often, this reference measure is the Lebesgue measure in the case of continuous random variables, or the counting measure in the case of discrete random variables). The underlying probability space is a technical device used to guarantee the existence of random variables, sometimes to construct them, and to define notions such as correlation and dependence or independence based on a joint distribution of two or more random variables on the same probability space. In practice, one often disposes of the space altogether and just puts a measure on that assigns measure 1 to the whole real line, i. e., one works with probability distributions instead of random variables. See the article on quantile functions for fuller development.
Дискретная случайная переменная
Рассмотрим эксперимент, в котором человек выбирается случайным образом. Примером случайной величины может служить рост человека. В математическом плане случайная величина интерпретируется как функция, которая отображает человека в его рост. С этой случайной величиной связано распределение вероятностей, позволяющее вычислить вероятность того, что рост попадает в любое подмножество возможных значений, например, вероятность того, что рост находится между 180 и 190 см, или вероятность того, что рост меньше 150 или больше 200 см. Другой случайной величиной может быть число детей у человека; это дискретная случайная величина, принимающая неотрицательные целые значения. Она позволяет вычислять вероятности для отдельных целых значений – функция массы вероятности (PMF) – или для множеств значений, включая бесконечные множества. Например, интересующим событием может быть «четное число детей». Для конечных и бесконечных множеств событий их вероятности можно найти, суммируя значения PMF элементов; то есть вероятность четного числа детей представляется бесконечной суммой. В подобных примерах пространство элементарных событий часто опускается, поскольку его математически сложно описать, и возможные значения случайных величин рассматриваются как пространство элементарных событий. Однако, когда две случайные величины измеряются на одном и том же пространстве элементарных событий, например, рост и число детей у одних и тех же людей, легче отслеживать их взаимосвязь, если признать, что и рост, и число детей принадлежат одному и тому же случайному человеку, чтобы, например, можно было задать вопрос о том, коррелируют ли эти случайные величины. Если и – счетные множества вещественных чисел, и , то является функцией дискретного распределения. Здесь для , для . Например, если взять перечисление всех рациональных чисел как , то получится дискретная функция, которая не обязательно является ступенчатой (кусочно-постоянной).
In examples such as these, the sample space is often suppressed, since it is mathematically hard to describe, and the possible values of the random variables are then treated as a sample space. But when two random variables are measured on the same sample space of outcomes, such as the height and number of children being computed on the same random persons, it is easier to track their relationship if it is acknowledged that both height and number of children come from the same random person, for example so that questions of whether such random variables are correlated or not can be posed. If are countable sets of real numbers, and , then is a discrete distribution function. Here for , for Taking for instance an enumeration of all rational numbers as , one gets a discrete function that is not necessarily a step function (piecewise constant).
Непрерывная случайная переменная
Формально, непрерывная случайная переменная – это случайная переменная, функция кумулятивного распределения которой непрерывна во всех точках. Отсутствуют "разрывы", соответствующие числам с ненулевой вероятностью появления. Вместо этого, непрерывные случайные переменные почти никогда не принимают конкретное заданное значение c (формально, ), но существует положительная вероятность того, что их значение попадет в определенный интервал, который может быть сколь угодно малым. Непрерывные случайные переменные обычно описываются функциями плотности вероятности (PDF), которые характеризуют их функцию кумулятивного распределения (CDF) и меры вероятности; такие распределения также называются абсолютно непрерывными. Однако некоторые непрерывные распределения являются сингулярными, или представляют собой смесь абсолютно непрерывной и сингулярной составляющих. Примером непрерывной случайной переменной может служить переменная, основанная на вращающемся указателе, выбирающем горизонтальное направление. Тогда значениями, принимаемыми случайной переменной, будут направления. Мы можем представить эти направления как Север, Запад, Восток, Юг, Юго-Восток и т.д. Однако, как правило, удобнее сопоставить пространство элементарных событий случайной переменной, принимающей значения, являющиеся действительными числами. Это можно сделать, например, путем отображения направления в азимут в градусах по часовой стрелке от Севера. Тогда случайная переменная принимает значения, являющиеся действительными числами из интервала [0, 360), причем все части диапазона равновероятны. В этом случае X = угол вращения. Любое действительное число имеет вероятность быть выбранным, равную нулю, но любому диапазону значений можно присвоить положительную вероятность. Например, вероятность выбора числа в интервале [0, 180] равна 1/2. Вместо понятия функции массы вероятности мы говорим, что плотность вероятности X равна 1/360. Вероятность подмножества [0, 360) можно вычислить, умножив меру множества на 1/360. В общем случае, вероятность множества для заданной непрерывной случайной переменной можно вычислить, проинтегрировав плотность по данному множеству. Более формально, для любого интервала , случайная переменная называется "непрерывной равномерной случайной переменной" (CURV), если вероятность того, что она примет значение в подинтервале, зависит только от длины этого подинтервала. Это означает, что вероятность попадания в любой подинтервал пропорциональна его длине, то есть, если a ≤ c ≤ d ≤ b, то , где последнее равенство является следствием аксиомы нормировки вероятности. Функция плотности вероятности CURV задается индикаторной функцией интервала поддержки, нормализованной на длину интервала: Особый интерес представляет равномерное распределение на единичном интервале . Образцы любого желаемого распределения вероятности можно получить, вычисляя квантильную функцию для случайного числа, равномерно распределенного на единичном интервале. Это использует свойства кумулятивных функций распределения, которые являются универсальной основой для всех случайных переменных.
such distributions are also called absolutely continuous; but some continuous distributions are singular, or mixes of an absolutely continuous part and a singular part. An example of a continuous random variable would be one based on a spinner that can choose a horizontal direction. Then the values taken by the random variable are directions. We could represent these directions by North, West, East, South, Southeast, etc. However, it is commonly more convenient to map the sample space to a random variable which takes values which are real numbers. This can be done, for example, by mapping a direction to a bearing in degrees clockwise from North. The random variable then takes values which are real numbers from the interval [0, 360), with all parts of the range being "equally likely". In this case, X = the angle spun. Any real number has probability zero of being selected, but a positive probability can be assigned to any range of values. For example, the probability of choosing a number in [0, 180] is 1/2. Instead of speaking of a probability mass function, we say that the probability density of X is 1/360. The probability of a subset of [0, 360) can be calculated by multiplying the measure of the set by 1/360. In general, the probability of a set for a given continuous random variable can be calculated by integrating the density over the given set. More formally, given any interval , a random variable is called a "continuous uniform random variable" (CURV) if the probability that it takes a value in a subinterval depends only on the length of the subinterval. This implies that the probability of falling in any subinterval is proportional to the length of the subinterval, that is, if a ≤ c ≤ d ≤ b, one has
where the last equality results from the unitarity axiom of probability. The probability density function of a CURV is given by the indicator function of its interval of support normalized by the interval's length: Of particular interest is the uniform distribution on the unit interval Samples of any desired probability distribution can be generated by calculating the quantile function of on a randomly generated number distributed uniformly on the unit interval. This exploits properties of cumulative distribution functions, which are a unifying framework for all random variables.
Смешанный тип
Смешанная случайная переменная — это случайная переменная, функция распределения которой не является ни дискретной, ни всюду непрерывной. Математическое определение с использованием теории меры выглядит следующим образом. Пусть — пространство вероятностей, а — измеримое пространство. Тогда -значная случайная переменная — это измеримая функция , что означает, что для любого подмножества , его прообраз измерим; , где . Это определение позволяет измерять любое подмножество в целевом пространстве, рассматривая его прообраз, который по предположению измерим. В более интуитивных терминах, элемент — это возможный исход, элемент — это измеримое подмножество возможных исходов, функция определяет вероятность каждого такого измеримого подмножества, представляет собой множество значений, которые может принимать случайная переменная (например, множество вещественных чисел), а элемент — это "хорошо определённое" (измеримое) подмножество (то есть подмножество, для которого вероятность может быть определена). Таким образом, случайная переменная — это функция, отображающая каждый исход в некоторое значение, такая что исходы, приводящие к любому полезному подмножеству значений случайной переменной, имеют чётко определённую вероятность. Если — топологическое пространство, то наиболее распространённым выбором для σ-алгебры является σ-алгебра Бореля , которая генерируется коллекцией всех открытых множеств в . В этом случае -значная случайная переменная называется -значной случайной переменной. Кроме того, если пространство — это вещественная прямая , то такая вещественнозначная случайная переменная называется просто случайной переменной.
Реально-значимые случайные переменные
В этом случае пространство наблюдений является множеством действительных чисел. Напомним, Ω – это пространство вероятностей. Для пространства наблюдений, состоящего из действительных чисел, функция x является случайной величиной со значениями в действительных числах, если
Это определение является частным случаем вышесказанного, поскольку множество R генерирует σ-алгебру Бореля на множестве действительных чисел, и достаточно проверить измеримость на любом генерирующем множестве. Здесь мы можем доказать измеримость на этом генерирующем множестве, используя тот факт, что P(x ∈ A) = ∫A dx.
Моменты
Распределение вероятности случайной переменной часто характеризуется небольшим количеством параметров, которые также имеют практическую интерпретацию. Например, часто достаточно знать её "среднее значение". Это отражается в математическом понятии математического ожидания случайной переменной, обозначаемого , и также называемого первым моментом. В общем случае, не равно . Как только "среднее значение" известно, возникает вопрос о том, насколько значения обычно отклоняются от этого среднего значения, на который отвечают дисперсия и стандартное отклонение случайной переменной. можно интуитивно понимать как среднее значение, полученное из бесконечной совокупности, элементами которой являются конкретные реализации . Математически это известно как (обобщённая) проблема моментов: для заданного класса случайных переменных , найти набор функций , таких, что математические ожидания полностью характеризуют распределение случайной переменной.
Mathematically, this is known as the (generalised) problem of moments: for a given class of random variables , find a collection of functions such that the expectation values fully characterise the distribution of the random variable
Moments can only be defined for real valued functions of random variables (or complex valued, etc.). If the random variable is itself real valued, then moments of the variable itself can be taken, which are equivalent to moments of the identity function of the random variable. However, even for non real valued random variables, moments can be taken of real valued functions of those variables. For example, for a categorical random variable X that can take on the nominal values "red", "blue" or "green", the real valued function can be constructed; this uses the Iverson bracket, and has the value 1 if has the value "green", 0 otherwise. Then, the expected value and other moments of this function can be determined.
Моменты могут быть определены только для вещественнозначных функций случайных переменных (или комплекснозначных и т.д.). Если случайная переменная сама по себе вещественнозначна, то можно вычислять моменты самой переменной, которые эквивалентны моментам тождественной функции от этой случайной переменной. Однако даже для не-вещественнозначных случайных переменных можно вычислять моменты вещественнозначных функций этих переменных. Например, для категориальной случайной переменной X, которая может принимать номинальные значения "красный", "синий" или "зеленый", можно построить вещественнозначную функцию ; это использует скобку Айверсона и принимает значение 1, если равна "зеленому", и 0 в противном случае. Затем можно определить математическое ожидание и другие моменты этой функции.
Mathematically, this is known as the (generalised) problem of moments: for a given class of random variables , find a collection of functions such that the expectation values fully characterise the distribution of the random variable
Moments can only be defined for real valued functions of random variables (or complex valued, etc.). If the random variable is itself real valued, then moments of the variable itself can be taken, which are equivalent to moments of the identity function of the random variable. However, even for non real valued random variables, moments can be taken of real valued functions of those variables. For example, for a categorical random variable X that can take on the nominal values "red", "blue" or "green", the real valued function can be constructed; this uses the Iverson bracket, and has the value 1 if has the value "green", 0 otherwise. Then, the expected value and other moments of this function can be determined.
Некоторые свойства
Распределение вероятности суммы двух независимых случайных величин является свёрткой их распределений. Распределения вероятностей не образуют векторное пространство — они не замкнуты относительно линейных комбинаций, поскольку те не сохраняют неотрицательность или интеграл, равный единице, — но они замкнуты относительно выпуклых комбинаций, таким образом образуя выпуклое подмножество пространства функций (или мер).
Эквивалентность случайных переменных
Существует несколько различных способов, в которых случайные величины могут считаться эквивалентными. Две случайные величины могут быть равны, равны почти наверное, или иметь одинаковое распределение. В порядке возрастания строгости точные определения этих понятий эквивалентности приведены ниже.
Сближение
Значимая тема в математической статистике — получение результатов сходимости для определенных последовательностей случайных величин; например, закон больших чисел и центральная предельная теорема. Существуют различные типы сходимости последовательности случайных величин к случайной величине. Они описаны в статье о сходимости случайных величин.