Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Введение
Оценка ненаблюдаемой основной функции плотности вероятности – концепция обработки сигналов.
Estimate of an unobservable underlying probability density function
the signal processing concept
В статистике, оценка плотности вероятности, или просто оценка плотности, – это построение оценки, основанной на наблюдаемых данных, ненаблюдаемой основной функции плотности вероятности. Ненаблюдаемая функция плотности рассматривается как плотность, по которой распределена большая популяция; данные обычно рассматриваются как случайная выборка из этой популяции. Используются различные подходы к оценке плотности, включая окна Парзена и ряд методов кластеризации данных, включая векторное квантование. Наиболее простой способ оценки плотности – это перемасштабированная гистограмма.
In statistics, probability density estimation or simply density estimation is the construction of an estimate, based on observed data, of an unobservable underlying probability density function. The unobservable density function is thought of as the density according to which a large population is distributed; the data are usually thought of as a random sample from that population. A variety of approaches to density estimation are used, including Parzen windows and a range of data clustering techniques, including vector quantization. The most basic form of density estimation is a rescaled histogram.
Применение и цель
Очень естественным применением оценок плотности является неформальное исследование свойств заданного набора данных. Оценки плотности могут дать ценную информацию о таких характеристиках, как асимметрия и мультимодальность данных. В некоторых случаях они приводят к выводам, которые могут восприниматься как очевидные, а в других – лишь указывают направление для дальнейшего анализа и/или сбора данных. Важным аспектом статистики часто является представление данных заказчику для объяснения и иллюстрации выводов, которые могли быть получены и другими методами. Оценки плотности идеально подходят для этой цели, поскольку они относительно легко воспринимаются людьми без математического образования. Далее приведены дополнительные примеры, иллюстрирующие использование оценок плотности в исследовательских и презентационных целях, включая важный случай двумерных данных. Оценка плотности также часто используется для обнаружения аномалий или новых объектов: если наблюдение попадает в область очень низкой плотности, вероятно, это аномалия или новый объект. В гидрологии гистограмма и оценка плотности данных об осадках и расходе воды в реках, проанализированные с использованием распределения вероятностей, используются для понимания их поведения и частоты возникновения. Пример показан на синем рисунке.
A very natural use of density estimates is in the informal investigation of the properties of a given set of data. Density estimates can give a valuable indication of such features as skewness and multimodality in the data. In some cases they will yield conclusions that may then be regarded as self evidently true, while in others all they will do is to point the way to further analysis and/or data collection. An important aspect of statistics is often the presentation of data back to the client in order to provide explanation and illustration of conclusions that may possibly have been obtained by other means. Density estimates are ideal for this purpose, for the simple reason that they are fairly easily comprehensible to non mathematicians. More examples illustrating the use of density estimates for exploratory and presentational purposes, including the important case of bivariate data. Density estimation is also frequently used in anomaly detection or novelty detection: if an observation lies in a very low density region, it is likely to be an anomaly or a novelty. In hydrology the histogram and estimated density function of rainfall and river discharge data, analysed with a probability distribution, are used to gain insight in their behaviour and frequency of occurrence. An example is shown in the blue figure.