Введение
Расстояние между двумя статистическими объектами В статистике, теории вероятности и теории информации, статистическое расстояние количественно определяет расстояние между двумя статистическими объектами, которые могут быть двумя случайными переменными, или двумя распределениями вероятности или выборками, или расстояние может быть между отдельной точкой выборки и популяцией или более широкой выборкой точек. Расстояние между популяциями может быть интерпретировано как измерение расстояния между двумя распределениями вероятности, и, следовательно, они по сути являются мерами расстояний между мерами вероятности. Если статистические измерения расстояния относятся к различиям между случайными переменными, они могут иметь статистическую зависимость, и, следовательно, эти расстояния не связаны непосредственно с измерениями расстояний между мерами вероятности. Опять же, мера расстояния между случайными переменными может относиться к степени зависимости между ними, а не к их индивидуальным значениям. Многие статистические меры расстояния не являются метрическими, а некоторые не симметричны. Некоторые типы измерений расстояния, которые обобщают расстояние в квадрате, называются (статистическими) расхождениями.
In statistics, probability theory, and information theory, a statistical distance quantifies the distance between two statistical objects, which can be two random variables, or two probability distributions or samples, or the distance can be between an individual sample point and a population or a wider sample of points. A distance between populations can be interpreted as measuring the distance between two probability distributions and hence they are essentially measures of distances between probability measures. Where statistical distance measures relate to the differences between random variables, these may have statistical dependence, and hence these distances are not directly related to measures of distances between probability measures. Again, a measure of distance between random variables may relate to the extent of dependence between them, rather than to their individual values. Many statistical distance measures are not metrics, and some are not symmetric. Some types of distance measures, which generalize squared distance, are referred to as (statistical) divergences.
Терминология
Многие термины используются для обозначения различных понятий расстояния; они часто сходны до степени путаницы и могут использоваться не согласованно между авторами и с течением времени, либо свободно, либо с точным техническим значением. Помимо "расстояния", аналогичные термины включают отклонение, отклонение, расхождение, дискриминацию и дивергенцию, а также другие, такие как контрастная функция и метрика. Термины из теории информации включают в себя кросс-энтропию, относительную энтропию, дискриминационную информацию и информационный прирост.
Обобщенные показатели
Многие статистические расстояния не являются метриками, потому что им не хватает одного или нескольких свойств надлежащих метрик. Например, псевдометрия нарушает свойство (2), идентичность неразличимых; квазиметрия нарушает свойство (3), симметрия; и семиметрия нарушает свойство (4), неравенство треугольника. Статистические расстояния, которые удовлетворяют требованиям (1) и (2), называются расхождениями.