Введение
Графическое представление распределения численных данных
Гистограмма – это визуальное представление распределения количественных данных. Термин был впервые введен Карлом Пирсоном. Для построения гистограммы первым шагом является разбиение диапазона значений на интервалы (или «корзины») – разделение всего диапазона значений на серию интервалов – и последующий подсчет количества значений, попадающих в каждый интервал. Интервалы обычно задаются как последовательные, неперекрывающиеся интервалы переменной. Интервалы расположены вплотную друг к другу и, как правило (но необязательно), имеют одинаковый размер. Гистограммы дают общее представление о плотности базового распределения данных и часто используются для оценки плотности: оценки функции плотности вероятности базовой переменной. Общая площадь гистограммы, используемой для представления плотности вероятности, всегда нормализуется до 1. Если длина интервалов на оси x равна 1, то гистограмма идентична графику относительных частот. Гистограммы иногда путают с столбчатыми диаграммами. В гистограмме каждый интервал соответствует определенному диапазону значений, поэтому гистограмма в целом иллюстрирует распределение значений. В столбчатой диаграмме каждый столбец соответствует отдельной категории наблюдений (например, каждый столбец может представлять отдельную популяцию), поэтому столбчатая диаграмма в целом может использоваться для сравнения различных категорий. Некоторые авторы рекомендуют всегда оставлять промежутки между столбцами на столбчатых диаграммах, чтобы подчеркнуть, что это не гистограммы.
Кумулятивная гистограмма
Кумулятивная гистограмма – это отображение, которое подсчитывает общее количество наблюдений во всех ячейках до указанной ячейки включительно. Иными словами, кумулятивная гистограмма Mi гистограммы mj определяется следующим образом:
Выбор квадратного корня
которая извлекает квадратный корень из количества точек данных в выборке и округляет результат до следующего целого числа. Это правило рекомендовано во многих учебниках по элементарной статистике и широко реализовано во многих программных продуктах.
Формула Стерджес
Правило Стерджеса выводится из биномиального распределения и неявно предполагает приблизительно нормальное распределение. Формула Стерджеса неявно основывает размеры интервалов на размахе данных и может давать плохие результаты, если n < 30, поскольку количество интервалов будет небольшим – менее семи – и вряд ли хорошо покажет тенденции в данных. С другой стороны, формула Стерджеса может переоценивать ширину интервала для очень больших наборов данных, что приводит к чрезмерно сглаженным гистограммам. Она также может давать плохие результаты, если данные не имеют нормального распределения. По сравнению с правилами Скотта и Террелла Скотта, двумя другими широко принятыми формулами для определения количества интервалов гистограммы, результат формулы Стерджеса наиболее близок при n ≈ 100. Предлагается как простая альтернатива правилу Стерджеса.
Террелл-Скотт правило
Правило Террелла — Скотта не является стандартным правилом выбора числа интервалов. Оно определяет минимальное количество интервалов, необходимое для асимптотически оптимальной гистограммы, где оптимальность измеряется интегральной среднеквадратичной ошибкой. Эта граница выводится путем нахождения наиболее "гладкой" возможной плотности, которой оказывается любая другая плотность потребует большего числа интервалов, поэтому данная оценка также называется "правилом чрезмерного сглаживания". Сходство формул и тот факт, что Террелл и Скотт работали в Университете Райса, когда предложили это правило, позволяют предположить, что оно также является источником правила Райса.
Замечание
Хорошая причина, по которой количество интервалов должно быть пропорционально , заключается в следующем: предположим, что данные получены как независимые реализации ограниченного распределения вероятностей с гладкой плотностью. Тогда гистограмма остается одинаково "шероховатой" при увеличении до бесконечности. Если – это "ширина" распределения (например, стандартное отклонение или межквартильный размах), то количество единиц в интервале (частота) имеет порядок , а относительная стандартная ошибка имеет порядок . По сравнению со следующим интервалом, относительное изменение частоты имеет порядок , при условии, что производная плотности не равна нулю. Эти два значения одного порядка, если имеет порядок , то есть имеет порядок . Этот простой выбор кубического корня также может быть применен к интервалам с непостоянной шириной.
Приложения
В гидрологии гистограмма и оценка плотности функции распределения данных об осадках и расходе воды в реках, проанализированные с использованием вероятностного распределения, применяются для понимания их поведения и частоты появления. Пример показан на синем рисунке. Во многих программах цифровой обработки изображений имеется инструмент гистограммы, который отображает распределение контраста и яркости пикселей.