Введение
Трансформация статистики путем ограничения экстремальных значений. Винсоризация или винзоризация — это преобразование статистики путем ограничения экстремальных значений в статистических данных для снижения влияния потенциально ошибочных выбросов. Метод назван в честь инженера и биостатистика Чарльза П. Винсора (1895–1951). Эффект аналогичен отсечению в обработке сигналов. Распределение многих статистических показателей может существенно зависеть от выбросов. Типичная стратегия заключается в установке всех выбросов на заданный процентиль данных; например, при 90% винсоризации все значения ниже 5-го процентиля приравниваются к 5-му процентилю, а значения выше 95-го процентиля — к 95-му процентилю. Винзоризированные оценки обычно более устойчивы к выбросам, чем их стандартные аналоги, хотя существуют альтернативные методы, такие как усечение, которые позволяют добиться схожего эффекта.
Winsorizing or winsorization is the transformation of statistics by limiting extreme values in the statistical data to reduce the effect of possibly spurious outliers. It is named after the engineer turned biostatistician Charles P. Winsor (1895–1951). The effect is the same as clipping in signal processing. The distribution of many statistics can be heavily influenced by outliers. A typical strategy is to set all outliers to a specified percentile of the data; for example, a 90% winsorization would see all data below the 5th percentile set to the 5th percentile, and data above the 95th percentile set to the 95th percentile. Winsorized estimators are usually more robust to outliers than their more standard forms, although there are alternatives, such as trimming, that will achieve a similar effect.
Отличие от обрезки
Обратите внимание, что винсоризация не эквивалентна простому исключению данных, что является более простой процедурой, называемой обрезкой или усечением, но представляет собой метод цензурирования данных. В усеченном оценщике крайние значения отбрасываются, а в винсоризированном оценщике крайние значения заменяются определенными процентилями (усеченный минимум и максимум). Таким образом, винсоризированное среднее не то же самое, что и усеченное среднее. Например, 10%-е усеченное среднее – это среднее значение от 5-го до 95-го процентиля данных, в то время как 90%-е винсоризированное среднее устанавливает нижние 5% на уровне 5-го процентиля, верхние 5% на уровне 95-го процентиля, а затем вычисляет среднее значение по полученным данным. В предыдущем примере усеченное среднее будет получено из меньшего набора: {92, 19, 101, 58, 91, 26, 78, 10, 13, 101, 86, 85, 15, 89, 89, 28, −5, 41} (N = 18, среднее = 56.5).
{92, 19, 101, 58, 91, 26, 78, 10, 13, 101, 86, 85, 15, 89, 89, 28, −5, 41} (N = 18, mean = 56.5)
В этом случае винсоризированное среднее может быть эквивалентно выражено как взвешенное среднее усеченного среднего и 5-го и 95-го процентилей (для 10%-го винсоризированного среднего – 0.05 умножить на 5-й процентиль, 0.9 умножить на 10%-е усеченное среднее и 0.05 умножить на 95-й процентиль), хотя в общем случае винсоризированные статистики не обязательно могут быть выражены через соответствующие усеченные статистики. Более формально, они различны, поскольку статистики порядков не являются независимыми.
Применение
Винсоризация используется в методологии опросов для "отсечения" экстремальных весов по незаполненным анкетам. Она также применяется при построении некоторых фондовых индексов при анализе диапазона определенных факторов (например, роста и стоимости) для отдельных акций.