Последовательная оценка в статистике: методы и применение
Sequential estimation
Последовательная оценка в статистике: методы анализа данных с переменным объемом выборки. Оптимальный байесовский оценщик, марковские процессы и правила остановки.
Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Введение
В статистике последовательная оценка относится к методам оценки в последовательном анализе, где размер выборки не фиксируется заранее. Вместо этого данные оцениваются по мере поступления, и дальнейший сбор данных прекращается в соответствии с заранее определенным правилом остановки, как только получены значимые результаты. Обобщенная версия называется оптимальным байесовским оценщиком, который является теоретической основой для любого последовательного оценщика (но не может быть реализован напрямую). Он включает в себя марковский процесс для распространения состояния и процесс измерения для каждого состояния, что приводит к типичным статистическим соотношениям независимости. Марковский процесс описывает распространение распределения вероятностей во времени, а измерение – это информация, доступная для каждого момента времени, которая обычно менее информативна, чем состояние. Только наблюдаемая последовательность, вместе с моделями, аккумулирует информацию от всех измерений и соответствующего марковского процесса, чтобы получить более точные оценки. На основе этого можно вывести фильтр Калмана (и его варианты), фильтр частиц, гистограммный фильтр и другие. Выбор конкретной модели зависит от задачи и требует опыта. В большинстве случаев цель состоит в оценке последовательности состояний по измерениям. В других случаях это описание можно использовать для оценки параметров, например, процесса шума. Также можно аккумулировать несмоделированное статистическое поведение состояний, спроецированных в пространство измерений (называемое последовательностью инноваций, которая естественным образом включает принцип ортогональности в свои выводы, обеспечивая соотношение независимости и, следовательно, может быть представлено в пространстве Гильберта, что делает его интуитивно понятным) с течением времени и сравнивать его с порогом, соответствующим вышеупомянутому критерию остановки. Одна из сложностей заключается в установке начальных условий для вероятностных моделей, что в большинстве случаев делается на основе опыта, спецификаций или точных измерений, полученных с использованием другой конфигурации. Статистическое поведение эвристических/выборочных методов (например, фильтра частиц или гистограммного фильтра) зависит от множества параметров и деталей реализации и не должно использоваться в приложениях, критичных к безопасности (поскольку сложно получить теоретические гарантии или провести надлежащее тестирование), если нет веских оснований. Если каждое состояние зависит от общей сущности (например, карты или общей переменной состояния), обычно используются методы SLAM (одновременная локализация и построение карты), которые включают последовательный оценщик в качестве частного случая (когда общая переменная состояния имеет только одно состояние). Они оценивают последовательность состояний и общую сущность. Существуют также неказуальные варианты, которые обрабатывают все измерения одновременно, пакетами измерений или обращают эволюцию состояния для движения назад во времени. Однако они больше не могут работать в реальном времени (если не использовать очень большой буфер, что значительно снижает пропускную способность) и подходят только для постобработки. Другие варианты выполняют несколько проходов для получения первоначальной приблизительной оценки, а затем уточняют ее на последующих проходах, что вдохновлено редактированием/транскодированием видео. Для обработки изображений (где все пиксели доступны одновременно) эти методы снова становятся казуальными. Последовательная оценка лежит в основе многих известных приложений, таких как декодер Витерби, сверточные коды, сжатие видео или отслеживание объектов. Благодаря представлению в виде пространства состояний, которое в большинстве случаев мотивировано физическими законами движения, существует прямая связь с приложениями управления, что привело к использованию фильтра Калмана в космических приложениях, например.
In statistics, sequential estimation refers to estimation methods in sequential analysis where the sample size is not fixed in advance. Instead, data is evaluated as it is collected, and further sampling is stopped in accordance with a predefined stopping rule as soon as significant results are observed. The generic version is called the optimal Bayesian estimator, which is the theoretical underpinning for every sequential estimator (but cannot be instantiated directly). It includes a Markov process for the state propagation and measurement process for each state, which yields some typical statistical independence relations. The Markov process describes the propagation of a probability distribution over discrete time instances and the measurement is the information one has about each time instant, which is usually less informative than the state. Only the observed sequence will, together with the models, accumulate the information of all measurements and the corresponding Markov process to yield better estimates. From that, the Kalman filter (and its variants), the particle filter, the histogram filter and others can be derived. It depends on the models, which one to use and requires experience to choose the right one. In most cases, the goal is to estimate the state sequence from the measurements. In other cases, one can use the description to estimate the parameters of a noise process for example. One can also accumulate the unmodeled statistical behavior of the states projected in the measurement space (called innovation sequence, which naturally includes the orthogonality principle in its derivations to yield an independence relation and therefore can be also cast into a Hilbert space representation, which makes it very intuitive) over time and compare it with a threshold, which then corresponds to the aforementioned stopping criterion. One difficulty is to set up the initial conditions for the probabilistic models, which is in most cases done by experience, data sheets or precise measurements with a different setup. The statistical behaviour of the heuristic/sampling methods (e. g. particle filter or histogram filter) depends on many parameters and implementation details and should not be used in safety critical applications (since it is very hard to yield theoretical guarantees or do proper testing), unless one has a very good reason. If there is a dependence of each state on an overall entity (e. g. a map or simply an overall state variable), one typically uses SLAM (simultaneous localization and mapping) techniques, which include the sequential estimator as a special case (when the overall state variable has just one state). It will estimate the state sequence and the overall entity. There are also none causal variants, that have all measurements at the same time, batches of measurements or revert the state evolution to go backwards again. These are then, however, not real time capable (except one uses a really big buffer, that lowers the throughput dramatically) anymore and only sufficient for post processing. Other variants do several passes to yield a rough estimate first and then refine it by the following passes, which is inspired by video editing/transcoding. For image processing (where all pixels are available at the same time) these methods become causal again. Sequential estimation is the core of many well known applications, such as the Viterbi decoder, convolutional codes, video compression or target tracking. Due to its state space representation, which is in most cases motivated by physical laws of motion, there is a direct link to control applications, which led to the use of the Kalman filter for space applications for example.