Введение
Обобщение процессов прыжка Маркова Процессы обновления Маркова - это класс случайных процессов в вероятности и статистике, которые обобщают класс процессов прыжка Маркова. Другие классы случайных процессов, такие как цепочки Маркова и процессы Пуассона, могут быть получены в качестве специальных случаев среди класса процессов обновления Маркова, в то время как процессы обновления Маркова являются специальными случаями среди более общего класса процессов обновления.
Markov renewal processes are a class of random processes in probability and statistics that generalize the class of Markov jump processes. Other classes of random processes, such as Markov chains and Poisson processes, can be derived as special cases among the class of Markov renewal processes, while Markov renewal processes are special cases among the more general class of renewal processes.
Определение
В контексте процесса прыжка , который принимает состояния в пространстве состояний , рассмотрим множество случайных переменных , где представляет время прыжка и представляет связанные состояния в последовательности состояний (см. рисунок). Пусть последовательность промежуточных времен прибытия Для того, чтобы последовательность считалась процессом обновления Маркова, должно выполняться следующее условие:
Отношение к другим стохастическим процессам
Пусть и быть, как определено в предыдущем утверждении. Определяя новый стохастический процесс для , то процесс называется полу-Марковским процессом, поскольку он происходит в непрерывной цепочке Маркова во времени. Процесс является марковским только в указанные моменты прыжка, оправдывая название полумарковского. (См. также: скрытая полумарковская модель.) Полумарковский процесс (определенный в вышеуказанной вывеске), в котором все время удержания экспоненциально распределено, называется непрерывной временной цепью Маркова. Другими словами, если промежуточные время прибытия экспоненциально распределены, и если время ожидания в одном состоянии и следующее достигнутое состояние независимы, у нас есть непрерывная цепочка времени Маркова. Последовательность в процессе обновления Маркова - дискретная временная цепочка Маркова. Другими словами, если в уравнении процесса обновления Маркова игнорируются переменные времени, мы получаем дискретную цепь Маркова времени. Если последовательность s является независимой и идентично распределенной, и если их распределение не зависит от состояния , то процесс является обновлением. Итак, если игнорировать состояния и у нас есть цепочка iid раз, то у нас есть процесс обновления.