Proceso de Markov

En la teoría de la probabilidad y en estadística, un proceso de Márkov, llamado así por el matemático ruso Andréi Márkov, es un fenómeno aleatorio dependiente del tiempo para el cual se cumple una propiedad específica: la propiedad de Márkov. En una descripción común, un proceso estocástico con la propiedad de Márkov, o sin memoria, es uno para el cual la probabilidad condicional sobre el estado presente, futuro y pasado del sistema son independientes.^[1]​ Los procesos de Márkov surgen en probabilidad y en estadística en una de dos maneras:

Frecuentemente el término cadena de Márkov se usa para dar a entender que un proceso de Márkov tiene un espacio de estados discreto (infinito o numerable). Usualmente una cadena de Márkov sería definida para un conjunto discreto de tiempos (es decir, una cadena de Márkov de tiempo discreto),^[2]​ aunque algunos autores usan la misma terminología donde "tiempo" puede tomar valores continuos.^[3]​

Podemos hablar de diferentes definiciones referentes a los procesos de Márkov de primer orden:

Los procesos de Márkov de Primer Orden, para poder ser usados como modelos de procesos físicos o económicos, deben tener una serie de características:

Se utilizan para describir la manera en que el sistema cambia de un período al siguiente.

Esta matriz se puede calcular de formas distintas, entre ellas están el método directo, calculando la matriz diagonal, o calculando analítica o gráficamente a partir de la ecuación de estado.

Un ejemplo típico de proceso de Markov en física es el movimiento browniano. El movimiento browniano muestra cómo la naturaleza discreta de la materia en la escala microscópica se manifiesta a nivel macroscópico.

Para ciertos tipos de procesos estocásticos es simple formular la condición que especifica que la propiedad de Márkov es válida, mientras que para otros se requiere una matemática más sofisticada como se describe en el artículo propiedad de Márkov.