CADENAS DE MARKOV
Un proceso o sucesión de eventos que se desarrolla en el tiempo en
el cual el resultado en cualquier etapa
contiene algún elemento que depende del azar se denomina proceso aleatorio o
proceso estocástico. Por ejemplo, la sucesión podría ser las condiciones
del tiempo en Paraná en una serie de
días consecutivos: el tiempo cambia día a día de una manera que en apariencia es algo aleatoria. O
bien, la sucesión podría consistir en los
precios de las acciones que cotizan en la bolsa en donde otra vez
interviene cierto grado de aleatoriedad.
Un ejemplo simple de un proceso estocástico es una sucesión de
ensayos de Bernoulli, por ejemplo, una sucesión de lanzamientos de una moneda.
En este caso, el resultado en cualquier etapa es independiente de todos los
resultados previos (esta condición de independencia
es parte de la definición de los ensayos de Bernoulli). Sin embargo, en la mayoría de los procesos estocásticos, cada
resultado depende de lo que sucedió en etapas
anteriores del proceso. Por ejemplo, el tiempo en un día determinado no es aleatorio
por completo sino que es afectado en cierto grado por el tiempo de días previos.
El precio de una acción al cierre de cualquier día depende en cierta medida
del comportamiento de la bolsa en días
previos.
El caso más simple de un proceso estocástico en que los resultados
dependen de otros, ocurre cuando el resultado en cada etapa sólo depende del resultado
de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso
se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada
evento ligado al precedente)
Estas cadenas reciben su nombre del matemático ruso Andrei
Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene
memoria, recuerdan el último evento y eso condiciona las posibilidades de los
eventos futuros. Esto justamente las distingue de una serie de eventos independientes
como el hecho de tirar una moneda.
Este tipo de proceso presenta una forma de dependencia simple, pero
muy útil en muchos modelos, entre las variables aleatorias que forman un
proceso estocástico. Se utilizan, por ejemplo, para analizar patrones de compra
de deudores morosos, para planear necesidades de personal, para analizar el
reemplazo de un equipo, entre otros.
Definición cadena de Markov
Una cadena de Markov es una sucesión de ensayos similares u
observaciones en la cual cada ensayo tiene el mismo número finito de resultados
posibles y en donde la probabilidad de
cada resultado para un ensayo dado depende sólo del resultado del ensayo
inmediatamente precedente y no de cualquier resultado previo.
Matriz de transición
Al trabajar con cadenas de Markov, a menudo es útil pensar la
sucesión de ensayos como experimentos efectuados en cierto sistema físico, cada
resultado dejando a este sistema en
cierto estado.
