Modelos de Markov

El modelo de Markov fué descrito en 1.906 por Andrey Andreyevich Markov,  se considera como un sistema matemático que describe el paso de una situación (conjunto de valores) a otra de acuerdo con ciertas reglas probabilísticas. El origen se deriva del estudio que realizó respecto del uso de cadenas de texto para modelar la repetición de sonidos (fonemas) de vocales y consonantes.

Andrey Andreyevich Markov

 

Matemáticamente se define como un modelo no determinista, sí estocástico (modelo que evoluciona con el tiempo de manera probabilística), que describe el siguiente estado del sistema por acciones predecibles junto con elementos aleatorios (la probabilidad de comportamiento futuro está totalmente definida si se conoce el estado actual).

 

Existe la convención de hablar de cuatro modelos dependiendo de si el estado es observable o no y si el sistema se debe ajustar en base a esas observaciones. El estudio de estos modelos debe comenzar por el conocimiento de sus cadenas y conceptos asociados.

 

Modelos de Markov
Sistema Observable Completamente  Observable Parcialmente
Autónomo Cadenas Modelo Oculto
Dirigido Proceso de Decisión MDP Proceso de Decisión POMDP

 

 

Así, en frío, nos es difícil ver que utilidad tienen, pero cuanto más se estudian, más aplicaciones se encuentra, el resumen sería que sirven para modelar cualquier sistema cambiante. Para los que estén metidos en el mundo de la estadística son imprescindibles. La industria de automoción las utilizan para el control de velocidad, calculo la distancia entre vehículos y frenado automático, etc., algo que hacemos todos los días y este es solo uno de los muchos ejemplos cotidianos. Y si estas utilizando internet, indicarte que el algoritmo (PageRank) que usa Google para determinar el orden de los resultados de búsqueda, es un tipo de cadena de Markov