El curso se divide en dos semanas. La primera semana pretende dar una visión general de la Teoría de Cadenas de Markov, en tiempo discreto y continuo, explicando los modelos básicos de uso general por la comunidad científica. La segunda semana aborda la modelización de problemas de decisión en tiempo discreto a través de Procesos de decisión de Markov, proponiendo ejemplos en varios campos de la ciencia. Asimismo, se explicarán las técnicas numéricas para los Procesos de decisión de Markov en tiempo continuo. 