Definição - O que significa Processo de Decisão de Markov (MDP)?
Um processo de decisão de Markov (MDP) é algo que os profissionais se referem como um "processo de controle estocástico de tempo discreto". É baseado na matemática iniciada pelo acadêmico russo Andrey Markov no final do século 19 e no início do século 20.
Definirtec explica Processo de decisão de Markov (MDP)
Uma maneira de explicar o processo de decisão de Markov e as cadeias de Markov associadas é que esses são elementos da moderna teoria dos jogos baseada em pesquisas matemáticas mais simples feitas pelo cientista russo há algumas centenas de anos. A descrição de um processo de decisão de Markov é que ele estuda um cenário onde um sistema está em algum determinado conjunto de estados e avança para outro estado com base nas decisões de um tomador de decisão.
Uma cadeia de Markov como modelo mostra uma sequência de eventos onde a probabilidade de um determinado evento depende de um estado previamente alcançado. Os profissionais podem falar sobre um "espaço de estado contável" ao descrever o processo de decisão de Markov - alguns associam a ideia do modelo de decisão de Markov a um modelo de "passeio aleatório" ou outro modelo estocástico baseado em probabilidades (o modelo de passeio aleatório, frequentemente citado em Wall Street, modela o movimento de um patrimônio líquido para cima ou para baixo em um contexto de probabilidade de mercado).
Em geral, os processos de decisão de Markov são frequentemente aplicados a algumas das tecnologias mais sofisticadas nas quais os profissionais estão trabalhando hoje, por exemplo, em robótica, automação e modelos de pesquisa.