Algorithm 972: JMarkov: An integrated framework for Markov chain modeling Academic Article

journal

  • ACM Transactions on Mathematical Software

abstract

  • Las cadenas Markov (MC) son una herramienta poderosa para modelar sistemas estocásticos complejos. Mientras que existen varias herramientas para resolver diferentes tipos de modelosMC, el primer paso en la modelizaciónMC es definir los parámetros del modelo. Este paso es, sin embargo, propenso a errores y lejos de ser trivial a la hora de modelar sistemas complejos. En este artículo, presentamos jMarkov, un marco para el modelado de MC que proporciona al usuario la capacidad de definir modelos de MC a partir de las reglas básicas subyacentes a la dinámica del sistema. A partir de estas reglas, jMarkov obtiene automáticamente los parámetros MC y resuelve el modelo para determinar las medidas de rendimiento en estado estacionario y transitorio. El marco de trabajo de jMarkov se compone de cuatro módulos: (i) el módulo principal soporta modelos de MC con un espacio de estado finito; (ii) el módulo jQBD permite el modelado de procesos Quasi-Birth-and-Death, una clase de MCs con espacio de estado infinito; (iii) el módulo jMDP ofrece las capacidades para determinar reglas de decisión óptimas basadas en los Procesos de Decisión de Markov; y (iv) el módulo jPhase soporta la manipulación e inclusión de variables de tipo de fase para representar comportamientos generales más que los de la distribución exponencial estándar. Además, jMarkov es altamente extensible, permitiendo a los usuarios introducir nuevas abstracciones de modelado y solucionadores.
  • Markov chains (MC) are a powerful tool for modeling complex stochastic systems. Whereas a number of tools exist for solving different types ofMCmodels, the first step inMCmodeling is to define themodel parameters. This step is, however, error prone and far from trivial when modeling complex systems. In this article, we introduce jMarkov, a framework for MC modeling that provides the user with the ability to define MC models from the basic rules underlying the system dynamics. From these rules, jMarkov automatically obtains the MC parameters and solves the model to determine steady-state and transient performance measures. The jMarkov framework is composed of four modules: (i) the main module supports MC models with a finite state space; (ii) the jQBD module enables the modeling of Quasi-Birth-and-Death processes, a class of MCs with infinite state space; (iii) the jMDP module offers the capabilities to determine optimal decision rules based on Markov Decision Processes; and (iv) the jPhase module supports the manipulation and inclusion of phase-type variables to representmore general behaviors than that of the standard exponential distribution. In addition, jMarkov is highly extensible, allowing the users to introduce new modeling abstractions and solvers.

publication date

  • 2017/1/1

edition

  • 43

keywords

  • Abstraction
  • Class
  • Complex Systems
  • Decision Rules
  • Dynamical systems
  • Exponential distribution
  • Framework
  • Inclusion
  • Large scale systems
  • Manipulation
  • Markov Chain Model
  • Markov Decision Process
  • Markov chain
  • Markov processes
  • Model
  • Modeling
  • Module
  • Performance Measures
  • Quasi-birth-and-death Process
  • Standards
  • State Space
  • Stochastic Systems
  • Stochastic systems
  • System Dynamics
  • Trivial

International Standard Serial Number (ISSN)

  • 0098-3500