sPARE: Partial Replication for Multi-tier Applications in the Cloud Academic Article

journal

  • IEEE Transactions on Services Computing

abstract

  • Offering consistent low latency remains a key challenge for distributed applications, especially when deployed on the cloud where virtual machines (VMs) suffer from capacity variability caused by colocated tenants. Replicating redundant requests were shown to be an effective mechanism to defend application performance from high capacity variability. While the prior art centers on single-tier systems, it still remains an open question how to design replication strategies for distributed multi-tier systems. In this paper, we design a first of its kind PArtial REplication system, sPARE, that replicates and dispatches read-only workloads for distributed multi-tier web applications The two key components of sPARE are (i) the variability-aware replicator that coordinates the replication levels on all tiers via an iterative searching algorithm, and (ii) the replication-aware arbiter that uses a novel token-based arbitration algorithm (TAD) to dispatch requests in each tier. We evaluate sPARE on web serving and web searching applications, i.e., MediaWiki and Solr, the former deployed on our private cloud and the latter in the wild on Amazon EC2. Our results based on various interference patterns and traffic loads show that sPARE is able to improve the tail latency of MediaWiki and Solr by a factor of almost 2.7x  and  2.9x  , respectively.
  • Ofrecer una baja latencia consistente sigue siendo un reto clave para las aplicaciones distribuidas, especialmente cuando se despliegan en la nube, donde las máquinas virtuales (VMs) sufren de variabilidad de capacidad causada por inquilinos colocados. Se demostró que la repetición de solicitudes redundantes era un mecanismo eficaz para defender el rendimiento de las aplicaciones de la alta variabilidad de la capacidad. Si bien el estado de la técnica se centra en sistemas de un solo nivel, sigue siendo una cuestión pendiente cómo diseñar estrategias de replicación para sistemas distribuidos de varios niveles. Los dos componentes clave de sPARE son (i) el replicador consciente de la variabilidad que coordina los niveles de replicación en todos los niveles a través de un algoritmo de búsqueda iterativo, y (ii) el árbitro consciente de la replicación que utiliza un nuevo algoritmo de arbitraje basado en tokens (TAD) para despachar las solicitudes en cada nivel. Evaluamos sPARE en aplicaciones de servidor web y de búsqueda web, es decir, MediaWiki y Solr, el primero desplegado en nuestra nube privada y el segundo en estado salvaje en Amazon EC2. Nuestros resultados basados en varios patrones de interferencia y cargas de tráfico muestran que sPARE es capaz de mejorar la latencia de cola de MediaWiki y Solr por un factor de casi 2.7x y 2.9x , respectivamente.Traducción realizada con el traductor www.DeepL.com/Translator

publication date

  • 2017/12/8

keywords

  • Amazon
  • Arbitration
  • Art
  • Factors
  • Interference
  • Latency
  • Replication
  • Virtual machine
  • Web application
  • Workload
  • World Wide Web

International Standard Serial Number (ISSN)

  • 1939-1374