Cloud computing sobre entornos dinámicos tolerantes a fallos

Abstract

En este documento se presenta el proyecto de grado "Cloud Computing sobre entornos dinámicos tolerantes a fallos", desarrollado en el Centro de Cálculo del Instituto de Computación de la Facultad de Ingeniería de la Universidad de la República. Apache Hadoop es un framework de código abierto para el procesamiento de grandes cantidades de datos utilizando el paradigma de computación distribuida. Está desarrollado en el lenguaje de programación Java y es mantenido por la fundación Apache. Hadoop permitiendo atacar problemas que utilizan grandes cantidades de datos a un bajo costo y con alto desempeño. Por esta razón compañías como Yahoo, Facebook, Twitter y LinkedIn utilizan Hadoop para procesar datos. Hadoop posee varios mecanismos de tolerancia a fallos para recuperarse de fallas en algunos de sus nodos, pero el nodo encargado de administrar, controlar y distribuir las tareas entre los demás nodos, es un punto único de fallo, por lo que si este nodo (llamado JobTracker) falla durante la ejecución de un trabajo, este trabajo es cancelado y deber a ser comenzado nuevamente, perdiéndose todos los datos intermedios. En este proyecto de grado, se propone desarrollar una versión de Hadoop tolerante a fallos en el JobTracker, realizando un respaldo de la información del JobTracker periódicamente. Cuando el JobTracker falla, uno de los demás nodos del sistema se transforma en el nuevo JobTracker, recuperando el último respaldo del JobTracker que falló. Para minimizar el tiempo perdido mientras el JobTracker esá caído, las tareas que ya habían sido asignadas por el JobTracker y se estaban ejecutando, se siguen ejecutando mientras el JobTracker está caído. La versión modificada de Hadoop desarrollada en este proyecto logró soportar repetidas fallas en el JobTracker durante la misma ejecución, con un overhead del 1.77% del total del tiempo de ejecución.