Jugador de ZX Spectrum utilizando aprendizaje por refuerzos profundo

Abstract

Uno de los desafíos del Aprendizaje Automático desde sus comienzos ha sido la resolución de juegos. Los juegos proveen entornos controlados en donde es posible desarrollar y probar los resultados de distintos algoritmos. En particular, los videojuegos muchas veces presentan problemas que para su resolución requieren de secuencias complejas de acciones: tomar objetos en cierto orden, llevarlos a lugares específicos, entre otros. Este trabajo se plantea como objetivo la creación de un jugador artificial para el videojuego Manic Miner sobre la plataforma ZX Spectrum mediante Aprendizaje profundo. Para esto se desarrollan y comparan agentes que aprenden directamente de los píxeles de la pantalla, entrenados mediante la aplicación de distintas variantes de Deep Q Learning: Deep Q-Network (DQN), Double Deep Q-Network (DDQN) y Dueling Network, combinándolas con técnicas de aprendizaje como Human Checkpoint Replay. También se implementa un entorno para esta plataforma, inexistente hasta el momento, que permite su interacción con el agente y una interfaz interactiva para generar checkpoints y editar niveles. A pesar de la complejidad del juego y del tiempo de entrenamiento que requieren estos algoritmos, se logra superar al primer nivel en más de una oportunidad, al asistir a la exploración del agente mediante Human Checkpoint Replay. Además, se analiza cualitativamente la capacidad del agente entrenado para aplicar sus conocimientos en escenarios ligeramente distintos al de entrenamiento gracias al editor de niveles interactivo desarrollado.