Approaches to interactive and improvisational storytelling.

Abstract

In Tabletop Role-playing Games, players act as characters living in an ever-evolving fictional world. Usually, among the players there is one with a special role, the Game Master (GM), who is in charge of bringing the fictional world to life, acting as every living being the players meet, narrating every scene, and describing how the world changes after the players’ actions. In order to achieve this, the GM relies on narrative improvisation to generate a fertile space of collaborative narrative creation. During the last decades, several computational approaches have been proposed to model this narrative experience, being “Interactive Fiction” games (e.g. the Zork series) and those called “Computer Role-playing Games” (e.g. the Baldur’s Gate series), the most famous among them. Since they work by pre-programming a great amount of pre-authored content, the modeling of improvisational storytellers (e.g. GMs) has been little explored until the advent of Large Language Models (LLMs), at the beginning of the 2020s decade. This document presents some approaches to build and evaluate Interactive Narrative systems that exhibit some improvisational abilities. First, we propose three tests to evaluate gamemastering models and use them to evaluate three LLMs: ChatGPT, Bard, and OpenAssistant. By focusing on specific actions, these tests try to limit the usual variability present when evaluating open-world narrative systems. In the experiments we find that ChatGPT and Bard can deliver a satisfying role-playing experience, but exhibiting flaws in updating the world state after the player actions. In contrast, OpenAssistant struggles maintaining the GM role during the session. Secondly, we present PAYADOR, a gamemastering model consisting in an LLM grounded on a symbolical representation of the fictional world. This way, the LLM has two main responsibilities: (1) to narratively describe the world based on that representation, and (2) to suggest changes to it, after processing the player actions. In order to do the latter, the approach is based on modeling transformations the fictional world can have, what means a change of focus away from the classical strategy of modeling individual player actions. To evaluate PAYADOR, both in Spanish and English, eight people played two scenarios with different evaluation objectives. We also wanted to evaluate the approach with different LLMs, so half of them used Llama and half of them used Gemini. All the evaluators were able to finish both scenarios, what seems to indicate the approach is viable and fully functional. After analyzing their playthroughs, we find that transformations are general enough to allow players use their creativity to overcome the challenges present in the scenario. Even when LLMs may fail, the symbolic system allowed us to understand what the errors were and reflect on their causes. Based on those errors, we discuss how to improve PAYADOR and also reflect on the following steps towards modeling the phenomenon of Improvisational Storytelling in Open Worlds. The playthroughs of the eight evaluators for both scenarios, and the version of PAYADOR used in those experiments — that considers the Moved Items, Unblocked locations and Player movement transformations — are available on GitHub.

En los Juegos de rol de mesa, los jugadores actúan como personajes que viven en un mundo ficticio en constante cambio. Normalmente, entre esos jugadores hay uno con un rol especial, el Director de juego (GM, por sus siglas en inglés), quien está a cargo de darle vida al mundo ficticio, actuando como cada ser vivo que los jugadores se encuentran, narrando cada escena, y describiendo cómo cambia el mundo a raíz de las acciones de los jugadores. Para lograr esto, el GM recurre a la improvisación narrativa para generar un espacio fértil de creación narrativa colaborativa. En las últimas décadas se han propuesto varios enfoques para modelar computacionalmente esta experiencia narrativa, siendo “Interactive Fiction” (por ej., la serie Zork) y “Computer Role-playing Games” (por ej., la serie Baldur’s Gate) los tipos de juegos más famosos entre ellos. Como esos enfoques funcionan mediante programar de antemano un montón de contenido escrito previamente, el modelado de narradores improvisacionales (por ej., GMs) ha sido poco explorado hasta la aparición de los Grandes Modelos de Lenguaje (LLM, por sus siglas en inglés), al inicio de la década de los 2020s. Este documento presenta varios enfoques para construir y evaluar sistemas de Narrativa Interactiva que muestren algunas habilidades de improvisación narrativa. Primero, proponemos tres tests para evaluar modelos de GMs y los usamos para evaluar tres LLMs: ChatGPT, Bard, y OpenAssistant. Enfocándose en acciones específicas, estos tests intentan limitar la variabilidad habitual que está presente al evaluar sistemas narrativos de mundo abierto. En los experimentos encontramos que tanto Chat- GPT como Bard pueden ofrecer una experiencia agradable, pero mostrando defectos al actualizar el estado del mundo a partir de las acciones del jugador. En cambio, OpenAssistant muestra problemas en mantener el rol de GM durante la sesión. Segundo, presentamos PAYADOR, un modelo de GM que consiste en hacer grounding a un LLM en una representación simbólica del mundo ficticio. De esta manera, el LLM tiene dos responsabilidades principales: (1) describir narrativamente el mundo basándose en esa representación, y (2) sugerir cambios a hacerle, a partir de las acciones del jugador. Para hacer lo segundo, este enfoque se centra en modelar transformaciones que el mundo puede tener, lo que significa un cambio de foco con respecto a la estrategia clásica de modelar acciones individuales que el jugador puede hacer. Para evaluar PAYADOR, tanto en inglés como en castellano, ocho personas jugaron dos escenarios con diferentes objetivos de evaluación. También queríamos evaluar el enfoque con diferentes LLMs, así que una mitad de las personas usaron Llama y la otra mitad usó Gemini. Todos los evaluadores pudieron terminar los escenarios, lo que parece indicar que el enfoque es viable y totalmente funcional. Luego de analizar sus trazas de juego, encontramos que las transformaciones son lo suficientemente generales para permitir que los jugadores usen su creatividad para superar los desafíos del escenario. Incluso aunque los LLMs pueden fallar, el sistema simbólico nos permitió entender cuáles fueron los errores y reflexionar sobre sus causas. Basándonos en esos errores, discutimos cómo mejorar PAYADOR y también reflexionamos sobre cuáles son los siguientes pasos hacia el modelado de la improvisación narrativa en mundos abiertos. Las trazas de juego de las ocho personas que jugaron los dos escenarios, y la versión de PAYADOR usada en esos experimentos — que considera las transformaciones Moved Items (objetos movidos), Unblocked locations (lugares desbloqueados) y Player movement (movimiento del jugador) — están disponibles en GitHub.