GraGOD : Graph based models for anomaly detection in multivariate time series.

Abstract

Time Series Anomaly Detection (TSAD) has been a subject of study for the past century. Its importance stems from its wide range of applications, including fraud detection, industrial monitoring, cybersecurity, and healthcare. In recent years, the rise of deep learning (DL) has led to numerous efforts to apply it to TSAD. Concurrently, Graph Neural Networks (GNNs)—a subfield of DL focused on applying deep learning models to graph-structured data—have gained significant attention. In this work, the application of GNNs to TSAD is explored by modeling multivariate time series systems as feature-enriched graphs. The motivation behind this approach is that graph structures could represent dependencies between time series, while mitigating the influence of noise from unrelated time series. The impact of GNNs is assessed on two datasets, one where the underlying system structure can be naturally represented as a graph and one which does not. The analysis goes beyond evaluating anomaly detection performance; it includes a detailed examination of each stage of the process. This includes a discussion of the characteristics and limitations of each dataset, offering insights that can help identify similar patterns in other datasets. The performance of different models is evaluated, comparing the behavior of GNN-based and non-GNN models, and specific experiments are conducted to enhance model performance, such as assessing different graph topologies and threshold selection methods. The findings suggest that GNN-based models offer promising results when an underlying graph structure exists; however, this is not the case when no such structure is present. To perform this analysis, particular attention is given to the evaluation metrics commonly used in TSAD. It is shown that many of these metrics, while widely adopted, present significant flaws. For instance, metrics like precision, recall, and F1-score can be highly sensitive to the choice of thresholding strategy and may fail to capture temporal continuity or anomaly severity. Moreover, aggregate metrics such as the Volume Under the Surface (VUS), although robust in some contexts, often obscure the interpretability of model behavior. This work emphasizes the importance of using multiple, well-understood metrics and supports the development of more informative evaluation strategies, showing that a more graphical analysis, like anomalous score histograms, are key for a thorough and interpretable evaluation of model performance. Finally, an open-source repository named GraGOD is presented, designed to reproduce all aspects of this work. The repository is well-documented and organized to facilitate future research. To the best of our current knowledge, there is no other open-source project offering such a comprehensive analysis of datasets, metrics and model predictions in this context. GraGOD was also validated using an additional dataset provided by the Uruguayan Power Company (UTE), demonstrating its extensibility for future datasets and experiments. The complete report on the UTE dataset is also included, although the dataset is not yet publicly available.

La Detección de Anomalías en Series Temporales (TSAD, por sus siglas en inglés) ha sido objeto de estudio durante el último siglo. Su importancia proviene de su amplia gama de aplicaciones, que incluyen la detección de fraudes, el monitoreo industrial, la ciberseguridad y la salud. En los últimos años, el auge del aprendizaje profundo (Deep Learning, DL) ha motivado numerosos esfuerzos para aplicarlo a la TSAD. Paralelamente, las Redes Neuronales de Grafos (Graph Neural Networks, GNNs), un subcampo del aprendizaje profundo enfocado en aplicar modelos de aprendizaje profundo a datos estructurados en grafos, han ganado una atención significativa. En este trabajo se explora la aplicación de GNNs a la TSAD, modelando sistemas de series temporales multivariadas como grafos enriquecidos con características. La motivación detrás de este enfoque es que las estructuras de grafos podrían representar las dependencias entre series temporales, mientras mitigan la influencia del ruido proveniente de series temporales no relacionadas. Se evalúa el impacto de las GNNs en dos conjuntos de datos : uno en el que la estructura subyacente del sistema puede representarse de manera natural como un grafo, y otro en el que no es así. El análisis va más allá de simplemente evaluar el desempeño en la detección de anomalías; también incluye un examen detallado de cada etapa del proceso. Esto abarca la discusión de las características y limitaciones de cada conjunto de datos, ofreciendo perspectivas que pueden ayudar a identificar patrones similares en otros conjuntos de datos. Se evalúa el rendimiento de diferentes modelos, comparando el comportamiento de modelos basados en GNNs y no basados en GNNs, y se realizan experimentos específicos para mejorar el desempeño de los modelos, como la evaluación de diferentes topologías de grafos y métodos de selección de umbrales. Los resultados sugieren que los modelos basados en GNNs ofrecen resultados prometedores cuando existe una estructura de grafo subyacente; sin embargo, esto no es así en ausencia de dicha estructura. Para realizar este análisis, se presta especial atención a las métricas de evaluación comúnmente utilizadas en TSAD. Se demuestra que muchas de estas métricas, aunque ampliamente adoptadas, presentan fallas significativas. Por ejemplo, métricas como precisión, recall y F1-score pueden ser altamente sensibles a la estrategia de selección de umbrales y pueden no capturar la continuidad temporal o la severidad de las anomalías. Además, métricas agregadas como el Volumen Bajo la Superficie (VUS), aunque robustas en algunos contextos, a menudo dificultan la interpretabilidad del comportamiento del modelo. Este trabajo enfatiza la importancia de utilizar múltiples métricas bien comprendidas y respalda el desarrollo de estrategias de evaluación más informativas, mostrando que un análisis más gráfico, como los histogramas de puntuaciones anómalas, es clave para una evaluación exhaustiva e interpretable del rendimiento de los modelos. Finalmente, se presenta un repositorio de código abierto llamado GraGOD, diseñado para reproducir todos los aspectos de este trabajo. El repositorio está bien documentado y organizado para facilitar la investigación futura. Según nuestro conocimiento actual, no existe otro proyecto de código abierto que ofrezca un análisis tan completo de conjuntos de datos y predicciones de modelos en este contexto. GraGOD también fue validado utilizando un conjunto de datos adicional proporcionado por la compañía eléctrica estatal (UTE), demostrando su extensibilidad para futuros conjuntos de datos y experimentos. El informe completo sobre el conjunto de datos de UTE también está incluido, aunque dicho conjunto de datos aún no está disponible públicamente.