Análisis de la calidad de transmisión en redes ópticas mediante técnicas de Big Data y machine learning

Abstract

La calidad de transmisión (Quality of Transmission, QoT) es un factor central en la operación de redes ópticas: determina si una nueva conexión puede establecerse con un nivel de degradación aceptable y, por lo tanto, condiciona las decisiones de aprovisionamiento, uso del espectro y desempeño del sistema. Este trabajo diseña, implementa y evalúa un flujo integral end-to-end para estimar el QoT de forma data-driven sobre un dataset experimental provisto por el Fraunhofer Heinrich Hertz Institute (HHI), que ofrece dos representaciones complementarias del mismo escenario: (i) Lightpath, una vista tabular por conexión candidata, y (ii) Network Status, una descripción estructurada del estado global de la red al momento de la provisión. La solución propuesta se apoya en un pipeline de ingeniería de datos por capas (Bronze–Silver–Gold) implementado en Python, que utiliza Apache Spark para el procesamiento distribuido y la materialización en formato Apache Parquet. La capa Bronze conserva los datos “crudos” (conversión desde NetCDF), Silver aplica limpieza y normalización, y Gold construye vistas específicas por tarea, incluyendo la definición de etiquetas, la selección de variables y particionados reproducibles de entrenamiento/validación/prueba. El entorno de ejecución se orquesta con Docker Compose (Apache Spark y Hadoop Distributed File System) para exploración y validación, y se complementa con ejecuciones en un clúster de alto desempeño bajo el planificador Simple Linux Utility for Resource Management (SLURM) para transformaciones de alto costo, especialmente relevantes en Network Status. Sobre las vistas Gold, se define un protocolo experimental consistente para dos tareas supervisadas: (i) clasificación binaria de QoT y (ii) regresión de métricas continuas como Optical Signal-to-Noise Ratio (OSNR) y Bit Error Rate (BER). Se evalúan modelos tabulares (Random Forest y perceptrón multicapa, Multi-Layer Perceptron) sobre la biblioteca de aprendizaje automático de Apache Spark y redes neuronales en PyTorch sobre entradas derivadas de Network Status: una entrada secuencial para redes recurrentes (Long Short-Term Memory y Gated Recurrent Unit) y una entrada tensorial enlace–frecuencia para una red convolucional profunda (Deep Convolutional Neural Network). El ajuste de hiperparámetros se realiza con Optuna; en escenarios desbalanceados, se incorpora la selección de umbral en validación; y el análisis se complementa con interpretabilidad mediante importancias de variables y gradientes integrados. En Lightpath, Random Forest logra un desempeño muy alto en clasificación (área bajo la curva de precisión–recobrado 0.9987) y en regresión (coeficiente de determinación 0.9967 para OSNR), lo que sugiere que una representación tabular con variables agregadas concentra gran parte de la señal asociada a los efectos físicos relevantes. En Network Status, el desempeño es más moderado y sensible al protocolo: Random Forest alcanza un área bajo la curva de precisión–recobrado 0.917 y un perceptrón multicapa en PyTorch obtiene resultados comparables, mientras que modelos con estructura (recurrentes y convolucionales) permiten explorar interacciones más complejas a costa de mayor demanda de cómputo y puesta a punto. En conjunto, el trabajo entrega un pipeline reproducible, artefactos persistidos y evidencia empírica para orientar la elección de representaciones y técnicas de modelado en la estimación de QoT a escala.