Asignación de recursos en redes inalámbricas mediante aprendizaje por refuerzo profundo con redes neuronales de grafos

Abstract

Las redes inalámbricas densas son una parte central de la conectividad actual. En estos entornos, múltiples transmisores comparten un espectro limitado y deben decidir, de forma coordinada, qué canal utilizar y con qué potencia transmitir. Una mala asignación incrementa la interferencia, degrada la tasa de transmisión y afecta la calidad del servicio. El problema es especialmente desafiante porque el canal inalámbrico varía en el tiempo y el número de configuraciones posibles crece rápidamente con el tamaño de la red. Esta tesis estudia el uso de aprendizaje por refuerzo profundo para la asignación de recursos en redes inalámbricas reales. La política de decisión se parametriza mediante redes neuronales de grafos, modelos adecuados para representar sistemas donde los nodos interactúan mediante relaciones de interferencia o asociación. Esta elección permite que una misma política opere sobre redes de distinto tamaño y estructura, sin depender de un orden fijo de los nodos ni de una topología particular. El trabajo se apoya en medidas reales de la red de Ceibal, lo que permite evaluar el enfoque bajo condiciones representativas de una infraestructura en operación.Se consideran dos escenarios complementarios. El primero modela una red de enlaces inalámbricos que interfieren entre sí y estudia la asignación conjunta de canal y potencia bajo restricciones de consumo. El segundo incorpora clientes dinámicos, llegadas y salidas de usuarios, asociaciones entre clientes y puntos de acceso, y períodos de decisión más realistas. Esta extensión transforma el problema en un sistema donde la política de decisión no tiene acceso completo al estado de la red, ya que clientes y asociaciones cambian de forma continua, y cuya dimensión varía en el tiempo, acercándolo a la operación cotidiana de una red inalámbrica administrada. El trabajo desarrolla las formulaciones matemáticas de ambos escenarios, define estados, acciones y recompensas, y construye simuladores basados en datos reales para entrenar y evaluar políticas de decisión. También se comparan distintas estrategias de aprendizaje por refuerzo sobre una misma representación por grafos, con el objetivo de estudiar tanto la capacidad alcanzada como la estabilidad del entrenamiento y la posibilidad de operar sobre topologías variables. En conjunto, la tesis plantea una metodología para combinar aprendizaje por refuerzo con redes neuronales de grafos en el diseño de mecanismos de control adaptativos para redes inalámbricas densas. La propuesta enfatiza que este tipo de políticas debe analizarse considerando no solo la capacidad promedio, sino también la estabilidad del aprendizaje, la observabilidad del estado, la dinámica de asociación de usuarios y la diversidad topológica de las redes reales.