Título:
Enrutamiento basado en aprendizaje por refuerzo profundo
Otros títulos:
Coordinador:
Director:
Compilador:
Autor:
Pérez Curbelo, Santiago
Tutor:
Grampín Castro, Eduardo Gabriel
Richart, Matías
Richart, Matías
Tipo de documento:
Tesis de grado
Editor:
Palabras clave:
Enrutamiento
KDN
DRL
KDN
DRL
Descriptores:
Año de publicación:
2026
Contenido:
Resumen:
El presente documento tiene como objetivo estudiar el enrutamiento basado en aprendizaje por refuerzo profundo, con el propósito de analizar su aplicabilidad en la optimización del tráfico en redes de datos. Los avances recientes en aprendizaje por refuerzo profundo (DRL, Deep Reinforcement Learning) han mostrado un gran potencial para resolver problemas de toma de decisiones y control automatizado, lo que ha motivado su aplicación en distintas áreas, incluyendo la optimización de enrutamiento. Sin embargo, se ha constatado que las propuestas existentes no siempre logran superar el rendimiento de las técnicas de enrutamiento tradicionales, por lo que resulta necesario estudiar sus ventajas, limitaciones y condiciones de aplicación. Este trabajo aborda los fundamentos teóricos necesarios para comprender el problema, incluyendo los aspectos de la arquitectura de Internet relacionados con el enrutamiento, la capa de red, los algoritmos de enrutamiento clásicos y los paradigmas de redes definidas por software (SDN, Software-Defined Networking) y redes definidas por conocimiento (KDN, Knowledge-Defined Networking). Además, se presentan los conceptos principales del aprendizaje por refuerzo y del aprendizaje por refuerzo profundo, junto con el análisis de entornos de simulación orientados a la evaluación de algoritmos de enrutamiento, como PackeRL y RouterRL. A partir de este análisis, PackeRL se selecciona como entorno experimental para la implementación y evaluación de los agentes. Como aporte principal del trabajo, se desarrollan y evalúan distintos agentes de DRL para la optimización del enrutamiento, incluyendo DQN, DDQN, SARSA, PPO, GNN-DQN yWeightedSP-PPO (WSP-PPO). Para ello, se consideran dos enfoques de enrutamiento diferentes. El primero consiste en modificar de forma secuencial decisiones de siguiente salto en la tabla de enrutamiento, partiendo de una política inicial basada en caminos más cortos. El segundo enfoque se basa en modificar los pesos de los enlaces de la red y recalcular, a partir de ellos, una nueva tabla de enrutamiento mediante el algoritmo de caminos más cortos. Los agentes son evaluados en topologías reales ampliamente utilizadas en la literatura, como Abilene y GéANT, junto con matrices de tráfico reales, con el objetivo de considerar escenarios de evaluación más representativos. En estos experimentos, las políticas generadas por los agentes se comparan contra una política de referencia basada en caminos más cortos, utilizando como peso el retardo de los enlaces. Los resultados obtenidos permiten comparar el desempeño de los agentes frente a soluciones tradicionales, considerando métricas como bytes recibidos, pérdida de paquetes y retardo. A partir de este análisis, se identifican el potencial de los enfoques basados en DRL para la optimización del enrutamiento y sus principales desafíos: la formulación del enrutamiento como un problema de aprendizaje por refuerzo, la escalabilidad a redes de mayor tamaño y la capacidad de generalización ante escenarios de tráfico no observados durante el entrenamiento.
Descripción:
Editorial:
Udelar. FI.
EN:
Financiadores:
Citación:
Pérez Curbelo, S. Enrutamiento basado en aprendizaje por refuerzo profundo [en línea] Tesis de grado. Montevideo. Udelar. FI. INCO, 2026.
Citación:
metadata.cc.license.name:
Documento del Gobiberno:
URI:
https://hdl.handle.net/20.500.12008/56402
ISBN:
e-ISBN:
ISSN:
ISMN:
Otros identificadores:
Título Obtenido:
Ingeniero en Computación
Facultad o Servicio que otorga el Título:
Universidad de la República (Uruguay). Facultad de Ingeniería.
Licencia:
Licencia Creative Commons Atribución - No Comercial (CC - By-NC 4.0)
Cobertura geográfica:
Cobertura temporal:
metadata.dc.relation.IsVersionOf:
Clasificación:
Es versión de:
Colecciones:
| Ficheros | Descripción | Tamaño | Formato | ||
|---|---|---|---|---|---|
| Principal Per26.pdf | Tesis de grado | 1.74 MB | Adobe PDF |