Despacho Hidrotérmico Optimo con técnicas de aprendizaje por refuerzos.

Abstract

Toda empresa de energía eléctrica, que cuente con generadores térmicos y generadores hidroeléctricos, se enfrenta al problema del Despacho Hidrotérmico Optimo. El mismo consiste en determinar una política de operación óptima de sus generadores de forma que se minimicen los costos a la hora de satisfacer la demanda energética en un determinado periodo de tiempo. Históricamente se suele usar técnicas derivadas de formulaciones analíticas para resolver este problema, como por ejemplo la Programación Dinámica o Programación Dinámica Estocástica (debido a la naturaleza estocástica del problema) entre otras. Estas técnicas suelen enfrentarse a la denominada “maldición de la dimensionalidad”, donde el espacio de estados sobre el que se trabaja tiende a crecer demasiado rápido, volviendo al problema intratable en términos computacionales. Para superar esa contrariedad y aplicar estas técnicas, por lo general, se opta por modificar o simplificar el problema original. Este trabajo investiga la viabilidad de resolver el problema de Despacho Hidrotérmico Optimo utilizando técnicas de Reinforcement Learning, una rama de Machine Learning que ha mostrado sobreponerse al problema de la “Maldición de la Dimensionalidad” en otros tipos de problemas. El trabajo esta estructurado en dos iteraciones, en cada iteración se detalla una instancia del problema (con alguna complejidad extra sobre la iteración anterior), y luego se procede a resolverlo por técnicas tradicionales, y por Reinforcement Learning, para luego analizar y comparar los resultados. Reinforcement Learning parece ser una alternativa prometedora para resolver el problema de Despacho Hidrotérmico Optimo, ya que en muchos de los experimentos realizados se obtienen resultados similares, o hasta mejores, que las técnicas tradicionales, y ejecutándose de forma muy rápida.

Any power company with thermal generators and hydroelectric generators faces the Optimal Hydrothermal Dispatch problem. This problem consists of determining an optimal operational policy for its generators so that certain energy demands can be met over a certain period of time while minimizing costs. Traditionally, techniques derived from analytical formulations are usually used to solve this problem, namely Dynamic Programming or Stochastic Dynamic Programming (due to the stochastic nature of the problem) among others. These techniques tend to stumble upon what is known as the “Curse of Dimensionality”. In simple terms, the state space they work on tends to grow so much, that this approach quickly becomes computationally intractable. This work explores the viability of solving the Optimal Hydrothermal Dispatch problem, using a branch of Machine Learning known as Reinforcement Learning, with the hopes of overcoming the “Curse of Dimensionality”. The work is structured as consecutive iterations, each of which defines an instance of the problem (every iteration adds some new complexity over the previous ones), and then proceeds to solve it using analytical techniques and using Reinforcement Learning, in order to analyze and compare results. Reinforcement Learning seems to be a promising alternative to solve the Optimal Hydrothermal Dispatch problem, seeing that many of the results obtained are similar or even better in some cases than the traditional techniques’ results, all the while being very fast to execute.