Cómputo eficiente de redes neuronales sobre hardware heterogéneo.

Abstract

Las redes neuronales han revolucionado la resolución de problemas en diversos campos, como medicina, robótica e ingeniería. Estas técnicas utilizan grandes volúmenes de datos para aprender (etapa de entrenamiento) y deducir resultados (etapa de inferencia) ayudando así a tomar decisiones. Sin embargo, tanto la etapa de entrenamiento como la de inferencia requieren considerables recursos computacionales y, por lo tanto, un elevado consumo energético. Esta tesis aborda la creciente necesidad de optimizar estos procesos desde el punto de vista de los recursos computacionales que requieren, explorando dos enfoques principales: el uso de hardware especializado y la optimización a nivel de software para maximizar el aprovechamiento de las plataformas de hardware subyacentes. En la primera línea de trabajo, se evalúa una variedad heterogénea de plataformas de hardware, tanto diseñadas específicamente para el cómputo de redes neuronales como plataformas de propósito general. Se logró establecer un entorno de desarrollo e implementación de redes neuronales eficiente, capaz de aprovechar plataformas de hardware de diversas características. Por otro lado, se estudian y aplican diferentes optimizaciones por software utilizando herramientas que son el estado del arte, buscando explotar características específicas de cada plataforma de hardware. Esta línea mostró las potenciales mejoras en los tiempos de ejecución que ofrecen estas herramientas, alcanzando mejoras de hasta 10x. Además, como evolución de las dos líneas de trabajo antes descritas, se abordó la optimización de una herramienta de simplificación de modelos, NetAdapt. Se estudió en profundidad la herramienta y se propusieron diferentes optimizaciones sobre la herramienta, los resultados experimentales muestran reducciones en los tiempos de ejecución de hasta 37x para la generación de modelos optimizados para plataformas de hardware específicas. Por último, es necesario destacar que en un contexto de creciente importancia de la inteligencia artificial, donde se posicionan los requerimientos computacionales como una de las principales limitantes, tanto los esfuerzos estudiados como los incipientes aportes de la presente tesis muestran los niveles significativos de optimización que se pueden alcanzar en la implementación de redes neuronales a través del software como del hardware.