Sistema de generación de instancias y reducción de carga del etiquetado de imágenes de malezas para detección de objetos.

Abstract

Técnicas asociadas al área de visión artificial, como la detección de objetos, son ampliamente utilizadas en la búsqueda de la automatización en diversos dominios; en particular, en este trabajo se aplica en lo referido al control de malezas en cultivos. Actualmente, los métodos de detección de objetos más populares, que hacen uso de redes neuronales, requieren de un gran número de imágenes con sus correspondientes etiquetas, conformadas por la clase y localización de cada objeto que se busca detectar. Con el objetivo de mitigar esta limitación, en este trabajo se relevan diversas técnicas orientadas a mejorar el desempeño de modelos de detección sin aumentar el esfuerzo humano, a costa de un mayor uso de poder computacional. Posteriormente, se proponen, implementan y evalúan distintos flujos que a partir de un conjunto de imágenes y un número máximo de imágenes a etiquetar manualmente, devuelven un subconjunto completamente etiquetado, buscando que este sea el más significativo para un modelo de detección, junto con imágenes artificiales autoetiquetadas de los objetos a detectar. Esto permite su libre utilización en futuros entrenamientos de modelos de detección de objetos, sin depender de la arquitectura base utilizada. En particular, los flujos son variaciones en el uso de los diferentes componentes implementados, como modelos difusos para la generación de imágenes, Plug and Play Active Learning (PPAL) para la selección de imágenes, así como YOLOv11m, Faster R-CNN y RetinaNet para la evaluación, todos ellos implementados en Python. El primero de los componentes es una implementación propia de PPAL, el cual, al igual que el resto de las técnicas de aprendizaje activo, realiza la selección de imágenes a etiquetar de forma progresiva, a medida que el modelo es entrenado, con el fin de priorizar el etiquetado de aquellas imágenes que sean más significativas para el entrenamiento del modelo. El segundo de dichos componentes consiste en el entrenamiento de modelos generativos que sean capaces de capturar los detalles de los objetos a detectar, a partir de Stable Diffusion v1.5, utilizando como método de ajuste Dreambooth, a fin de expandir el conjunto de datos de entrenamiento. Por último, las imágenes generadas por el modelo generativo no serían aprovechables para el entrenamiento sin sus etiquetas correspondientes. Por esta razón, y con el fin de no requerir intervención humana para el etiquetado de estas, se propone un último componente, el cual se encargará de etiquetar de forma autónoma las imágenes generadas, utilizando los canales de colores de las imágenes, además de otros métodos que los combinan con el uso de SAM (Segment Anything Model), o mediante modelos de detección en conjunto con filtros que utilizan las imágenes etiquetadas por el usuario. Se evalúa el aumento de rendimiento provisto tanto por cada componente individualmente, como por los flujos que los combinan. Utilizando el conjunto de datos CottonWeedDet12, se compara el rendimiento de diferentes modelos entrenados, primero con las imágenes resultantes de haber aplicado las tres componentes, y luego sobre las imágenes resultantes de no haber aplicado ninguna de estas. Al calcular la mAP@50, el método propuesto obtiene, al utilizar un 5% del conjunto de datos, una mejora de 0,119 en Faster R-CNN, 0,052 en YOLOv11m y 0,191 en RetinaNet con respecto a entrenar el detector sin utilizar las imágenes sintéticas, y mediante selección aleatoria. Al usar un 10% se obtienen mejoras de 0,049 en Faster R-CNN, 0,058 en YOLOv11m y 0,087 en RetinaNet. Por último, al usar un 20 %, se obtienen mejoras de 0,053 en Faster R-CNN, 0,035 en YOLOv11m y 0,034 en RetinaNet. Estos resultados muestran que la metodología presenta una clara mejora en todos los detectores, especialmente en los casos en lo que el número de imágenes es particularmente bajo, lográndolo sin incrementar el esfuerzo humano requerido.