Pipeline de detección y seguimiento de manzanas para geolocalización de anomalías.

Abstract

El objetivo principal de este trabajo es desarrollar una solución que permita automatizar y optimizar el proceso de análisis de frutas en entornos agrícolas. Para lograr este propósito, se diseñó un sistema que combina técnicas de visión por computadora y aprendizaje profundo. En este trabajo, presentamos la implementación de un sistema que clasifica manzanas en sanas o enfermas y las asocia con una posición geográfica para identificar dónde se encuentran. Este sistema, es un pipeline que integra algoritmos de detección, tracking (seguimiento) en video y clasificación de manzanas, vinculándolas a una ubicación geográfica para generar un mapa de calor que identifica áreas con una mayor presencia de manzanas enfermas. Durante el procesamiento de cada frame de un video, se lleva a cabo la detección de las manzanas presentes, su seguimiento en el tiempo y el conteo de las manzanas vistas. Al finalizar de procesar el video se clasifican las manzanas detectadas utilizando todas las imágenes que se obtuvieron de cada una. También puede clasificar las manzanas en tiempo real, es decir, a medida que se procesan los frames. El pipeline es muy flexible al uso de otros algoritmos ya que fue implementado de forma genérica, teniendo que solamente implementar interfaces que usen el algoritmo. Además, está integrado con ROS (Robot Operating System) para que pueda ejecutarse en robots. Para la detección de manzanas se utilizó YOLOv8, Faster R-CNN y SAM. Para el seguimiento en video se emplearon StrongSORT, HybridSORT, DeepOCSORT, BoT-SORT y Norfair. Para la clasificación de manzanas se utilizó CLIP y VisionTransformer.