Diseño y desarrollo de un filtro de deduplicación de datos basado en técnicas de estado del arte.

Abstract

El campo de deduplicación de datos ha ganado notoriedad en la última década dada la gran cantidad de datos manejada por sistemas contemporáneos, lo común que es que estos datos presenten altos niveles de duplicación, y la eficacia de las técnicas de deduplicado para reducir estos volúmenes de datos. Más recientemente también se da un renovado interés en las áreas de detección de semejanza de datos y reducción de redundancia en datos similares, ya que pueden complementar a las técnicas de deduplicado de datos. Sin embargo, la mayoría de la actividad de estudio en estas áreas no proporcionan implementaciones de disponibilidad pública y a la vez se centran principalmente en la aplicabilidad de estas técnicas para sistemas distribuidos o de archivado de datos. En este proyecto, por tanto, nos avocamos a la tarea de relevar de la bibliografía académica disponible y actual sobre estas disciplinas para identificar cuáles son las técnicas de estado del arte en la actualidad. Habiendo identificado estas técnicas, desarrollamos una herramienta de código abierto que implementa un filtro de datos que deduplica y aplica reducción de redundancia en datos similares sobre flujos de datos arbitrarios. Estudiamos la eficacia de la aplicación de nuestra implementación del filtro como complemento preliminar al uso de compresión general sobre datos arbitrarios. De esta forma, no solo ponemos a disposición general nuestra implementación, sino que exploramos su utilidad en un tipo de aplicación que no ha visto tanto estudio en tiempos recientes.