Sistema de archivos paralelo para computación de alto desempeño

Abstract

Muchas aplicaciones de computación de alto desempeño (HPC) imponen una alta carga sobre el subsistema de almacenamiento de sus entornos de ejecución y en consecuencia el almacenamiento frecuentemente se convierte en el principal factor limitante del rendimiento. Los sistemas de archivos paralelos permiten separar cargas de datos y metadatos, distribuir los datos entre múltiples servidores de almacenamiento y atender accesos concurrentes de múltiples clientes en simultáneo, para así superar las limitaciones de los sistemas de archivos centralizados o exportados desde un único servidor. En este proyecto se estudiaron sistemas de archivos paralelos para entornos HPC y se realizó el despliegue y la evaluación experimental de uno de ellos sobre una infraestructura de hardware heterogéneo similar a la presente en el Centro Nacional de Supercomputación de Uruguay. A partir de una evaluación tecnológica de cuatro sistemas de archivos representativos (pNFS, CephFS, Lustre e IBM Storage Scale), se seleccionó Lustre por su adopción en centros de supercómputo, su carácter de código abierto y su soporte a distintos sistemas de archivos de base. El despliegue se realizó sobre cinco servidores y tres clientes interconectados por una red de 10 Gb/s y se evaluaron los dos sistemas de archivos de base soportados por Lustre, ldiskfs y ZFS (con y sin compresión). La evaluación combinó tres suites de benchmark (fio, IOR y MDTest), que midieron el rendimiento de datos y metadatos bajo patrones controlados, con tres aplicaciones reales. Dos aplicaciones fueron intensivas en entrada/salida (E/S): la preparación de un conjunto de datos para el entrenamiento de un modelo subrogado DeepONet y el procesamiento de registros de viajes del transporte público de Montevideo. La tercera aplicación, intensiva en cómputo, fue la calibración paramétrica del modelo agronómico DayCent. El comportamiento de entrada y salida de las aplicaciones intensivas en E/S se caracterizó mediante rastreo dinámico con la herramienta bpftrace, se comparó el rendimiento del sistema de archivos paralelo con el del acceso vía Network File System (NFS) y, para separar el efecto del paralelismo del efecto de la heterogeneidad del hardware, se introdujo una ponderación de los tiempos de ejecución según el rendimiento relativo de los objetivos de almacenamiento de objetos (OST) utilizados. Los resultados mostraron que el número de OST fue el parámetro más influyente en el rendimiento de las aplicaciones intensivas en E/S, con la mayor parte de la mejora concentrada al escalar de uno a tres OST; en la aplicación dominada por el cómputo, en cambio, ni el número de OST ni la configuración de Lustre tuvieron un efecto apreciable. El sistema de archivos de base ZFS con compresión LZ4 superó a ldiskfs en las aplicaciones intensivas en E/S y resultó en tiempos de ejecución más estables, aunque el beneficio de la compresión dependió de la compresibilidad de los datos. El sistema de archivos ldiskfs mostró mayor rendimiento que ZFS en las operaciones de metadatos. La comparación con NFS resultó dependiente del perfil de cada aplicación: el sistema de archivos paralelo superó al acceso vía NFS solo en parte de los escenarios evaluados. Además, el reparto equitativo de los datos entre OST de rendimiento distinto provocó que el OST más lento limitara el rendimiento del conjunto, lo que sugiere estrategias de distribución ponderada como línea de trabajo futuro.