NVIDIA y Hugging Face integran NeMo Automodel con Diffusers para facilitar el entrenamiento distribuido y ajuste fino de modelos de difusión sin conversiones.
NVIDIA y Hugging Face han anunciado la integración de la biblioteca de entrenamiento NeMo Automodel con la plataforma Diffusers, permitiendo el ajuste fino y entrenamiento distribuido de modelos de difusión para video e imagen a gran escala sin necesidad de conversiones ni reescritura de modelos.
Por qué importa: Esta colaboración simplifica y acelera el desarrollo de modelos de difusión, clave en aplicaciones de generación de imágenes y video mediante inteligencia artificial.
Lo esencial
NeMo Automodel es una biblioteca open source de NVIDIA para entrenamiento eficiente y escalable de modelos de difusión.
La integración con Hugging Face Diffusers permite usar cualquier modelo del Hub sin conversiones.
Soporta paralelismo configurable para escalar desde una GPU hasta cientos sin reescribir código.
Imagen de referencia: Hugging Face Blog.
NeMo Automodel: entrenamiento nativo para Diffusers
NeMo Automodel es parte del framework NVIDIA NeMo y está diseñado para trabajar de forma nativa con modelos Diffusers en PyTorch. Permite cargar modelos directamente desde el Hugging Face Hub usando sus IDs, manteniendo compatibilidad total con las clases y pipelines de Diffusers. Esto facilita el entrenamiento y ajuste fino sin necesidad de modificar los modelos o convertir checkpoints.
Escalabilidad y paralelismo configurable
La biblioteca soporta múltiples tipos de paralelismo, como FSDP2, paralelismo tensorial, experto, contexto y pipeline, que se activan mediante configuraciones y no requieren reescritura del código. Esto permite adaptar el entrenamiento a diferentes infraestructuras, desde una sola GPU hasta clusters con cientos de unidades, optimizando el uso de memoria y rendimiento.
Modelos compatibles y optimizaciones
Actualmente, NeMo Automodel soporta modelos basados en flow matching, utilizando esta técnica como objetivo de entrenamiento. Implementa además técnicas como el entrenamiento en espacio latente mediante salidas pre-codificadas de VAE y carga de datos multiresolución para acelerar el proceso. Esto mejora la eficiencia y permite manejar datasets complejos para tareas de generación de imágenes y video.
Disponibilidad y recursos para desarrolladores
La integración está disponible como código abierto bajo licencia Apache 2.0 y documentada en la guía de entrenamiento de Diffusers. NVIDIA y Hugging Face invitan a la comunidad a probar esta solución para facilitar el desarrollo de modelos de difusión a nivel de producción, con ejemplos y recetas listas para usar.
Preguntas frecuentes sobre NeMo Automodel
¿Qué modelos Diffusers se pueden entrenar con NeMo Automodel?
Actualmente, la biblioteca soporta modelos basados en flow matching, incluyendo aquellos disponibles en el Hugging Face Hub que utilizan esta arquitectura.
¿Es necesario convertir checkpoints o modificar modelos para usar NeMo Automodel?
No, la integración permite usar cualquier modelo Diffusers directamente sin conversiones ni reescritura, facilitando el entrenamiento y ajuste fino.
