NVIDIA presenta Cosmos-H-Dreams, un simulador generativo en tiempo real que mejora la evaluación y entrenamiento de robots quirúrgicos con visión y acción.
NVIDIA ha desarrollado Cosmos-H-Dreams, un simulador generativo en tiempo real diseñado para robótica quirúrgica que permite evaluar y entrenar sistemas con políticas de visión, lenguaje y acción de forma interactiva y segura.
Por qué importa: Esta tecnología reduce costos y riesgos al permitir simulaciones rápidas y precisas sin necesidad de operar robots físicos, facilitando avances en cirugía asistida por robots.
Lo esencial
Cosmos-H-Dreams es un simulador generativo en tiempo real que usa modelos causales para predecir visualmente acciones quirúrgicas.
Funciona con un solo GPU NVIDIA RTX PRO 6000 y puede integrarse con plataformas como Versius de CMR Surgical.
Permite controlar simulaciones en bucle cerrado, mejorando la evaluación y generación de datos sintéticos para entrenamiento.
De modelo de mundo quirúrgico a simulador interactivo
El simulador original, Cosmos-H-Surgical-Simulator, generaba videos futuros de escenas quirúrgicas a partir de imágenes iniciales y trayectorias robóticas, facilitando evaluaciones offline. Cosmos-H-Dreams avanza al ofrecer simulación en tiempo real, recibiendo imágenes RGB y datos cinemáticos para generar secuencias visuales de forma autoregresiva.
Este avance permite que tanto humanos como políticas de control aprendidas puedan interactuar con el entorno simulado en tiempo real, acelerando el desarrollo y prueba de nuevas técnicas quirúrgicas asistidas por robots.
Especialización y colaboración con plataformas quirúrgicas
Cosmos-H-Dreams se especializó para el sistema da Vinci Research Kit (dVRK) enfocado en suturas de mesa, y se ha integrado con el controlador del cirujano Versius, desarrollado por CMR Surgical y Cambridge Consultants. Esto demuestra la versatilidad del simulador para distintas plataformas robóticas.
Imagen de referencia: Hugging Face Blog.
La integración con Versius permite operar en tiempo real dentro del simulador, facilitando la experimentación y validación sin riesgos para pacientes ni equipos físicos.
Implementación técnica y rendimiento
El simulador utiliza FlashDreams, la biblioteca de inferencia acelerada de NVIDIA, para procesar las simulaciones en un solo GPU RTX PRO 6000. Esto garantiza una experiencia interactiva fluida y eficiente, con generación continua de imágenes basadas en las acciones del robot.
La arquitectura causal y el modelo de pocos pasos permiten que el sistema prediga dinámicas visuales complejas como tejidos deformables, interacciones finas de instrumentos y oclusiones, aspectos críticos en cirugía.
Preguntas frecuentes sobre Cosmos-H-Dreams
¿Qué ventajas ofrece Cosmos-H-Dreams frente a simuladores tradicionales?
Ofrece simulación en tiempo real con generación visual precisa basada en aprendizaje profundo, reduciendo costos y riesgos asociados a pruebas físicas.
¿Con qué plataformas quirúrgicas es compatible Cosmos-H-Dreams?
Actualmente está especializado para el da Vinci Research Kit y ha sido integrado con el controlador Versius de CMR Surgical, demostrando su adaptabilidad.
