Un entusiasta de la inteligencia artificial ha incorporado una tarjeta gráfica Nvidia Tesla V100, originalmente diseñada para servidores, a su PC gaming, logrando un sistema con 32 GB de memoria VRAM por solo 266 dólares. Esta configuración permite ejecutar modelos de lenguaje grande (LLM) con 27 mil millones de parámetros a una velocidad de 32 tokens por segundo, suficiente para un uso interactivo.
Por qué importa: Esta solución económica y casera amplía la capacidad de hardware para IA local, evitando depender de costosos servicios en la nube y demostrando el potencial de GPUs empresariales reutilizadas.
Lo esencial
- Se usó una Nvidia Tesla V100 SXM2 con 16 GB de memoria HBM2 y un adaptador SXM2 a PCIe para integrarla en un PC gaming.
- El ventilador original de la Tesla V100 genera un ruido de 82 dB, comparable a un cortacésped, y fue modificado para reducir el ruido manteniendo la temperatura bajo 50 °C.
- El sistema combinado con una RTX 4080 de 16 GB permite ejecutar localmente un modelo LLM de 27 mil millones de parámetros a 32 tokens por segundo.
Adaptación de hardware para IA local
La Nvidia Tesla V100 es una GPU empresarial con arquitectura Volta y 16 GB de memoria HBM2, diseñada para centros de datos. El entusiasta adquirió una unidad usada por aproximadamente 140 dólares y un adaptador SXM2 a PCIe por 66 dólares, ambos en eBay. Esta combinación permitió conectar la Tesla V100 a una placa base estándar de PC gaming, ampliando la memoria total de video a 32 GB junto con una RTX 4080.
Modificación del sistema de refrigeración
El ventilador original de la Tesla V100 produce un ruido intenso de 82 decibelios, similar a un cortacésped, lo que dificultaba su uso en un entorno doméstico. Para solucionar esto, se realizó una modificación en el cableado del ventilador para conectarlo al conector PWM de la placa madre, permitiendo controlar la velocidad. Así, el ventilador puede funcionar al 10% de su capacidad y mantener la GPU por debajo de 50 °C durante cargas completas, reduciendo significativamente el ruido.
