Un usuario del subreddit ESP32 logró ejecutar un modelo de lenguaje grande (LLM) con 28.9 millones de parámetros en un microcontrolador ESP32-S3, permitiendo generar historias coherentes pese a las limitaciones de memoria y procesamiento del dispositivo.

Por qué importa: Este avance muestra que es posible implementar IA avanzada en hardware extremadamente limitado, abriendo puertas a aplicaciones de inteligencia artificial local en dispositivos embebidos.

Lo esencial

• El modelo de lenguaje tiene 28.9 millones de parámetros, cerca de una cuarta parte del ChatGPT original.
• Se usa memoria flash mapeada para almacenar la tabla de embeddings de 25 millones de parámetros.
• El núcleo denso que requiere memoria rápida ocupa solo unos 560 KB de RAM, logrando ~9 tokens por segundo.

Innovación técnica en ESP32-AI

El proyecto, denominado ESP32-AI, aprovecha una técnica llamada "Gemma's Per-Layer Embeddings" para almacenar la mayor parte del modelo en la memoria flash mapeada (XIP). Esto permite mantener la tabla de embeddings de 25 millones de parámetros en flash, que se accede leyendo solo unas pocas filas por token generado. De esta forma, el microcontrolador solo necesita mantener en RAM un núcleo denso pequeño, optimizando el uso de recursos limitados.

Rendimiento y capacidades del modelo

Aunque el modelo tiene menos parámetros que los grandes LLMs comerciales, puede generar textos coherentes y mantener el seguimiento de variables en las historias que crea. Su velocidad de procesamiento es de aproximadamente 9 tokens por segundo, un rendimiento notable para un chip con restricciones de memoria y potencia como el ESP32-S3.

Implicaciones para la IA en dispositivos embebidos

Este desarrollo demuestra que la inteligencia artificial avanzada puede ejecutarse localmente en dispositivos pequeños y de bajo consumo, sin depender de la nube. Esto abre posibilidades para aplicaciones en IoT, dispositivos portátiles y sistemas autónomos que requieren procesamiento de lenguaje natural sin conexión constante a internet.

Disponibilidad y acceso al proyecto

El código y los detalles técnicos del proyecto ESP32-AI están disponibles en GitHub, permitiendo a desarrolladores y entusiastas replicar y experimentar con este modelo en sus propios dispositivos ESP32-S3.

Preguntas frecuentes sobre ESP32-AI

¿Qué es un modelo de lenguaje grande (LLM)?

Un LLM es un modelo de inteligencia artificial entrenado con grandes cantidades de texto para generar o comprender lenguaje natural. El ESP32-AI usa un LLM con 28.9 millones de parámetros, que es pequeño comparado con modelos comerciales pero significativo para un microcontrolador.

¿Qué limita la velocidad de generación de texto en ESP32-AI?

La velocidad está limitada por la capacidad de procesamiento y memoria del ESP32-S3, que es un microcontrolador con recursos muy limitados comparado con CPUs o GPUs tradicionales usadas en IA.

Fuente original:XDA Developers.