Anthropic lanzó un nuevo tokenizador que incrementa hasta 73% el consumo de tokens en sus modelos, complicando la predicción de costos para usuarios de IA.
Anthropic ha introducido un nuevo tokenizador en sus recientes modelos de inteligencia artificial, lo que provoca un aumento significativo en la cantidad de tokens generados para el mismo contenido y, por ende, un incremento en los costos de uso para los usuarios.
Por qué importa: La actualización del tokenizador afecta directamente la facturación de los servicios de IA, dificultando la comparación y predicción de precios entre diferentes proveedores.
Lo esencial
El nuevo tokenizador de Anthropic puede generar hasta un 73% más tokens que el de OpenAI GPT-5.x para el mismo archivo.
Anthropic ofrece tarifas promocionales hasta agosto de 2026 para mitigar el impacto del aumento de tokens.
Comparaciones muestran que modelos de OpenAI procesan tareas más rápido y con menor costo que los modelos recientes de Anthropic.
Imagen de referencia: The Register.
Incremento en tokens y su impacto económico
El tokenizador es el componente que convierte texto en unidades procesables por los modelos de lenguaje. Anthropic actualizó su tokenizador con el lanzamiento de Sonnet 5, lo que ha provocado que la misma entrada de texto se divida en más tokens que antes. Esto significa que los usuarios consumen más tokens para realizar las mismas tareas, elevando sus facturas.
Por ejemplo, un archivo de TypeScript de 2,888 caracteres puede generar 1.73 veces más tokens con el nuevo tokenizador de Anthropic comparado con el tokenizador de OpenAI GPT-5.x. Otros lenguajes como Rust, JavaScript y Python también muestran incrementos significativos en tokens generados.
Comparativa con OpenAI y consecuencias para usuarios
Playcode, una plataforma de desarrollo de aplicaciones de IA, analizó el impacto y encontró que el modelo GPT-5.6 de OpenAI procesa las mismas tareas más rápido, con un 27% menos de costo y usando aproximadamente la mitad de tokens de salida que el modelo Opus 4.8 de Anthropic.
Esto implica que, aunque Anthropic ofrece precios promocionales reducidos hasta agosto de 2026, después de esa fecha los costos podrían aumentar considerablemente, afectando la competitividad frente a OpenAI.
Tarifas y ajustes en precios
Anthropic estableció tarifas iniciales de $2 por millón de tokens de entrada y $10 por millón de tokens de salida hasta el 31 de agosto de 2026. Posteriormente, los precios subirán a $3 y $15 respectivamente. Sin embargo, debido al mayor consumo de tokens, el costo real para los usuarios podría ser hasta un 35% mayor que con el tokenizador anterior.
Playcode sugiere que para equiparar los costos con OpenAI, las tarifas de Anthropic deberían ajustarse a aproximadamente $7.50 por millón de tokens de entrada y $37.50 por millón de tokens de salida, cifras muy superiores a las actuales.
Preguntas frecuentes sobre el tokenizador de Anthropic
¿Por qué el nuevo tokenizador genera más tokens?
El nuevo tokenizador cambia la forma en que el texto se segmenta para mejorar el rendimiento del modelo, pero esto implica que la misma entrada se divide en más tokens.
¿Cómo afecta esto a los usuarios de IA?
Los usuarios pueden enfrentar facturas más altas debido al mayor número de tokens procesados, especialmente después de que finalicen las tarifas promocionales.
