¿Qué es Tokens (IA)?
Las unidades fundamentales de texto que los modelos de IA procesan, aproximadamente ¾ de una palabra en inglés, aunque la proporción varía por idioma. Cada input y output se mide en tokens, lo que determina tanto el costo como el uso de la ventana de contexto. Un artículo de 1,000 palabras es aproximadamente 1,300 tokens. Entender el conteo de tokens es esencial para gestionar costos de API y ajustar contenido dentro de la ventana de contexto del modelo.
Siguiente paso útil
En palabras simples
"Piensa en tokens como sílabas — una palabra puede ser uno o varios, y son la unidad que cuenta la AI."
Cómo funciona
Claves para recordar
-
Aproximadamente ¾ de una palabra en inglés
-
Determina costo y capacidad de contexto
-
Los tokenizers varían entre modelos
En la práctica
'Hello world' son aproximadamente 2 tokens. Un párrafo típico es ~150 tokens. Cada token cuesta dinero y llena tu ventana de contexto, así que ser conciso no es solo buena escritura — es buena economía.