¿Qué es un token?
La unidad con la que un modelo representa y procesa una entrada no coincide necesariamente con una palabra. Entender esa diferencia ayuda a interpretar ventanas de contexto, costos y límites de los LLM.
Un token en inteligencia artificial, especialmente en modelos de lenguaje, es una unidad discreta en la que un tokenizador representa una entrada para que el modelo pueda procesarla. En texto, un token puede corresponder a una palabra completa, parte de una palabra, un carácter, un signo de puntuación o una secuencia que incluye espacios, según el tokenizador y su vocabulario. Cada token se asocia con un identificador numérico que luego el modelo transforma en una representación vectorial. Un token no equivale necesariamente a una palabra ni a un carácter: el mismo texto puede producir cantidades y divisiones distintas según el modelo, la codificación y el idioma. Por eso los límites de contexto y, en muchos servicios de IA, el consumo y el costo se expresan en tokens.
Qué es un token en IA
Los modelos de lenguaje no trabajan directamente con el texto como lo ve una persona. Antes de procesarlo, un tokenizador lo transforma en una secuencia de unidades discretas. Cada una de esas unidades es un token.
En un sistema textual, un token puede coincidir con una palabra completa, pero también puede ser una parte de palabra, un carácter, puntuación o una secuencia que incorpora un espacio. La división concreta depende del tokenizador. Por eso contar palabras no permite conocer de forma exacta cuántos tokens utilizará un modelo.
La idea central: el token es la unidad discreta que conecta una entrada con el vocabulario interno del tokenizador. El modelo procesa identificadores y representaciones numéricas, no “palabras” en el sentido lingüístico cotidiano.
Cómo funciona la tokenización
El detalle varía entre modelos, pero el flujo conceptual puede resumirse en cuatro pasos:
Entrada. El sistema recibe texto: una pregunta, un documento, código, una instrucción o cualquier otra secuencia textual.
Segmentación. El tokenizador aplica su normalización, vocabulario y algoritmo para dividir la entrada en unidades que puede representar.
IDs. Cada token se asocia con un identificador entero del vocabulario. Dos tokenizadores distintos pueden asignar cortes e IDs diferentes al mismo texto.
Representaciones. El modelo transforma esos IDs en vectores —embeddings internos— y procesa la secuencia para producir sus estados y, en modelos generativos, predecir nuevos tokens.
El proceso inverso permite convertir los tokens generados nuevamente en texto legible. Además, muchos modelos usan tokens especiales para marcar inicios, finales, separadores, roles u otras funciones de control que no corresponden necesariamente a palabras visibles.
Token, palabra, carácter, ID y embedding no son lo mismo
| Concepto | Qué representa | Diferencia clave |
|---|---|---|
| Palabra | Unidad lingüística del texto. | Puede ocupar uno, varios o, según el sistema, partes compartidas de tokens. |
| Carácter | Símbolo escrito o unidad de codificación textual. | Un token puede contener uno o varios caracteres; algunos esquemas operan a nivel de bytes. |
| Token | Unidad discreta definida por el tokenizador. | Es la unidad que se mapea al vocabulario usado por el modelo. |
| Token ID | Número entero asociado a un token dentro de un vocabulario. | Es el identificador, no el fragmento textual en sí. |
| Embedding | Vector numérico que representa un token u otra entidad en un espacio aprendido. | Es una representación continua; el token/ID es discreto. |
Cómo se pueden formar los tokens
No existe una única forma de tokenizar. Los sistemas pueden trabajar con distintas granularidades y algoritmos.
En modelos modernos son comunes algoritmos de subpalabras como BPE, WordPiece y Unigram. SentencePiece, por ejemplo, permite entrenar modelos de subpalabras directamente sobre texto crudo. El método concreto forma parte del diseño del tokenizador y no puede deducirse sólo observando el nombre del modelo.
Por qué el mismo texto puede ocupar distinta cantidad de tokens
La cantidad de tokens depende de la interacción entre el texto y el tokenizador. Puede variar por:
Vocabulario
Un fragmento frecuente puede existir como token completo en un vocabulario y necesitar varios subtokens en otro.
Algoritmo y normalización
BPE, WordPiece, Unigram, tokenización por bytes y otras variantes segmentan de manera diferente y pueden tratar espacios, mayúsculas o Unicode de forma distinta.
Idioma y escritura
La relación entre palabras, caracteres y tokens cambia entre idiomas. Una regla aproximada obtenida para inglés no debe extrapolarse como equivalencia universal.
Forma exacta de la entrada
Espacios, puntuación, capitalización, números, código y caracteres especiales pueden cambiar la segmentación.
Por eso las equivalencias del tipo “un token son X caracteres” sirven, como máximo, para estimaciones muy aproximadas dentro de un contexto concreto. Para un conteo exacto hay que usar el tokenizador o la herramienta de conteo correspondiente al modelo.
Qué relación tienen los tokens con contexto, costos y rendimiento
No confundas contabilidad con tokenización. “Token de entrada”, “token de salida”, “token en caché” o “token de razonamiento” describen cómo un servicio registra consumo. No son algoritmos distintos para dividir palabras.
Ejemplo: una palabra puede convertirse en varios tokens
Imaginemos la palabra “automatización”. Un tokenizador podría tenerla completa en su vocabulario y representarla con un solo token. Otro podría dividirla en varias subunidades. Un tercer sistema podría usar bytes o caracteres de otra forma.
Lo importante no es memorizar un corte concreto, sino entender que la segmentación pertenece al tokenizador. Para saber cuántos tokens ocupará una frase real hay que evaluarla con la codificación del modelo objetivo.
La misma regla vale para nombres propios, URLs, números, emojis, código y palabras poco frecuentes: suelen mostrar con claridad por qué “cantidad de palabras” y “cantidad de tokens” son medidas diferentes.
Errores al hablar de tokens
Decir que un token es una palabra
Es una simplificación incorrecta. Una palabra puede ser uno o varios tokens, y existen tokens que no corresponden a palabras completas.
Usar una equivalencia fija entre tokens y caracteres
Las reglas aproximadas dependen del idioma y de la codificación. No sirven como conversión universal ni sustituyen un conteo real.
Confundir token con token ID
El token es la unidad simbólica; el ID es el número con el que ese vocabulario la identifica.
Confundir token con embedding
El token/ID es discreto. El embedding es una representación vectorial continua que el modelo utiliza para procesarlo.
Suponer que todos los modelos tokenizan igual
Distintos modelos pueden usar vocabularios, algoritmos y reglas de normalización diferentes. El mismo texto puede cambiar de segmentación.
Tratar las categorías de facturación como tipos lingüísticos
Entrada, salida, caché o razonamiento describen consumo o procesamiento dentro de ciertos servicios. No reemplazan la definición técnica de token.
Preguntas frecuentes sobre tokens
¿Qué es un token en inteligencia artificial?
Es una unidad discreta que un tokenizador usa para representar una entrada antes de que un modelo la procese. En texto puede ser una palabra, una parte de palabra, un carácter, puntuación o una secuencia que incluye espacios, según el tokenizador.
¿Un token es lo mismo que una palabra?
No. Una palabra puede corresponder a un token, dividirse en varios tokens o compartir límites con espacios y puntuación. La segmentación depende del vocabulario y del algoritmo del tokenizador.
¿Qué es la tokenización?
Es el proceso de transformar una entrada, como texto, en una secuencia de tokens y normalmente en sus identificadores numéricos. Esa secuencia es la que el modelo utiliza como entrada para su procesamiento.
¿Por qué el mismo texto puede tener distinta cantidad de tokens?
Porque distintos modelos pueden usar tokenizadores, vocabularios y reglas diferentes. También influyen el idioma, los caracteres, la ortografía, los espacios y la forma concreta del texto.
¿Qué relación tienen los tokens con la ventana de contexto?
La ventana de contexto limita cuántos tokens puede considerar un modelo en una interacción o solicitud, según su diseño y configuración. El límite se mide en tokens, no directamente en palabras o caracteres.
¿Los tokens determinan el costo de usar un modelo de IA?
En muchas APIs y servicios, sí: el uso se mide y factura con categorías de tokens como entrada y salida, aunque las reglas exactas dependen del proveedor y del modelo. Esas categorías de uso no son tipos lingüísticos de token.
Fuentes y referencias
1. OpenAI Help Center. Understanding and counting tokens.
2. Hugging Face. Tokenizer API.
3. Hugging Face Transformers. Tokenization algorithms.
4. Kudo, T.; Richardson, J. SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing.
5. Sennrich, R.; Haddow, B.; Birch, A. Neural Machine Translation of Rare Words with Subword Units.