Etiqueta: Token

En el contexto de los modelos de lenguaje (como los LLMs), un Token es la unidad básica de texto que el modelo procesa. No siempre corresponde a una palabra completa; puede ser una palabra, una parte de una palabra (subpalabra), un signo de puntuación o incluso un espacio. Piensa en cómo descompondrías una frase en…