token

Categoria: modelos e inferência

Unidade mínima de texto processada pelo modelo, podendo ser uma palavra, parte de palavra ou caractere especial. Modelos não leem texto como humanos: eles o decompõem em tokens para processar.