tokenizer

Categoria: modelos e inferência

Algoritmo que converte texto bruto em sequência de tokens que o modelo pode processar, e vice-versa. Cada modelo possui seu próprio tokenizer, o que afeta contagem de tokens e custos.