contagem de tokens

Categoria: modelos e inferência

Medição de quantos tokens uma mensagem ou resposta consome, importante porque os modelos cobram por token e têm um limite máximo de tokens que podem processar por vez.