input tokens

Categoria: modelos e inferência

Tokens consumidos pelo prompt enviado ao modelo, incluindo instruções de sistema, contexto, histórico e a pergunta do usuário. Entram no cálculo de custo e ocupam espaço na janela de contexto.