context window vs cost

Categoria: trade-offs

Tensão entre a quantidade de contexto enviada ao modelo (histórico, documentos, instruções) e o custo de inferência, já que cada token adicional no contexto aumenta o preço da chamada. Exige decisões estratégicas sobre o que incluir e o que sumarizar ou omitir.