Qual o limite de requisições (rate limit) da API do LLM Gateway?
Categoria: Recursos da Plataforma
Cada chave de API tem um limite de 500 requisições por hora por padrão. Além disso existe um limite por time, igual a 10× o limite da chave (por padrão, 5.000 requisições por hora somando todas as chaves do time).
Se você estourar qualquer um dos dois, a API responde com erro 429 (rate limit exceeded), indicando se o estouro foi da chave ou do time. Basta aguardar a janela de 1 hora reabrir. Se você precisa de um teto maior de forma recorrente, fale com o suporte para avaliar o ajuste do limite da sua chave.