model size vs speed

Relação inversa entre o número de parâmetros de um modelo e sua velocidade de inferência: modelos grandes capturam mais nuances e são mais capazes, mas exigem mais recursos computacionais e respondem mais lentamente.