资讯与观察

Practical Notes on Inference Cost

推理成本优化需要同时看模型路由、缓存命中和请求形态。