AI Infra 305
18-推理平台设计

18-推理平台设计(第 236–255 题)

题号 主题 文章
236 设计一个支持10万QPS的大模型推理服务? 236-设计一个支持10万QPS的大模型推理服务.md
237 推理服务的auto-scaling策略?HPA、VPA、`K… 237-推理服务的auto-scaling策略.md
238 多模型multi-tenancy的GPU共享?MPS vs `M… 238-多模型multi-tenancy的GPU共享.md
239 推理请求的routing策略?least loaded、`con… 239-推理请求的routing策略.md
240 边缘推理的model caching策略?CDN for mod… 240-边缘推理的model-caching策略.md
241 推理服务的A/B testing和`canary deploymen… 241-推理服务的A-B-testing和canary-deployment.md
242 长文本生成的streaming实现?`Server-Sent Eve… 242-长文本生成的streaming实现.md
243 推理结果的caching策略?prompt级别的deduplic… 243-推理结果的caching策略.md
244 多模态推理的pipeline设计?图文、视频? 244-多模态推理的pipeline设计.md
245 推理服务的safety guardrails?内容过滤、速率限制? 245-推理服务的safety-guardrails.md
246 模型fine-tuning as a service的架构? 246-模型fine-tuning-as-a-service的架构.md
247 推理服务的cost optimization?`spot insta… 247-推理服务的cost-optimization.md
248 模型on-device部署的infra支持?Core ML、`T… 248-模型on-device部署的infra支持.md
249 推理服务的latency SLO保证?p99 < 100ms如何… 249-推理服务的latency-SLO保证.md
250 推理请求的admission control?防止过载? 250-推理请求的admission-control.md
251 模型ensemble和cascade的架构设计? 251-模型ensemble和cascade的架构设计.md
252 推理服务的debuggability?`request tracin… 252-推理服务的debuggability.md
253 实时推理和离线推理的统一架构? 253-实时推理和离线推理的统一架构.md
254 推理服务的security?模型加密、API认证? 254-推理服务的security.md
255 推理平台的carbon footprint优化?绿色AI? 255-推理平台的carbon-footprint优化.md

返回总览