18-推理平台设计
18-推理平台设计(第 236–255 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 236 | 设计一个支持10万QPS的大模型推理服务? | 236-设计一个支持10万QPS的大模型推理服务.md |
| 237 | 推理服务的auto-scaling策略?HPA、VPA、`K… |
237-推理服务的auto-scaling策略.md |
| 238 | 多模型multi-tenancy的GPU共享?MPS vs `M… |
238-多模型multi-tenancy的GPU共享.md |
| 239 | 推理请求的routing策略?least loaded、`con… |
239-推理请求的routing策略.md |
| 240 | 边缘推理的model caching策略?CDN for mod… |
240-边缘推理的model-caching策略.md |
| 241 | 推理服务的A/B testing和`canary deploymen… |
241-推理服务的A-B-testing和canary-deployment.md |
| 242 | 长文本生成的streaming实现?`Server-Sent Eve… |
242-长文本生成的streaming实现.md |
| 243 | 推理结果的caching策略?prompt级别的deduplic… |
243-推理结果的caching策略.md |
| 244 | 多模态推理的pipeline设计?图文、视频? |
244-多模态推理的pipeline设计.md |
| 245 | 推理服务的safety guardrails?内容过滤、速率限制? |
245-推理服务的safety-guardrails.md |
| 246 | 模型fine-tuning as a service的架构? |
246-模型fine-tuning-as-a-service的架构.md |
| 247 | 推理服务的cost optimization?`spot insta… |
247-推理服务的cost-optimization.md |
| 248 | 模型on-device部署的infra支持?Core ML、`T… |
248-模型on-device部署的infra支持.md |
| 249 | 推理服务的latency SLO保证?p99 < 100ms如何… |
249-推理服务的latency-SLO保证.md |
| 250 | 推理请求的admission control?防止过载? |
250-推理请求的admission-control.md |
| 251 | 模型ensemble和cascade的架构设计? |
251-模型ensemble和cascade的架构设计.md |
| 252 | 推理服务的debuggability?`request tracin… |
252-推理服务的debuggability.md |
| 253 | 实时推理和离线推理的统一架构? | 253-实时推理和离线推理的统一架构.md |
| 254 | 推理服务的security?模型加密、API认证? |
254-推理服务的security.md |
| 255 | 推理平台的carbon footprint优化?绿色AI? |
255-推理平台的carbon-footprint优化.md |