11-服务化与调度
11-服务化与调度(第 131–145 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 131 | Triton Inference Server的`model ensem… | 131-Triton-Inference-Server的model-ensemble.md |
| 132 | Triton的dynamic batching和`preferred… |
132-Triton的dynamic-batching和preferred-batc.md |
| 133 | 推理服务的A/B testing如何实现?模型版本管理? |
133-推理服务的A-B-testing如何实现.md |
| 134 | Kubernetes + NVIDIA GPU Operator… |
134-Kubernetes-+-NVIDIA-GPU-Operator的部署经验.md |
| 135 | GPU虚拟化方案?MIG(Multi-Instance GPU)的配… |
135-GPU虚拟化方案.md |
| 136 | 推理请求的priority scheduling实现?`weight… |
136-推理请求的priority-scheduling实现.md |
| 137 | 长文本请求的preemption策略?KV cache的swap o… |
137-长文本请求的preemption策略.md |
| 138 | 推理服务的health check和`graceful degrad… |
138-推理服务的health-check和graceful-degradation.md |
| 139 | 如何监控推理服务的GPU memory泄漏? |
139-如何监控推理服务的GPU-memory泄漏.md |
| 140 | 推理模型的hot reload如何实现?零停机更新? |
140-推理模型的hot-reload如何实现.md |
| 141 | gRPC vs REST for inference?性能差异和… |
141-gRPC-vs-REST-for-inference.md |
| 142 | 推理批处理的timeout处理?部分结果返回? |
142-推理批处理的timeout处理.md |
| 143 | 多租户场景下的资源配额管理?quota、limit、`reque… |
143-多租户场景下的资源配额管理.md |
| 144 | 推理服务的cost optimization策略?Spot inst… |
144-推理服务的cost-optimization策略.md |
| 145 | Edge deployment的挑战?模型加密、设备兼容性? | 145-Edge-deployment的挑战.md |