AI Infra 305
09-推理引擎

09-推理引擎(第 96–115 题)

题号 主题 文章
96 TensorRT的builder和runtime工作流程?`pl… 096-TensorRT的builder和runtime工作流程.md
97 TensorRT的dynamic shape优化技巧?`optimi… 097-TensorRT的dynamic-shape优化技巧.md
98 TensorRT的plugin开发中,`IPluginV2Dynam… 098-TensorRT的plugin开发中,IPluginV2DynamicExt.md
99 ONNX Runtime的execution provider有哪些… 099-ONNX-Runtime的execution-provider有哪些.md
100 torch.compile的推理优化模式?`reduce-overh… 100-torch.compile的推理优化模式.md
101 vLLM的PagedAttention核心思想?`block tab… 101-vLLM的PagedAttention核心思想.md
102 vLLM的continuous batching如何实现?和`sta… 102-vLLM的continuous-batching如何实现.md
103 vLLM的prefix caching机制?命中率如何提升? 103-vLLM的prefix-caching机制.md
104 TensorRT-LLM的in-flight batching原理? 104-TensorRT-LLM的in-flight-batching原理.md
105 FasterTransformer的decoder优化技术?`mem… 105-FasterTransformer的decoder优化技术.md
106 Hugging Face的`text-generation-infere… 106-Hugging-Face的text-generation-inference.md
107 llama.cpp的量化策略?Q4_0、Q5_K_M的区别? 107-llama.cpp的量化策略.md
108 移动端推理框架选择?MNN、TNN、Paddle Lite对… 108-移动端推理框架选择.md
109 推理引擎的warmup为什么重要?如何设计warmup策略? 109-推理引擎的warmup为什么重要.md
110 多stream推理的实现?CUDA stream的同步机制? 110-多stream推理的实现.md
111 推理batching的padding和packing策略?`Fl… 111-推理batching的padding和packing策略.md
112 如何评估推理引擎的延迟分布?P50、P90、P99的优化重点? 112-如何评估推理引擎的延迟分布.md
113 推理服务的auto-scaling策略?基于GPU利用率还是请求队列… 113-推理服务的auto-scaling策略.md
114 多模型混部的资源隔离?MPS(Multi-Process Servi… 114-多模型混部的资源隔离.md
115 推理引擎的debug模式?如何定位精度下降问题? 115-推理引擎的debug模式.md

返回总览