10-量化与压缩
10-量化与压缩(第 116–130 题)
| 题号 | 主题 | 文章 |
|---|---|---|
| 116 | INT8量化的symmetric和asymmetric区别?… |
116-INT8量化的symmetric和asymmetric区别.md |
| 117 | SmoothQuant的原理?为什么能同时保持权重和激活的量化精度? |
117-SmoothQuant的原理.md |
| 118 | AWQ(Activation-aware Weight Quanti… |
118-AWQ(Activation-aware-Weight-Quantizati.md |
| 119 | GPTQ的one-shot量化流程?OBQ(Optimal … |
119-GPTQ的one-shot量化流程.md |
| 120 | GGUF格式的量化级别?Q4_K_M适合什么场景? |
120-GGUF格式的量化级别.md |
| 121 | FP8量化的硬件支持?H100的`Transformer Eng… |
121-FP8量化的硬件支持.md |
| 122 | 量化校准(calibration)的数据集选择?多少样本足够? | 122-量化校准(calibration)的数据集选择.md |
| 123 | 量化后的精度损失如何快速定位?layer-wise的sensitivit… | 123-量化后的精度损失如何快速定位.md |
| 124 | k-means量化和非均匀量化的应用场景? |
124-k-means量化和非均匀量化的应用场景.md |
| 125 | 二值化网络(BNN)在推理优化中的实际价值? | 125-二值化网络(BNN)在推理优化中的实际价值.md |
| 126 | 知识蒸馏在推理优化中的作用?MiniLLM、DistilBERT… |
126-知识蒸馏在推理优化中的作用.md |
| 127 | 结构化剪枝和非结构化剪枝的硬件友好性? | 127-结构化剪枝和非结构化剪枝的硬件友好性.md |
| 128 | 动态量化(Dynamic Quantization)和静态量化的runt… | 128-动态量化(Dynamic-Quantization)和静态量化的runtim.md |
| 129 | 量化算子的融合?quantize-linear + matmul… |
129-量化算子的融合.md |
| 130 | 混合精度推理的策略?哪些层必须保持FP16? |
130-混合精度推理的策略.md |