09-推理引擎
第 98 题:TensorRT的plugin开发中,IPluginV2DynamicExt和IPluginV2IOExt区…
题目
TensorRT的plugin开发中,IPluginV2DynamicExt和IPluginV2IOExt区别?
完整讲解
一、IPluginV2 系列
TensorRT plugin 用于不支持或需自定义的算子。IPluginV2 为固定 shape;IPluginV2Ext 扩展了类型与 format;IPluginV2DynamicExt 与 IPluginV2IOExt 用于动态与 IO 扩展。
二、IPluginV2DynamicExt
IPluginV2DynamicExt:支持 dynamic shape 的 plugin。关键方法:getOutputDimensions、configurePlugin 根据输入维度推导输出维度与内部配置;enqueue 接收 runtime 的 actual shape,执行计算。用于 输入/输出维在运行时变化 的算子(如变长 seq、dynamic batch),需在 build 时通过 optimization profile 给范围。
三、IPluginV2IOExt
IPluginV2IOExt:扩展 输入输出类型与 layout(如 FP32/FP16/INT8、NCHW/NHWC),不强调 dynamic shape。用于需要多精度或多 layout 的 plugin,或与 IO 格式转换配合。若只需 dynamic shape,用 IPluginV2DynamicExt;若需丰富 IO 类型/layout,用 IPluginV2IOExt 或与 DynamicExt 组合(视 TensorRT 版本 API)。
四、对比小结
- DynamicExt:核心是 动态维;getOutputDimensions/configurePlugin 按输入维推导,enqueue 用 actual shape。
- IOExt:核心是 类型与 layout;支持多精度与格式。两者可同时继承(若 API 允许)或按需求二选一。
面试要点
- IPluginV2DynamicExt:支持 dynamic shape;getOutputDimensions/configurePlugin/enqueue 与运行时 shape 相关。
- IPluginV2IOExt:扩展 IO 类型与 layout(精度、NCHW 等),不强调动态维。
- 需要变长/变 batch 用 DynamicExt;需要多精度/格式用 IOExt。
记忆要点
- DynamicExt = 动态 shape;IOExt = 多类型/layout。
- Dynamic 需实现维度推导与 enqueue(actual shape)。
- 按需求选或组合(视版本)。