扩展polygraphy run以支持trtexec

简介

polygraphy run允许您使用多个后端运行推理，包括TensorRT和ONNX-Runtime，并比较输出。此扩展添加了对使用trtexec运行推理的支持。

安装

按照以下步骤安装扩展模块。安装后，您应在polygraphy run的帮助输出中看到trtexec选项

1. 使用setup.py构建

   python3 setup.py bdist_wheel
   

2. 安装wheel：wheel安装在dist目录中。运行以下命令安装wheel

   python3 -m pip install dist/polygraphy_trtexec-*.whl \
       --extra-index-url https://pypi.ngc.nvidia.com
   

   注意：您可能需要更新上述命令以安装适当的wheel版本

3. 安装后，您可以使用以下方式使用--trtexec标志在trtexec后端运行它

   polygraphy run sample.onnx --trtexec