使用ONNX Runtime加速PyTorch模型
项目描述
torch-ort软件包使用PyTorch API通过ONNX Runtime加速PyTorch模型。
依赖关系
torch-ort软件包依赖于onnxruntime-training软件包，该软件包依赖于特定的GPU库版本，例如NVIDIA CUDA。
默认命令pip install torch-ort安装了依赖于CUDA 10.2的onnxruntime-training版本。
如果您已安装不同的CUDA版本，您可以显式安装不同的onnxruntime-training版本
- CUDA 11.1
pip install onnxruntime-training -f https://download.onnxruntime.ai/onnxruntime_stable_cu111.html
安装后步骤
torch-ort安装完成后，有一个安装后步骤
python -m torch_ort.configure
如果此步骤失败，很可能是由于onnxruntime-training和您的安装之间的GPU库版本不匹配。您可以通过运行pip list来检查onnxruntime-training的版本。例如
onnxruntime-training 1.9.0+cu111
发行版
-
1.9.0
-
1.8.1
下载文件
下载您平台上的文件。如果您不确定选择哪个，请了解有关安装包的更多信息。
源分发
本发布版本没有可用的源分发文件。请参阅生成分发存档的教程。
构建分发
torch_ort-1.19.2-py3-none-any.whl (5.8 kB 查看哈希)