torch-ort-infer 1.13.1

OpenVINO™与Torch-ORT集成通过使用OpenVINO™执行提供者加速ONNX Runtime的PyTorch模型。此产品是为希望在其推理应用程序中开始使用OpenVINO™的PyTorch开发者设计的。它提供OpenVINO™内联优化，通过最小代码修改增强推理性能。

OpenVINO™与Torch-ORT集成在Intel®硬件上加速了多种AI模型的推理，包括

• Intel® CPU
• Intel®集成GPU
• Intel® Movidius™视觉处理单元 - 简称VPU。

安装

要求

• Ubuntu 18.04, 20.04
• Python 3.7, 3.8或3.9

此软件包支持

• Intel® CPU
• Intel®集成GPU
• Intel® Movidius™视觉处理单元（VPUs）。

torch-ort-infer 包依赖于 onnxruntime-openvino 包，该包将默认安装以运行推理工作负载。这个 onnxruntime-openvino 包包含 OpenVINO™ 版本 2022.2.0 的预构建库，消除了单独安装 OpenVINO™ 的需要。OpenVINO™ 库预先构建，CXX11_ABI 标志设置为 0。

有关更多详细信息，请参阅 ONNX Runtime 的 OpenVINO™ 执行提供者。

安装后步骤

安装 torch-ort-infer 后，有一个安装后步骤

python -m torch_ort.configure

用法

默认情况下，使用 Intel® CPU 运行推理。但是，您可以将默认选项更改为 Intel® 集成 GPU 或 Intel® VPU 进行 AI 推理。调用 提供者选项 以更改进行推理的硬件。

有关更多 API 调用和环境变量，请参阅 用法。

示例

要快速入门，请探索 HuggingFace 和 TorchVision 模型的 示例。

许可证

OpenVINO™ 与 Torch-ORT 集成采用 MIT 许可证。通过为项目做出贡献，您同意其中的许可和版权条款，并在这些条款下发布您的贡献。

支持

请通过 GitHub Issues 提交您的问题、功能请求和错误报告。

如何贡献

我们欢迎社区为 OpenVINO™ 与 Torch-ORT 集成做出贡献。如果您有任何改进的想法

• 通过 GitHub Issues 分享您的提案。
• 提交 Pull Request。