跳转到主要内容

ONNX Runtime 是机器学习模型的运行时加速器

项目描述

OpenVINO™ 执行提供程序用于ONNX Runtime 是为ONNX Runtime开发者设计的一款产品,旨在使开发者能够在其推理应用程序中开始使用OpenVINO™。此产品提供了OpenVINO™内联优化,通过最小代码修改提升推理性能。

OpenVINO™ 执行提供程序用于ONNX Runtime 在多种Intel® 硬件上加速了众多 AI模型,例如
  • Intel® CPU

  • Intel® 集成GPU

  • Intel® 独立GPU

  • Intel® 集成NPU(仅限Windows)

安装

要求

  • Ubuntu 18.04、20.04、RHEL(仅限CPU)或Windows 10 - 64位

  • Linux的Python 3.9或3.10或3.11,Windows的Python 3.10或3.11

此软件包支持
  • Intel® CPU

  • Intel® 集成GPU

  • Intel® 独立GPU

  • Intel® 集成NPU(仅限Windows)

pip3 install onnxruntime-openvino

请为Windows单独安装OpenVINO™ PyPi包。有关Windows上的安装说明,请参阅OpenVINO™执行提供程序用于ONNX Runtime for Windows

OpenVINO™执行提供程序用于ONNX Runtime的Linux Wheels包含预构建的OpenVINO™ 2024.1.0版本库,无需单独安装OpenVINO™。

有关构建和安装的更多详细信息,请参阅构建

使用方法

默认情况下,使用Intel® CPU运行推理。但是,您可以将默认选项更改为Intel®集成GPU、独立GPU(仅限Windows)或集成NPU。通过调用提供程序配置设备类型参数来更改执行推理的硬件。

有关更多API调用和环境变量,请参阅使用方法

示例

要了解如何使用OpenVINO™执行提供程序用于ONNX Runtime,请探索位于示例中的演示。

许可证

OpenVINO™执行提供程序用于ONNX Runtime采用MIT许可。通过向项目贡献,您同意其中的许可和版权条款,并在此条款下发布您的贡献。

支持

请通过GitHub Issues提交您的问题、功能请求和错误报告。

如何贡献

我们欢迎社区为OpenVINO™执行提供程序用于ONNX Runtime做出贡献。如果您有改进的想法

项目详情


下载文件

下载适合您平台的应用程序。如果您不确定选择哪一个,请了解更多关于安装包的信息。

源代码分发

本发布版本没有可用的源代码分发文件。请参阅生成分发存档的教程。

构建分发

onnxruntime_openvino-1.19.0-cp311-cp311-win_amd64.whl (12.1 MB 查看散列)

上传时间 CPython 3.11 Windows x86-64

onnxruntime_openvino-1.19.0-cp311-cp311-manylinux_2_28_x86_64.whl (52.1 MB 查看散列)

上传时间 CPython 3.11 manylinux: glibc 2.28+ x86-64

onnxruntime_openvino-1.19.0-cp310-cp310-win_amd64.whl (12.1 MB 查看散列)

上传于 CPython 3.10 Windows x86-64

onnxruntime_openvino-1.19.0-cp310-cp310-manylinux_2_28_x86_64.whl (52.1 MB 查看哈希值)

上传于 CPython 3.10 manylinux: glibc 2.28+ x86-64

onnxruntime_openvino-1.19.0-cp39-cp39-manylinux_2_28_x86_64.whl (52.1 MB 查看哈希值)

上传于 CPython 3.9 manylinux: glibc 2.28+ x86-64

由以下机构支持