ONNX Runtime generate() API

项目描述

ONNX Runtime generate() API

使用ONNX Runtime在设备上和在云端运行SLMs/LLMs和多模态模型。

目前支持的模型架构（并将很快增加更多）：Gemma、Llama、Mistral、Phi（语言和视觉）。

更多详情请参阅：文档 https://runtime.onnx.org.cn/docs/genai 和仓库: https://github.com/microsoft/onnxruntime-genai

项目详情

发布历史发布通知 | RSS源

本版本

0.4.0

2024年8月21日

0.3.0

2024年6月21日

0.3.0rc2 预发布

2024年5月29日

0.3.0rc1 预发布

2024年5月22日

0.2.0

2024年5月20日

0.2.0rc7 预发布

2024年5月14日

0.2.0rc6 预发布

2024年5月4日

0.2.0rc5 预发布

2024年5月4日

0.2.0rc4 预发布

2024年4月25日

0.2.0rc3 预发布

2024年4月24日

0.2.0rc2 预发布

2024年4月23日

0.2.0rc1 预发布

2024年4月23日

0.1.0

2024年4月8日

0.1.0rc4 预发布

2024年3月25日

0.1.0rc3 预发布版

2024年3月18日

0.1.0rc2 预发布版

2024年3月15日

下载文件

下载适用于您的平台的文件。如果您不确定选择哪个，请了解有关安装包的更多信息。

源分发

此版本没有提供源分发文件。请参阅有关生成分发存档的教程。

构建分发

onnxruntime_genai-0.4.0-cp312-cp312-win_arm64.whl (932.0 kB 查看哈希值)

上传时间：2024年8月21日 CPython 3.12 Windows ARM64

onnxruntime_genai-0.4.0-cp312-cp312-win_amd64.whl (983.6 kB 查看哈希值)

上传时间：2024年8月21日 CPython 3.12 Windows x86-64

onnxruntime_genai-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (1.7 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.12 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai-0.4.0-cp311-cp311-win_arm64.whl (932.0 kB 查看哈希值)

上传时间：2024年8月21日 CPython 3.11 Windows ARM64

onnxruntime_genai-0.4.0-cp311-cp311-win_amd64.whl (983.0 kB 查看哈希值)

上传时间：2024年8月21日 CPython 3.11 Windows x86-64

onnxruntime_genai-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (1.7 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.11 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai-0.4.0-cp310-cp310-win_amd64.whl (982.9 kB 查看哈希值)

上传时间：2024年8月21日 CPython 3.10 Windows x86-64

onnxruntime_genai-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (1.7 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.10 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai-0.4.0-cp39-cp39-win_amd64.whl (981.6 kB 查看哈希)

上传于 2024年8月21日 CPython 3.9 Windows x86-64

onnxruntime_genai-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (1.7 MB 查看哈希)

上传于 2024年8月21日 CPython 3.9 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai-0.4.0-cp38-cp38-win_amd64.whl (983.7 kB 查看哈希)

上传于 2024年8月21日 CPython 3.8 Windows x86-64

onnxruntime_genai-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (1.7 MB 查看哈希)

上传于 2024年8月21日 CPython 3.8 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai-0.4.0-cp312-cp312-win_arm64.whl 的哈希

onnxruntime_genai-0.4.0-cp312-cp312-win_arm64.whl 的哈希
算法	哈希摘要
SHA256	`ae29b17cad1835971d6dbbd6edfd9dcb7f7157abe8e8ee2a2d11e9facc339210`
MD5	`38ebefdffa7ea7e18777216cac7cb55e`
BLAKE2b-256	`2fde71e5fb86d61c4901ebce15590f463535da8f0e3abab7f73356b7a74d60c5`

onnxruntime_genai-0.4.0-cp312-cp312-win_amd64.whl 的哈希

onnxruntime_genai-0.4.0-cp312-cp312-win_amd64.whl 的哈希
算法	哈希摘要
SHA256	`064c540e119c39f9462035363a4b5b096ac4927777763e43090b92bf71d8a5e8`
MD5	`c04ef136c9669a5c39f76e9089dbb8b1`
BLAKE2b-256	`51bbb923d7a38d4b2129327e94a2a498aeca80c2c77a254a26859cdad290e2b8`

onnxruntime_genai-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希

onnxruntime_genai-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希
算法	哈希摘要
SHA256	`1c3dfb49b654890a46e34464e0d5b483e8af897132783ecf4cc16837abf7a791`
MD5	`6f0b5ba1fb5cb5712e41e93020cbdaf2`
BLAKE2b-256	`cdb9aaaea05eca3457a77baf88dd30a217d17beca9b1ea9c69467ddbccc5473e`

onnxruntime_genai-0.4.0-cp311-cp311-win_arm64.whl 的哈希

onnxruntime_genai-0.4.0-cp311-cp311-win_arm64.whl 的哈希
算法	哈希摘要
SHA256	`6f38404a48ebb8cdc8b26fa0257127b0dafc1fe7244df366fb8b1edfbfd29815`
MD5	`cd1e9f98aea8287b99be0fa14dd8dcd7`
BLAKE2b-256	`9d8227576b3c06c1a4c2b68bff5924eae1515c8386ee5bff865bafdfcdf25174`

onnxruntime_genai-0.4.0-cp311-cp311-win_amd64.whl 的哈希

onnxruntime_genai-0.4.0-cp311-cp311-win_amd64.whl 的哈希
算法	哈希摘要
SHA256	`2e4aadaa54edafe3c3ca70dbe04b74a9f3aac2c72c54cf73b0a99649732cc058`
MD5	`ea1e48db8c2b6ff3437aa52637d80578`
BLAKE2b-256	`ad1a519dc5c5e28fd60a1d949a8c5d6fcf716eac0fc20269961ebf1deb2a6606`

onnxruntime_genai-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希

onnxruntime_genai-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希
算法	哈希摘要
SHA256	`4d45f2db3082ab22ed71ff1f94cc4d85f9a799535afa4be2e21e8906e459696d`
MD5	`40c0de8393b81fdea1b99816aa5939c1`
BLAKE2b-256	`f3c8236188aae010e1fb7b71130b9221cf971f6e413000ee8a9cac201e0d05a0`

onnxruntime_genai-0.4.0-cp310-cp310-win_amd64.whl 的哈希

onnxruntime_genai-0.4.0-cp310-cp310-win_amd64.whl 的哈希
算法	哈希摘要
SHA256	`bfdc121393674bcd32232b9d542667a9ca9c4898cca5dc3b8d56bf7e4f030bdf`
MD5	`aec46bb21beb436caaab97f8ffb64a57`
BLAKE2b-256	`b8bf7c5033080982960aaf68297bb15ac03b0aafcdfeb55feea5410b57ac0fd0`

哈希值用于 onnxruntime_genai-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl

onnxruntime_genai-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`93247fb897659de7d4e429943ae9046db3bd99351bb125d6855fff6cb14cf6ea`
MD5	`8af704506eeadc9465b472ef66fc58b8`
BLAKE2b-256	`4823002880c60d3c67e6be5a9ad279e1cf67dd252036025d8b7922194dba4224`

哈希值用于 onnxruntime_genai-0.4.0-cp39-cp39-win_amd64.whl

onnxruntime_genai-0.4.0-cp39-cp39-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`2809a4c60c5895832f613cc1c81890ec03634e887df5a2ce4b36499cb1b2bbf3`
MD5	`47d321c9354f59ef88a989cc444a43da`
BLAKE2b-256	`9f74ca243af25fea3d1a32fa2a1cbdcfd34439f2ae6018eaf9e31e9b76633a1f`

哈希值用于 onnxruntime_genai-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl

onnxruntime_genai-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`f5dd567a4bbd5f44c297fbe50e3b58c4e73821d716e743b6b613421aa4c07761`
MD5	`3e688a87beeaa9efa978e98ffdfaf658`
BLAKE2b-256	`423762de88998b0be73e932bce755c4c267b54e395651fdb06053170ea384bf5`

哈希值用于 onnxruntime_genai-0.4.0-cp38-cp38-win_amd64.whl

onnxruntime_genai-0.4.0-cp38-cp38-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`243f6ad4abaf8a2e71635ac6eea084f86b487e8d5b05cdc49acf4f5ede8ec202`
MD5	`58c8b3c9d931980520868db1d762b336`
BLAKE2b-256	`44535ddbd07d3b03bfd871b930e756050c90dceaa83f3ed67d1bf6b08f902690`

哈希值用于 onnxruntime_genai-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl

onnxruntime_genai-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`7828c9bfcd17ad21353fa7cca8101db8a4483b148eb2585df901774b607be035`
MD5	`8e0d316eb27e058fecef0319b8cacd01`
BLAKE2b-256	`65433bd2735f79e9e1b72b43e1d5f73b6f189b65c9fedf3491983b92b8ef5fd0`