某些功能可能在没有JavaScript的情况下无法使用。如果您遇到问题，请尝试启用它。

ONNX Runtime generate() API

项目描述

ONNX Runtime generate() API

使用ONNX Runtime在设备上和云中运行SLMs/LLMs和多模态模型。

目前支持的模型架构（更多即将推出）：Gemma、Llama、Mistral、Phi（语言和视觉）。

更多详细信息，请参阅：文档 https://runtime.onnx.org.cn/docs/genai 和仓库： https://github.com/microsoft/onnxruntime-genai

项目详情

发布历史发布通知 | RSS源

此版本

0.4.0

2024年8月21日

下载文件

下载适用于您的平台的文件。如果您不确定选择哪个，请了解更多关于安装软件包的信息。

源分布

此版本没有提供源分布文件。请参阅生成分布存档的教程。

构建分布

onnxruntime_genai_cuda-0.4.0-cp312-cp312-win_amd64.whl (14.5 MB 查看散列)

上传时间： 2024年8月21日 CPython 3.12 Windows x86-64

onnxruntime_genai_cuda-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (15.3 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.12 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai_cuda-0.4.0-cp311-cp311-win_amd64.whl (14.5 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.11 Windows x86-64

onnxruntime_genai_cuda-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (15.3 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.11 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai_cuda-0.4.0-cp310-cp310-win_amd64.whl (14.5 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.10 Windows x86-64

onnxruntime_genai_cuda-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (15.3 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.10 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai_cuda-0.4.0-cp39-cp39-win_amd64.whl (14.5 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.9 Windows x86-64

onnxruntime_genai_cuda-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (15.3 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.9 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai_cuda-0.4.0-cp38-cp38-win_amd64.whl (14.5 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.8 Windows x86-64

onnxruntime_genai_cuda-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl (15.3 MB 查看哈希值)

上传时间：2024年8月21日 CPython 3.8 manylinux: glibc 2.27+ x86-64 manylinux: glibc 2.28+ x86-64

onnxruntime_genai_cuda-0.4.0-cp312-cp312-win_amd64.whl 的哈希值

onnxruntime_genai_cuda-0.4.0-cp312-cp312-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`3f97668e1714714edbb48f46ef6cdcfea4adca5b7c1ec7984b9f147ce8b2b434`
MD5	`ea2ae778bc160dd96fd00c068df7c2ad`
BLAKE2b-256	`0d5e95218d85b7b7566b071ccab6e728ea2dafd24c5987cd85dc7ea381e3df6d`

onnxruntime_genai_cuda-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp312-cp312-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`1cbe67f99821c6928ee379e10892aebc4527a249b028f2933ca18e52bd3c1452`
MD5	`2d66a5cae00df934f75d47384ead38e4`
BLAKE2b-256	`74429025fb9cc0706256fda67bf7d578677ae6bb24137c7d59786633004b2f41`

onnxruntime_genai_cuda-0.4.0-cp311-cp311-win_amd64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp311-cp311-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`98c873e92328d07f13b5326d6d45a9d4172a56eb36317f19d03dd4a305eeeab7`
MD5	`eda5216c2264d262b36db53ba1a9b3a2`
BLAKE2b-256	`9b4d89db5ed3447208f1f4f40d22cb6ed0f958c42eb9f8c8d9e71483499d9006`

onnxruntime_genai_cuda-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp311-cp311-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`2e8ff90d1d4fc8eb1ebfeff389c3635dc6fca23c8f37529e2be1939eb84fb2eb`
MD5	`8f72d0ced3e8f0d54ec3af2d9a36c48c`
BLAKE2b-256	`53c4745d8895aeb910ef8310ee79f017df7555e66b2dc6515c5bf0f7f36c8aca`

onnxruntime_genai_cuda-0.4.0-cp310-cp310-win_amd64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp310-cp310-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`a04b6e6a074be16ffbe83555400e3578e40131d95db7931cbb0d379e88fc7a48`
MD5	`6bd24cf1f616437a4499251b17190ad3`
BLAKE2b-256	`b187751b0d9e7b908b1749cc4d018df9a8b3ca2c9258b37c139523bbfb0c641a`

onnxruntime_genai_cuda-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp310-cp310-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`8cdbbaac423ce2a8c9c61872348a79e9c696e19b11a85b3c75cab71e3448c538`
MD5	`df816b8d8c2fd6bd7fe5aeefa8259b12`
BLAKE2b-256	`6b2a64433015fad2f584d65dd4ee87db74e77aaffd1ba8540e1df5bfde3a5dfc`

onnxruntime_genai_cuda-0.4.0-cp39-cp39-win_amd64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp39-cp39-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`c3fb1e7543f80a438aea2e07129f3586ad2b789e64a329d819735801fbcc620e`
MD5	`749c4d7a6fba040f4ca97a4ed8d9e607`
BLAKE2b-256	`cc78e10ae93e80287656c189ec66ca8061f48126bf661a2915c39e4f5406312f`

onnxruntime_genai_cuda-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp39-cp39-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`f18ebcf4cf82785471d564b7b164cb3488cca304122603493892bd3282e5e6ff`
MD5	`4a09d3bb8a3ba492bfcef1f958f35e6e`
BLAKE2b-256	`feadd3b4fc569feb2b9261ff2a8edf36dce9fe4805f120b1de398c24d1106feb`

onnxruntime_genai_cuda-0.4.0-cp38-cp38-win_amd64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp38-cp38-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`7cb359aea703a5edad4355eb6d58299413b183dd229bf7971cac9af5592d0d2e`
MD5	`e16a35679e511a357a4602556e7483c2`
BLAKE2b-256	`2c56cdf39827a38215fb3b2f72b7a785f5c71e8c27ed83819b8d26d228e81856`

onnxruntime_genai_cuda-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值

onnxruntime_genai_cuda-0.4.0-cp38-cp38-manylinux_2_27_x86_64.manylinux_2_28_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`73cb3626a9f8fe31cdfc36190b114faf2aaeff26edafbe3ef5a143f3fcb4cac0`
MD5	`f15566f328e47dbf1868c4acc673058d`
BLAKE2b-256	`0663f610f636bdcd9629cf8ddc7f806190840eee1ef8bf910f7ba71da2e961de`

由以下支持

AWS

AWS 云计算和安全赞助商

Datadog

Fastly

Google

Google 下载分析

Microsoft

Microsoft PSF 赞助商

Pingdom

Sentry

Sentry 错误日志

StatusPage

StatusPage 状态页面