ONNX Runtime generate() API

项目描述

ONNX Runtime generate() API

使用ONNX Runtime在设备上和云端运行SLMs/LLMs和多模态模型。

目前支持的模型架构（并将很快增加更多）：Gemma, Llama, Mistral, Phi（语言和视觉）。

更多详情请参阅：文档 https://runtime.onnx.org.cn/docs/genai 和仓库： https://github.com/microsoft/onnxruntime-genai

项目详情

发布历史发布通知 | RSS源

此版本

0.4.0

2024年8月21日

0.3.0

2024年6月21日

0.3.0rc2 预发布

2024年5月29日

0.3.0rc1 预发布

2024年5月22日

0.2.0

2024年5月20日

0.2.0rc7 预发布

2024年5月14日

0.2.0rc6 预发布

2024年5月4日

0.2.0rc5 预发布

2024年5月4日

0.2.0rc4 预发布

2024年4月25日

0.2.0rc3 预发布

2024年4月24日

0.2.0rc2 预发布

2024年4月23日

0.2.0rc1 预发布

2024年4月23日

下载文件

下载适用于您的平台文件。如果您不确定选择哪个，请了解有关安装包的更多信息。

源代码分发

此版本没有可用的源代码分发文件。请参阅生成分发存档的教程。

构建分发

onnxruntime_genai_directml-0.4.0-cp312-cp312-win_amd64.whl (2.2 MB 查看哈希值)

上传时间 2024年8月21日 CPython 3.12 Windows x86-64

onnxruntime_genai_directml-0.4.0-cp311-cp311-win_amd64.whl (2.2 MB 查看哈希值)

上传时间 2024年8月21日 CPython 3.11 Windows x86-64

onnxruntime_genai_directml-0.4.0-cp310-cp310-win_amd64.whl (2.2 MB 查看哈希值)

上传时间 2024年8月21日 CPython 3.10 Windows x86-64

onnxruntime_genai_directml-0.4.0-cp39-cp39-win_amd64.whl (2.2 MB 查看哈希值)

上传时间 2024年8月21日 CPython 3.9 Windows x86-64

onnxruntime_genai_directml-0.4.0-cp38-cp38-win_amd64.whl (2.2 MB 查看哈希值)

上传时间 2024年8月21日 CPython 3.8 Windows x86-64

哈希值 for onnxruntime_genai_directml-0.4.0-cp312-cp312-win_amd64.whl

哈希值 for onnxruntime_genai_directml-0.4.0-cp312-cp312-win_amd64.whl
算法	哈希摘要
SHA256	`c5c6a6587a933a237ee307c57c6fef75c93f2440431953de0c02dcfa4ddd430a`
MD5	`e4be9aade08569475e7a12823833a59b`
BLAKE2b-256	`77001cd33a3be280d7d01d415bda3001e542701f5d1fe86aa12f903087a58d50`

哈希值 for onnxruntime_genai_directml-0.4.0-cp311-cp311-win_amd64.whl

哈希值 for onnxruntime_genai_directml-0.4.0-cp311-cp311-win_amd64.whl
算法	哈希摘要
SHA256	`3627a876e2da6b2ed0fa54f2098d659c877d5ef28b26e02b3963654f5282cbb9`
MD5	`8c58ec2506197ad84525ea24765f6252`
BLAKE2b-256	`4060d7e413305fafe199511ee3b1f01a54f3ac32b86cee2f3bfb4937a357b380`

哈希值 for onnxruntime_genai_directml-0.4.0-cp310-cp310-win_amd64.whl

哈希值 for onnxruntime_genai_directml-0.4.0-cp310-cp310-win_amd64.whl
算法	哈希摘要
SHA256	`69565946e6fb5c08d754ca554f9bd0f132e984ef307a772bcde7fd2959e09ab0`
MD5	`3ac97aac4469bb354a002c78dbc91ebd`
BLAKE2b-256	`18b9a40ec2365b17261e2e5aed8e9ac76ca340a20fcb8e514844d38efaf4c817`

哈希值 for onnxruntime_genai_directml-0.4.0-cp39-cp39-win_amd64.whl

哈希值 for onnxruntime_genai_directml-0.4.0-cp39-cp39-win_amd64.whl
算法	哈希摘要
SHA256	`fdcfc98552e8a50ca3ec88e554050feb7efac4359edb5b7422e0d5efcec38fbb`
MD5	`0eab591c2bb77fbe6c1cdf93c0700346`
BLAKE2b-256	`78809a1d5f0f961ed0f8f6b0ac335ee0680b764c7b1ace093f79354e1e1e35e1`

哈希值 for onnxruntime_genai_directml-0.4.0-cp38-cp38-win_amd64.whl

哈希值 for onnxruntime_genai_directml-0.4.0-cp38-cp38-win_amd64.whl
算法	哈希摘要
SHA256	`3eea1e83840cb7c7accf15c556fd55fd077663289a258cb661c6189142dda7f2`
MD5	`9fdd4469d5e2fb42958baa4191133964`
BLAKE2b-256	`2dead79179a4739bd1a131ae0bbabc0c705df034152502a48e258cd0d3aee667`