跳转到主要内容

ONNX Runtime generate() API

项目描述

ONNX Runtime generate() API

使用ONNX Runtime在设备上和云中运行SLMs/LLMs和多模态模型。

目前支持的模型架构(更多即将推出):Gemma、Llama、Mistral、Phi(语言和视觉)。

更多详细信息,请参阅:文档 https://runtime.onnx.org.cn/docs/genai 和仓库: https://github.com/microsoft/onnxruntime-genai

由以下支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面