KServe Python SDK
项目描述
KServe Python SDK
KServe服务器和客户端的Python SDK。
安装
KServe Python SDK可以通过pip或poetry安装。
pip安装
pip install kserve
要安装具有存储支持的Kserve
pip install kserve[storage]
poetry
通过poetry安装。
make dev_install
要安装具有存储支持的Kserve
poetry install -E storage
或
poetry install --extras "storage"
KServe Python服务器
KServe的python服务器库实现了一个标准库，该库由Scikit Learn、XGBoost和PyTorch等模型服务框架扩展。它封装了数据平面API定义和模型的存储检索。
它提供了许多功能，包括但不限于
- 注册模型并启动服务器
- 预测处理程序
- 预处理/后处理处理程序
- 活动处理程序
- 就绪处理程序
它支持以下存储提供商
- 具有前缀“gs://”的Google Cloud Storage
- 默认情况下，它使用
GOOGLE_APPLICATION_CREDENTIALS环境变量进行用户认证。 - 如果未提供
GOOGLE_APPLICATION_CREDENTIALS，则将使用匿名客户端下载工件。
- 默认情况下，它使用
- 具有前缀“s3://”的S3兼容对象存储
- 默认情况下，它使用环境变量
S3_ENDPOINT、AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY进行用户认证。
- 默认情况下，它使用环境变量
- Azure Blob 存储格式为：“https://{$STORAGE_ACCOUNT_NAME}.blob.core.windows.net/{$CONTAINER}/{$PATH}”
- 默认情况下，它使用匿名客户端下载工件。
- 例如：https://kfserving.blob.core.windows.net/triton/simple_string/
- 本地文件系统，可以是没有任何前缀的，也可以是带有前缀“file://”的。例如
- 绝对路径：
/absolute/path或file:///absolute/path - 相对路径：
relative/path或file://relative/path - 对于本地文件系统，我们建议使用不带前缀的相对路径。
- 绝对路径：
- 持久卷声明（PVC）格式为 "pvc://{$pvcname}/[path]"。
pvcname是包含模型的 PVC 的名称。[path]是 PVC 上模型的相对路径。- 例如：
pvc://mypvcname/model/path/on/pvc
- 通用 URI，通过
HTTP或HTTPS，分别以http://或https://前缀。例如https://<some_url>.com/model.joblibhttp://<some_url>.com/model.joblib
指标
对于延迟指标，向 /metrics 发送请求。对于每个步骤（预处理/后处理、解释、预测），Prometheus 延迟直方图都会发出。此外，每个步骤的延迟都会在每个请求中记录。
| 指标名称 | 描述 | 类型 |
|---|---|---|
| request_preprocess_seconds | 预处理请求延迟 | 直方图 |
| request_explain_seconds | 解释请求延迟 | 直方图 |
| request_predict_seconds | 预测请求延迟 | 直方图 |
| request_postprocess_seconds | 预处理请求延迟 | 直方图 |
KServe 客户端
入门指南
KServe 的 Python 客户端与 KServe 控制平面 API 交互，以在远程 KServe 集群上执行操作，例如创建、修补和删除 InferenceService 实例。请参阅 Python SDK 客户端示例 以开始使用。
客户端 API 文档
请查阅 KServe 客户端 API 文档。
模型文档
- KnativeAddressable
- KnativeCondition
- KnativeURL
- KnativeVolatileTime
- NetUrlUserinfo
- V1alpha1InferenceGraph
- V1alpha1InferenceGraphList
- V1alpha1InferenceGraphSpec
- V1alpha1InferenceGraphStatus
- V1alpha1InferenceRouter
- V1alpha1InferenceStep
- V1alpha1InferenceTarget
- V1beta1AlibiExplainerSpec
- V1beta1Batcher
- V1beta1ComponentExtensionSpec
- V1beta1ComponentStatusSpec
- V1beta1CustomExplainer
- V1beta1CustomPredictor
- V1beta1CustomTransformer
- V1beta1ExplainerConfig
- V1beta1ExplainerSpec
- V1beta1ExplainersConfig
- V1beta1InferenceService
- V1beta1InferenceServiceList
- V1beta1InferenceServiceSpec
- V1beta1InferenceServiceStatus
- V1beta1InferenceServicesConfig
- V1beta1IngressConfig
- V1beta1LoggerSpec
- V1beta1ModelSpec
- V1beta1ONNXRuntimeSpec
- V1beta1PodSpec
- V1beta1PredictorConfig
- V1beta1PredictorExtensionSpec
- V1beta1PredictorSpec
- V1beta1PredictorsConfig
- V1beta1SKLearnSpec
- V1beta1TFServingSpec
- V1beta1TorchServeSpec
- V1beta1TrainedModel
- V1beta1TrainedModelList
- V1beta1TrainedModelSpec
- V1beta1TrainedModelStatus
- V1beta1TransformerConfig
- V1beta1TransformerSpec
- V1beta1TransformersConfig
- V1beta1TritonSpec
- V1beta1XGBoostSpec
下载文件
下载适合您平台的文件。如果您不确定选择哪个，请了解有关安装包的更多信息。
源代码分发
kserve-0.13.1.tar.gz (330.3 kB 查看哈希值)
构建分发
kserve-0.13.1-py3-none-any.whl (452.7 kB 查看哈希值)
关闭
kserve-0.13.1.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | f62325cc76902ee2a9441ecfe9105512b44d21a90361326acc9c3c86600a5cd6 |
|
| MD5 | 122329ee668f34cfdc1caffbc51aef59 |
|
| BLAKE2b-256 | 5713f202b9da46e10aba2f7670fd14f0eeed8b72055428d2a9b605b3a03207fc |
关闭
kserve-0.13.1-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 8029b6e31b2180a93ac2a729190b6a09858d6cc816fb310ecacc04f4c3934663 |
|
| MD5 | 235b1a81849a0b50b596132444e27da2 |
|
| BLAKE2b-256 | 5f8133552d2fb4e91be320a0b20cd76567e31baa6acaea41a9f117cd71d10acb |