Azure机器学习推理服务器。
项目描述
请参阅我们的官方文档 AzureML 推理服务器 - 文档.
请注意，AzureML 推理服务器现在是开源的！仓库在这里可用： AzureML 推理服务器 - Github.
变更日志
1.3.2 (2024-08-19)
将 flask-cors 版本升级到 4.0.1
1.3.1 (2024-07-25)
将 certifi 版本升级到 2024.7.4.
1.3.0 (2024-05-30)
Azureml_Inference_Server_Http 1.2.0 (2024-05-30)
增强功能
添加对 python 3.12 的支持
1.2.2 (2024-05-14)
增强功能
将 Werkzeug 从 <3.0.0 更新到 >=3.0.3
1.2.1 (2024-04-25)
增强功能
将 gunicorn 从 20.1.0 更新到 22.0.0
1.2.0 (2024-04-02)
Azureml_Inference_Server_Http 1.2.0 (2024-04-02)
增强功能
添加对 python 3.11 的支持
1.1.0 (2024-02-26)
Azureml_Inference_Server_Http 1.1.0 (2024-02-26)
重大变更
Azmlinfsrv 将在版本 1.1.0 中迁移到 Pydantic 2.0。这将是对任何 Pydantic 1.0 代码的破坏性变更。
1.0.0 (2023-09-21)
重大变更
弃用 Python 3.7 支持，并改进文档
0.8.4.2 (2023-09-07)
Azureml_Inference_Server_Http 0.8.4.2 (2023-09-07)
修复
将 InferenceSchema 从 ~=1.5.0 更新到 ~=1.7.0 以支持 MLflow NCD
0.8.4.1 (2023-08-09)
修复
修复了服务器启动时的 pydantic 警告。
0.8.4 (2023-04-19)
功能
添加了配置单独的专用健康检查端口的选项。
修复
恢复了评分响应的流。
更新了与找不到评分脚本的错误消息相关的错误。
0.8.3 (2023-03-23)
修复
修复了与 flask1 兼容性的问题。
0.8.2 (2023-03-20)
增强功能
如果配置文件中有服务器不支持的其他额外键，将记录警告信息。
0.8.1 (2023-03-06)
功能
支持从JSON文件中加载服务器配置。新增了对新环境变量 AZUREML_CONFIG_FILE 的支持。请参阅README获取详细用法。
增强功能
HTTP响应中不会返回异常详情。请检查服务器日志以获取详细信息。
0.8.0 (2022-12-15)
重大变更
停止支持Python 3.6。
增强功能
所有错误响应都将使用JSON格式。 (格式：{‘message’: <error_message>})
用户可以通过AML_APP_ROOT目录下的logging.json文件或与启动脚本一起配置记录器。
日志消息默认格式已更新。 (格式： “<UTC DATE> <UTC TIME> <LOG LEVEL CHAR> [<PID>] <LOGGER NAME> - <MESSAGE>”)
0.7.7 (2022-11-01)
修复
将 inference-schema 依赖项升级到支持Python 3.9。
0.7.6 (2022-09-13)
修复
AML_APP_ROOT 变量现在默认为当前工作目录。
AZUREML_ENTRY_SCRIPT 现在设置为入口脚本的绝对路径。
0.7.5 (2022-08-16)
重大变更
客户端请求ID的头部从 x-client-request-id 更名为 x-ms-client-request-id。
服务器在提供 x-ms-request-id 和 x-request-id 时将不再抛出错误。从现在开始，x-ms-request-id 将被视为客户端请求ID。然而，它仍然被认为是过时的，建议用户使用 x-ms-client-request-id 作为客户端请求ID。
当 x-ms-request-id 或 x-ms-client-request-id 均未设置时，服务器将 x-request-id 的值复制到 x-ms-request-id。这样做是为了保持向后兼容性，确保 x-ms-request-id 不会为空。不会将任何值记录到AppInsights作为“客户端请求ID”。
当只有 x-ms-request-id 设置时，服务器返回 x-ms-request-id 和 x-ms-client-request-id 设置为该值。此值记录到AppInsights作为“客户端请求ID”。
当只有 x-ms-client-request-id 设置时，服务器返回 x-ms-request-id 和 x-ms-client-request-id 设置为该值。此值记录到AppInsights作为“客户端请求ID”。
当 x-ms-request-id 和 x-ms-client-request-id 均设置时，值将返回到相应的头部。然而，只有 x-ms-client-request-id 的值记录到AppInsights作为“客户端请求ID”。
0.7.4 (2022-07-29)
修复
修复了服务器要求在run()中提供具有默认值的参数的问题。
0.7.3 (2022-07-18)
功能
可以使用环境变量 AML_CORS_ORIGINS 启用CORS。请参阅README获取详细用法。
除了 azmlinfsrv 之外，现在可以使用 python -m azureml_inference_server_http 启动服务器。
将OPTIONS调用修改为返回 200 OK 而不是之前的 405 Method not allowed。
用户可以将自己的swagger放入AML_APP_ROOT中的 swagger2.json 和 swagger3.json。
增强功能
现在总是生成swagger，无论用户的run()函数是否带有inference-schema装饰。
现在限制了x-request-id和x-client-request-id头部的长度为100个字符。
修复
修复了当评分脚本无法初始化时，服务器无法干净退出的问题。如果AppInsights未启用，用户可能会看到 AttributeError: 'AppInsightsClient' object has no attribute 'logger'。
0.7.2 (2022-06-06)
增强功能
添加了对Flask 2.1的支持。
服务器现在在发现无效输入时会响应400错误请求。
0.7.1 (2022-05-10)
弃用
“x-ms-request-id”头已弃用，正被“x-request-id”取代。在“x-ms-request-id”被移除之前，服务器将接受任一头部，并以相同的请求ID响应两个头部。不允许通过头部提供两个请求ID，将会以错误请求响应。
增强功能
添加了对Flask 2.0的支持。引入了一个兼容层，以确保升级不会破坏使用@rawhttp作为Flask请求对象方法的用户。具体来说，
request.headers.has_keys()已被移除
request.json如果内容类型不是“application/json”则抛出异常。之前它返回None。
兼容层将这些功能恢复到之前的行为。但是，此兼容层将在未来的某个时间点被移除，并鼓励用户今天审查他们的评分脚本。要检查您的评分脚本是否为Flask 2准备好，请使用环境变量AML_FLASK_ONE_COMPATIBILITY设置为false来运行服务器。
Flask的完整变更日志可在以下位置找到：https://flask.org.cn/en/2.1.x/changes/
添加了对“x-request-id”和“x-client-request-id”头部的支持。如果没有提供“x-request-id”，将为它生成一个新的GUID。这些值将在响应头中回显给客户端。
azureml_inference_server_http-1.3.2-py3-none-any.whl 的哈希
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 2612d7bd7ab542fd9d28f703c5ae05deddf6ede98e2e3a072b4491bab07e0387 |
|
| MD5 | 08edbfd28d7137d0ffca51df38aa7e2f |
|
| BLAKE2b-256 | a9ed30360951c5a31865f7f910b3c69b9b95d42c6a922f82bb147bcf98a29d92 |
