文件系统接口到Azure机器学习定义的URI

入门指南

此包可以使用以下方式安装

pip install azureml-fsspec

示例

接受的uri格式是Azure机器学习定义的数据存储uri: azureml://subscriptions/([^/]+)/resourcegroups/([^/]+)/workspaces/([^/]+)/datastores/([^/]+)/paths/([^/]+)

# load parquet file to pandas
import pandas
df = pandas.read_parquet('azureml://subscriptions/{sub_id}/resourcegroups/{rs_group}/workspaces/{ws}
                          /datastores/workspaceblobstore/paths/myfolder/mydata.parquet')

# load csv file to pandas
import pandas
df = pandas.read_csv('azureml://subscriptions/{sub_id}/resourcegroups/{rs_group}/workspaces/{ws}
                          /datastores/workspaceblobstore/paths/myfolder/mydata.csv')

# load parquet file to dask
import dask.dataframe as dd
df = dd.read_parquet('azureml://subscriptions/{sub_id}/resourcegroups/{rs_group}/workspaces/{ws}
                          /datastores/workspaceblobstore/paths/myfolder/mydata.parquet')

# load csv file to dask
import dask.dataframe as dd
df = dd.read_csv('azureml://subscriptions/{sub_id}/resourcegroups/{rs_group}/workspaces/{ws}
                          /datastores/workspaceblobstore/paths/myfolder/mydata.csv')

版本历史

1.3.1 (02-05-2024)

新增功能

• 添加了对mlclient进行授权的支持

1.3.0 (01-17-2024)

新增功能

• 添加了对fsspec的注册支持。

1.2.0 (08-14-2023)

新增功能

• 添加了对fsspec的auth dict支持（SP和管理身份）。
• 添加了用户异常映射

1.1.0 (06-01-2023)

新增功能

• 上传/下载性能改进

1.0.0 (04-07-2023)

新增功能

• 添加了上传/下载API
• 错误修复（root行为）

0.1.0b1

新增功能

• FileSystem for Azure机器学习定义数据存储uri的初始公共预览版本

0.1.0b2

新增功能

• 修复发布说明

0.1.0b3

新增功能

• 在open API中添加模式
• 添加验证
• 升级dataprep到4.8