Kedro-Datasets 是您可以找到所有 Kedro 数据连接器的位置。
项目描述
Kedro-Datasets
欢迎使用 kedro_datasets,这是 Kedro 数据连接器的家园。在这里,您将找到由 QuantumBlack 和外部贡献者创建的驱动 Kedro DataCatalog 的 AbstractDataset 实现。
安装
kedro-datasets 是一个 Python 插件。要安装它
pip install kedro-datasets
在分组级别安装依赖项
数据集组织到组中,例如 pandas、spark 和 pickle。每个组都包含一系列数据集,例如 pandas.CSVDataset、pandas.ParquetDataset 等。您可以按如下方式安装整个组依赖项
pip install "kedro-datasets[<group>]"
这安装了 Kedro-Datasets 以及与数据集组相关的依赖项。例如,这可能是依赖于 pandas 中数据类型的流程。运行 pip install 'kedro-datasets[pandas]' 安装 Kedro-Datasets 以及 pandas 组 中数据集的依赖项。
在类型级别安装依赖项
为了将安装限制为特定数据集的依赖项
pip install "kedro-datasets[<group>-<dataset>]"
例如,您的流程可能需要 pandas.ExcelDataset,因此要安装其依赖项,请运行 pip install "kedro-datasets[pandas-exceldataset]"。
From `kedro-datasets` version 3.0.0 onwards, the names of the optional dataset-level dependencies have been normalised to follow [PEP 685](https://peps.pythonlang.cn/pep-0685/). The '.' character has been replaced with a '-' character and the names are in lowercase. For example, if you had `kedro-datasets[pandas.ExcelDataset]` in your requirements file, it would have to be changed to `kedro-datasets[pandas-exceldataset]`.
支持哪些 AbstractDataset 实现?
我们支持一系列数据连接器,包括 CSV、Excel、Parquet、Feather、HDF5、JSON、Pickle、SQL 表、SQL 查询、Spark DataFrame 等。我们甚至允许支持与图像一起工作。
这些数据连接器支持 pandas、spark、networkx、matplotlib、yaml 等的 API。
数据目录 允许您在本地文件系统、网络文件系统、云对象存储和 Hadoop 上处理各种文件格式。
以下为完整的支持的数据连接器和 API 列表。
我该如何创建自己的 AbstractDataset 实现?
请参阅我们关于如何创建自己的 AbstractDataset 实现的说明。
我可以贡献代码吗?
是的!想帮助构建 Kedro-Datasets?请查看我们的贡献指南。
您使用的是什么许可协议?
Kedro-Datasets 适用于Apache 2.0 许可协议。
Python 版本支持策略
- Kedro-Datasets 包遵循 NEP 29 Python 版本支持策略。
项目详情
下载文件
下载适合您平台的文件。如果您不确定该选择哪个,请了解有关安装包的更多信息。
源代码分发
构建分发
kedro_datasets-4.1.0.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 56e67fdc9cd7670a811407c471b0c7d98e81daaa66043ff052f0a0b0b6b2d4af |
|
| MD5 | 0cf0bd060df165564b65e31ba76284ad |
|
| BLAKE2b-256 | 813ce67bb977654e52a7795f5969d7d495e5ac0de9a5aed94bf0487c9bb12e1f |
kedro_datasets-4.1.0-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | d3f0c71af072878729871160a17f6e1a23679f01848b17ac955891b2778bc9a2 |
|
| MD5 | ba537634c63e8eac955ee6b59ac08a4c |
|
| BLAKE2b-256 | 97e97dc3ed5a4b45e829b46049126d0d9fc2e9c137874154623594df33b056ba |