Python数据管理框架,提供描述、提取、验证和转换表格数据的功能
项目描述
frictionless-py
Migrating from an older version? Please read **[v5](blog/2022/08-22-frictionless-framework-v5.html)** announcement and migration guide.
Python数据管理框架,提供描述、提取、验证和转换表格数据的功能(DEVT框架)。它支持大量数据源和格式,并提供流行的平台集成。该框架由轻量级且全面的无摩擦标准提供支持。
目的
- 描述您的数据:您可以推断、编辑和保存数据表的元数据。这是确保数据质量和可用性的第一步。无摩擦的元数据包括关于您的数据的一般信息,如文本描述,以及字段类型和其他表格数据细节。
- 提取您的数据:您可以使用统一的表格界面读取您的数据。通过架构确保数据质量和一致性。无摩擦支持各种文件方案,如HTTP、FTP和S3,以及CSV、XLS、JSON、SQL等数据格式。
- 验证您的数据:您可以验证数据表、资源和数据集。无摩擦生成统一的验证报告,并支持许多选项来自定义验证过程。
- 转换您的数据:您可以清理、重塑和传输您的数据表和数据集。无摩擦提供管道能力和低级别接口以处理数据。
功能
- 开源(MIT)
- 强大的Python框架
- 方便的命令行界面
- 任何大小数据的低内存消耗
- 在大数据上的合理性能
- 支持压缩文件
- 自定义检查和格式
- 完全可插拔的架构
- 超过1000+测试
安装
$ pip install frictionless
示例
$ frictionless validate data/invalid.csv
[invalid] data/invalid.csv
row field code message
----- ------- ---------------- --------------------------------------------
3 blank-header Header in field at position "3" is blank
4 duplicate-header Header "name" in field "4" is duplicated
2 3 missing-cell Row "2" has a missing cell in field "field3"
2 4 missing-cell Row "2" has a missing cell in field "name2"
3 3 missing-cell Row "3" has a missing cell in field "field3"
3 4 missing-cell Row "3" has a missing cell in field "name2"
4 blank-row Row "4" is completely blank
5 5 extra-cell Row "5" has an extra value in field "5"
文档
请访问我们的文档门户
项目详情
下载文件
下载适用于您平台的文件。如果您不确定选择哪个,请了解更多关于 安装包 的信息。
源分布
frictionless-5.18.0.tar.gz (74.4 MB 查看哈希值)
构建分布
frictionless-5.18.0-py3-none-any.whl (535.4 kB 查看哈希值)