跳转到主要内容

Python数据管理框架,提供描述、提取、验证和转换表格数据的功能

项目描述

frictionless-py

Build Coverage Release Citation Codebase Support

Migrating from an older version? Please read **[v5](blog/2022/08-22-frictionless-framework-v5.html)** announcement and migration guide.

Python数据管理框架,提供描述、提取、验证和转换表格数据的功能(DEVT框架)。它支持大量数据源和格式,并提供流行的平台集成。该框架由轻量级且全面的无摩擦标准提供支持。

目的

  • 描述您的数据:您可以推断、编辑和保存数据表的元数据。这是确保数据质量和可用性的第一步。无摩擦的元数据包括关于您的数据的一般信息,如文本描述,以及字段类型和其他表格数据细节。
  • 提取您的数据:您可以使用统一的表格界面读取您的数据。通过架构确保数据质量和一致性。无摩擦支持各种文件方案,如HTTP、FTP和S3,以及CSV、XLS、JSON、SQL等数据格式。
  • 验证您的数据:您可以验证数据表、资源和数据集。无摩擦生成统一的验证报告,并支持许多选项来自定义验证过程。
  • 转换您的数据:您可以清理、重塑和传输您的数据表和数据集。无摩擦提供管道能力和低级别接口以处理数据。

功能

  • 开源(MIT)
  • 强大的Python框架
  • 方便的命令行界面
  • 任何大小数据的低内存消耗
  • 在大数据上的合理性能
  • 支持压缩文件
  • 自定义检查和格式
  • 完全可插拔的架构
  • 超过1000+测试

安装

$ pip install frictionless

示例

$ frictionless validate data/invalid.csv
[invalid] data/invalid.csv

  row    field  code              message
-----  -------  ----------------  --------------------------------------------
             3  blank-header      Header in field at position "3" is blank
             4  duplicate-header  Header "name" in field "4" is duplicated
    2        3  missing-cell      Row "2" has a missing cell in field "field3"
    2        4  missing-cell      Row "2" has a missing cell in field "name2"
    3        3  missing-cell      Row "3" has a missing cell in field "field3"
    3        4  missing-cell      Row "3" has a missing cell in field "name2"
    4           blank-row         Row "4" is completely blank
    5        5  extra-cell        Row "5" has an extra value in field  "5"

文档

请访问我们的文档门户

项目详情


发行历史 发布通知 | RSS源

下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解更多关于 安装包 的信息。

源分布

frictionless-5.18.0.tar.gz (74.4 MB 查看哈希值)

上传时间

构建分布

frictionless-5.18.0-py3-none-any.whl (535.4 kB 查看哈希值)

上传时间 Python 3

由以下支持