✂️ CSV Trimming

CSV Trimming是一个Python包，旨在将混乱的CSV文件（例如从网站抓取、旧系统或管理不善的数据中获得）转换为仅用一行代码即可清洁、格式良好的CSV文件。无需复杂的设置或大型语言模型。它简单、直接，通常可以完成工作。

如何安装此包？

像往常一样，只需使用pip下载它

pip install csv_trimming

如何使用此包？

此包非常简单易用，只需加载您的CSV并将其传递给修剪器。

import pandas as pd
from csv_trimming import CSVTrimmer

# Load your csv
csv = pd.read_csv("tests/documents/noisy/sicilia.csv")
# Instantiate the trimmer
trimmer = CSVTrimmer()
# And trim it
trimmed_csv = trimmer.trim(csv)
# That's it!

例如，您要清理的输入CSV在开始时可能看起来像这样

修剪后，它将看起来像这样

魔法！

具有行相关性的高级修剪

有时，您正在处理的CSV可能具有行相关性，这意味着给定行的一部分被插入到下一行。这种情况通常发生在数据录入员希望将整个表格放入他们的屏幕上，并为了这样做，他们将行分成两部分时。虽然这显然是一种极其糟糕的做法，但在现实生活中确实会发生，CSV修剪器可以在一点点帮助下处理这种情况。

您只需要提供一个函数来定义哪些行是相关的，CSV Trimmer 会处理其余部分。虽然在这个例子中我们使用了相对简单的函数和相对干净的 CSV 文件，但该包可以处理更复杂的情况。

from typing import Tuple
import pandas as pd
from csv_trimming import CSVTrimmer

def simple_correlation_callback(
    current_row: pd.Series,
    next_row: pd.Series
) -> Tuple[bool, pd.Series]:
    """Return the correlation between two rows.
    
    Parameters
    ----------
    current_row : pd.Series
        The current row being analyzed in the DataFrame.
    next_row : pd.Series
        The next row in the DataFrame.

    Returns
    -------
    Tuple[bool, pd.Series]
        A tuple with a boolean indicating if the rows are correlated
        and a Series with the merged row.
    """

    # All of the rows that have a subsequent correlated row are
    # non-empty, and the subsequent correlated rows are always
    # with the first cell empty.
    if pd.isna(next_row.iloc[0]) and all(pd.notna(current_row)):
        return True, pd.concat(
            [
                current_row,
                pd.Series({"surname": next_row.iloc[-1]}),
            ]
        )

    return False, current_row

csv = pd.read_csv("tests/test.csv")
trimmer = CSVTrimmer(simple_correlation_callback)
result = trimmer.trim(csv)

在这种情况下，我们的 CSV 文件在开始时看起来是这样的

修剪后，它将看起来像这样

更多示例

以下是一些该包实际应用的示例。

具有重复模式的案例

有时，当以较差的方式链式连接多个 CSV 文件时，您可能会遇到重复的模式。CSV Trimmer 会检测到与检测到的标题匹配的行，并且可以（可选）删除它们。

import pandas as pd
from csv_trimming import CSVTrimmer

# Load your csv
csv = pd.read_csv("tests/documents/noisy/duplicated_schema.csv")
# Instantiate the trimmer
trimmer = CSVTrimmer()
# And trim it
trimmed_csv = trimmer.trim(csv, drop_duplicated_schema=True)
# That's it!

例如，您要清理的输入CSV在开始时可能看起来像这样

修剪后，它将看起来像这样

只有填充的案例

有时，数据录入员可能会从左上角开始填写表格，并将其导出为周围也包含空单元格的表格。我们称这样的单元格为“填充”。CSV Trimmer 可以检测并删除它们。

import pandas as pd
from csv_trimming import CSVTrimmer

# Load your csv
csv = pd.read_csv("tests/documents/noisy/padding.csv")

# Instantiate the trimmer
trimmer = CSVTrimmer()

# And trim it
trimmed_csv = trimmer.trim(csv, drop_padding=True)

例如，您要清理的输入CSV在开始时可能看起来像这样

修剪后，它将看起来像这样

命令行界面

该包还提供了一个命令行界面来修剪 CSV 文件。它包含在包的 setup.py 中，因此安装完该包后，您可以从命令行立即使用它。

您可以通过运行以下命令来使用它

csv-trim tests/documents/noisy/sicilia.csv tests/documents/noisy/sicilia_trimmed.csv

它支持以下选项以防止尝试某些修剪

• --keep-padding：不要尝试删除填充。
• --keep-duplicated-schema：不要尝试删除重复的模式。
• --no-restore-header：不要尝试恢复标题。

例如

csv-trim tests/documents/noisy/sicilia.csv tests/documents/noisy/sicilia_trimmed.csv --keep-padding

我如何为这个包做出贡献？

如果您发现了该包无法处理的某些新的边缘情况，或者您有一些建议的新功能，请随时提出问题。如果您想通过代码做出贡献，请提出一个描述您打算添加的功能的问题，并提交一个拉取请求。

许可证

此包采用 MIT 许可证发布。