数据流资源写入数据库规范化

此库提供了一些数据流处理以规范化资源。

它特别支持将规范化数据存储到数据库表。

什么是规范化？

简而言之，它是在数据集中减少重复的过程。

更多关于这个概念的信息可以在这里阅读 这里。

示例

让我们以这个世界城市数据集（我们将它称为 事实 资源）为例

from dataflows import Flow, load, printer

Flow(
    load('https://datahub.io/core/world-cities/r/world-cities.csv', name='cities'),
    printer(num_rows=1)
).process()

城市

似乎 country 和 subcountry 列相当重复 - 让我们将它们提取到单独的、去重复的资源中（我们将它称为 维度 资源）。

为此，我们使用 normalize 处理器。

此处理器接收一个资源名称和一个 NormGroup 实例列表。每个此类组指定一个要提取和去重复的新 维度 资源。

让我们看看它是如何工作的

from dataflows_normalize import normalize, NormGroup

Flow(
    load('https://datahub.io/core/world-cities/r/world-cities.csv', name='cities'),
    normalize([
       NormGroup(['country', 'subcountry'], 'country_id', 'id') 
    ], resource='cities'),
    printer()
).process()

城市

cities_country_id

如果我们遵循数据集的最后一条记录（Chitungwiza），我们可以看到为其地区（Zimbabwe/Harare）创建了一个条目，其ID为2676，并且该ID被添加到原始行而不是原始值。

我们获得了多少？

原始CSV文件的大小为895,586字节。

如果我们将这两个新资源保存为CSV文件，我们会得到

事实资源为542,299字节，地区维度资源为68,023字节——总共610,322字节（或大小减少了31%）。

这不仅有助于减小大小，而且极大地提高了以规范化形式存储数据的数据库性能。

数据库规范化

运行与上述类似的代码，只需使用normalize_to_db即可执行以下操作

• 从数据库维度表中加载现有值（以防这些表存在）
• 规范化输入数据，并将其拆分为事实和维度资源
• 使用新值更新数据库表，同时重用现有引用

与normalize的主要区别在于提供了数据库表名。

from dataflows_normalize import normalize_to_db, NormGroup

Flow(
    load('https://datahub.io/core/world-cities/r/world-cities.csv', name='cities'),
    normalize_to_db(
        [
            NormGroup(['country', 'subcountry'], 'country_id', 'id', db_table='countries_db_table') 
        ], 
        'cities_db_table', 'cities',
        db_connection_str='...'
    ),
).process()