relstorage_packer 2.1

概述

此脚本也适用于非常大的Relstorage ZODB，包含数百万个对象。原始打包脚本需要几天时间，消耗大量RAM。因此，需要加快打包过程。

此脚本不会消耗大量RAM，运行速度比原始脚本快得多。原来的脚本仅分析就需3.5天，现在仅需大约6小时。在后续运行中，它仅处理上一次运行后的更改：它仅考虑比前一次运行中处理的上一个事务更新的事务。

撰写本文时，处理4400万个对象需要约3-6小时，具体取决于硬件和Postgresql的配置。

脚本创建一个反向对象图，这会在数据库中占用很少的空间。

限制

在开发过程中，关键的生产环境是一个运行着relstorage的postgresql数据库，在历史自由模式下将blob存储在文件服务器上。因此，这是已经实现的。

我相信使其在MySQL和Oracle上运行也是很容易的。同时，在数据库内部存储blob当然也是可能的。

我不确定这种清理方式是否适用于非历史自由模式。至少，它需要大量的关爱和对ZODB的理解才能进行重构和实现。

欢迎贡献！

用法

创建一个配置文件。它与Relstorage部署的经典打包脚本中使用的配置文件相同。

<relstorage>
    create-schema false
    keep-history false
    shared-blob-dir true
    blob-dir var/blobstorage
    commit-lock-timeout 600
    <postgresql>
        dsn dbname='test_site' host='127.0.0.1' user='zodb' password='secret'
    </postgresql>
</relstorage>

安装后，一个名为relstorage_pack的脚本可用。

Usage: relstorage_pack config_file

Fast ZODB Relstorage Packer for history free PostgreSQL

Options:
  -h, --help     show this help message and exit
  -i, --init     Removes all reference counts and starts from scratch.
  -v, --verbose  More verbose output, includes debug messages.

第一次运行时，使用数据库，将--init作为参数传递。这将删除并重新创建打包表。

使用集成 buildout 和测试

测试此代码并不容易，编写好的测试是一个需要完成的任务。目前，您可以在本地主机上运行一个postgres数据库（除非您想更改 buildout.cfg）。然后以数据库用户（在debian上名为 postgres）的身份运行以下命令

psql -c "CREATE USER zope WITH PASSWORD 'secret';"
psql -c "CREATE DATABASE relstorage_packer_test OWNER zope;"
psql -c "REVOKE connect ON DATABASE relstorage_packer_test FROM PUBLIC;"
psql -c "GRANT connect ON DATABASE relstorage_packer_test TO zope;"

接下来（因为我的懒惰），运行 ./bin/instance start，它启动了一个 Plone。添加一个 Plone 网站，添加和删除一些内容以将一些东西填充到数据库中以便打包。

接下来运行打包程序。

如果您不喜欢这种方式：pull requests 总是受欢迎的。

2.1 (2014-02-19)

• 重构了日志记录，因为每次更改代码的其他部分时，它总是在我的路上。[jensens, 2014-02-19]

• 长时间运行的连接会导致postgresql占用大量RAM。因此，我们每5000次循环（TID分析或ZOID删除）重新连接。[jensens, 2014-02-18]

• 打包后，我们有一堆空闲事务（已中止）的postgresql进程正在运行。这导致了一个OperationalError: out of shared memory HINT: You might need to increase max_pred_locks_per_transaction. 错误。因此，我重构了事务处理和回滚，并使用显式提交而不是使用relstorage storage._with_store。现在这部分非常受控，不是悬挂连接不回滚的原因。[jensens, 2014-02-18]

2.0.2 (2014-02-05)

• 还支持没有blobstorage的存储。[jensens, 2014-02-05]

2.0.1 (2014-02-03)

• 在finally中解锁，以真正解锁一个失败。[jensens, 2014-02-03]

• 如果无法获得锁，则使用非零退出代码。[saily]

2.0

• 重构了收集和使用引用计数的方法。现在更快。[jensens, 2014-01-11]

1.0

• 开始打包[jensens, 2013-11-23]