pyf.splitter 3.1

介绍

pyf.splitter是一个完全独立的模块，可用于pyf或任何其他项目。它不依赖于pyf。

目的

splitter的目的简单明了，将保持如此。它为您提供了对数据流（或任何Python可迭代对象）的抽象，并给人一种在内存中操作可迭代对象的错觉，但实际上所有内容都被序列化到磁盘上，以避免内存消耗。

第二个也是最后一个目的是根据一些简单的规则分割（因此得名）您的数据流。分割至少对于能够在不触及文件系统限制的情况下将大量数据块存储在磁盘上非常重要（你尝试过在FAT文件系统上存储600Gb的文件吗？）

需要注意的是，我们并没有封装（即：隐藏）桶文件。splitter会提供它生成的桶文件名，然后您可以使用另一个函数将这些文件读取到另一个流中。

运行测试

要运行测试，您需要安装tox

pip install tox

然后只需启动tox，即可运行整个测试套件，即python2.7、python3.4和pep8。

如果您只想运行一种类型的测试（例如：仅python2.7），可以按如下方式指定

tox -e py27

所有定义的测试环境均在tox.ini文件中定义

变更

2015年10月9日，版本3.1

• 版本3.0引入了对python3的支持，而版本3.1是一个错误修复版本，旨在在分隔符中添加更多合理的默认值。（使用默认分隔符的python3版本中的datetime对象不可序列化）