pdifcopy 1.0.1

状态

虽然pdifcopy的第一个原型是在2019年6月开发的，但直到2020年3月，作为开源项目发布的第一个版本。

有很多功能和改进我想添加，但更重要的是，在考虑将alpha标签更改为beta或成熟之前，这个项目需要实际使用一段时间。

安装

pdiffcopy包可在PyPI上获取，这意味着安装应该非常简单

$ pip install 'pdiffcopy[client,server]'

实际上，安装Python包有众多方式（例如，按用户site-packages目录，虚拟环境或仅全局安装）并且我无意在这里讨论这些，所以如果这让你感到害怕，那么在回到这些说明之前先了解一下你的选项吧 😉。

方括号（client 和 server）之间的名称被称为“额外功能”，它们允许你选择是否安装客户端依赖项、服务器依赖项或两者都安装。

命令行

用法： pdiffcopy [OPTIONS] [SOURCE, TARGET]

通过执行delta传输并将工作分散到多个CPU核心，以极快的速度在Linux服务器之间同步大型二进制数据文件。

预期SOURCE和TARGET参数之一是本地文件的路径名，另一个参数是提供远程pdiffcopy服务器位置和远程文件名的URL。文件数据将从SOURCE读取并写入TARGET。

如果没有给出位置参数，则启动服务器。

支持选项

基准测试

命令行界面提供了一种简单的方法来评估delta传输实现的有效性，并将其与rsync进行比较。以下章节中的表格基于该基准测试。

限制

虽然受到rsync的启发，但目标绝对不是与rsync功能完全相同。目前，只能传输单个文件，并且只复制文件数据，而不是元数据。这是一个能工作的概念验证，但很有限。虽然我可能想添加对目录树和文件元数据的同步支持，因为这很方便，但我的意图绝对不是在同步大型目录树领域与rsync竞争，因为我很可能会失败。

错误处理目前非常有限，使用Ctrl-C中断程序可能会让您陷入一群拒绝关闭的愤怒的多进程工作者中😝。说真的，连续按几次Ctrl-C应该能退出，否则尝试按Ctrl-\（这是一个反斜杠，应该发送QUIT信号）。

历史

2019年6月，我发现自己处于一个想要快速同步大量二进制数据文件（一组非常大的总容量达数百GB的MySQL *.ibd 文件）的情况，这些文件是我可以利用的丰富的计算资源（48个CPU核心、NVMe磁盘、捆绑式网络接口等等）。

我花了很多时间尝试并行运行多个rsync进程，但是少量非常大的文件“堵塞了管道”，不管我做什么。这就是我意识到rsync实际上非常不适合的原因，这对我是令人失望的，因为rsync长期以来一直是我解决Linux服务器上即兴问题的首选程序之一。

无论如何，我决定向自己证明，我所拥有的硬件可以做得比rsync好得多。在一周的周末原型开发后，我有了可以超越rsync（尽管它是用Python编写的，并使用HTTP作为传输）的某个东西😁。在这周末，我决定我的原型值得作为一个开源项目发布，然而直到几个月后我才有时间这么做。

关于名称

pdiffcopy这个名字是为了作为一个（可能有些晦涩的）缩写“并行差异复制”

• 并行，因为它是为了在多个CPU核心上运行。

• 差异，因为使用了增量传输机制。

但主要是我需要一个短且独特的名字，比如rsync，这样搜索这个项目时就能找到这个项目，而不是其他 dozen 个项目 😇。

联系

最新版本的 pdiffcopy 可在 PyPI 和 GitHub 上找到。文档托管在 Read the Docs 上，包括一个 变更日志。如有错误报告，请 GitHub 上创建一个问题。如果您有任何问题或建议，请随时通过 peter@peterodding.com 发送电子邮件给我。

许可协议

本软件采用 MIT 许可协议 许可。

© 2020 Peter Odding。