PyTorch Merge

此存储库包含一个名为 py_merge.py 的脚本，可以用于将两个PyTorch模型 .bin 文件合并成一个模型文件。当您需要合并具有相同架构且兼容的两个模型的权重时，这可能很有用。脚本为存在于两个模型中的键的平均参数值。

先决条件

在使用此脚本之前，请确保已安装以下Python包

• PyTorch
• Transformers

您可以使用pip安装它们

pip install pytorch_merge

这将自动安装依赖项（torch和transformers）。

用法

打开终端，并输入

pytorch_merge --help

获取使用说明。

此工具需要3个参数

• --config config.json -- 您正在使用的模型架构的配置文件。
• --bin model1.bin model2.bin model3.bin -- 您想要合并的所有模型权重 .bin 文件。您可以合并一个多部分模型的权重文件，或者来自不同模型的权重，在这种情况下，权重将平均。您可以指定任意多的文件，它们将按顺序循环合并。
• --output merged_model.bin -- 保存输出合并模型的路径。

例如

pytorch_merge -c config.json -b model1.bin model2.bin -o merged_model.bin

现在您可以使用合并的 merged_model.bin 文件与您的模型架构一起使用。

注意：合并模型并不总是会产生期望的结果，特别是如果模型具有不同的架构或是在不同的数据上训练的。

只有当您确定模型兼容时才使用此脚本。

许可证

此工具由Donalda Feith制作，并许可在GNU通用公共许可证v3或更高版本（GPLv3+）下使用。