hf-model-downloader

安装

pip install hf-model-downloader

pip install git+https://github.com/muellerzr/hf-model-downloader

这是什么？

通过指定后端将模型从huggingface.co快速下载到特定目录的简单方法。

虽然您可以在使用huggingface_hub CLI时传递--local_dir，但许多库（如所有meta-llama模型）在repo中包含两套权重，原始和safetensor变体都在同一分支中。因此，这可能会使我们的下载变得冗余，当我们不需要它们时。

hf-downloader通过使下载权重到您想要的任何地方变得更容易，并指定您需要的权重修订版（然后还将下载相关的配置文件等）来解决此问题

由于这是一个huggingface_hub CLI的包装器，因此可以通过--token传递令牌或使用huggingface-cli login（推荐）

使用meta-llama/Meta-Llama-3.1-8B-Instruct的示例

下载.safetensors版本（默认）

download-model --backend safetensors meta-llama/Meta-Llama-3.1-8B-Instruct 

下载.pth版本

hf-downloader --backend torch meta-llama/Meta-Llama-3.1-8B-Instruct 

下载到特定目录

hf-downloader --local-dir my_llama meta-llama/Meta-Llama-3.1-8B-Instruct 

使用hf_transfer进行更快下载

hf-downloader --fast meta-llama/Meta-Llama-3.1-8B-Instruct