快速将spaCy流水线推送到Hugging Face Hub
项目描述
spacy-huggingface-hub:将您的spaCy流水线推送到Hugging Face Hub
此包提供了一个CLI命令,用于将任何与 spacy包
打包的已训练spaCy流水线上传到 Hugging Face Hub。它为您自动生成所有元信息,上传漂亮的README(需要spaCy v3.1+),并在幕后处理版本控制。
🤗 关于Hugging Face Hub
Hugging Face Hub 托管基于Git的存储库,这些存储库是包含所有文件的存储空间。这些存储库具有多个优点: 版本控制(提交历史和差异),分支,关于其任务、语言、指标等的实用 元数据,基于浏览器的 可视化工具,可以交互式地在浏览器中探索模型,以及用于在生产中使用模型的 API。
🚀 快速入门
您可以从pip安装 spacy-huggingface-hub
pip install spacy-huggingface-hub
为了检查命令是否已成功注册
python -m spacy huggingface-hub --help
您可以将任何与 spacy包
打包的流水线上传。请确保设置 --build wheel
以输出二进制 .whl
文件。上传器将读取流水线包中的所有元数据,包括自动生成的漂亮的 README.md
和 meta.json
中的模型详情。
huggingface-cli login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl
命令将输出两样东西
- 在Hub中找到你的仓库的位置!例如,https://hugging-face.cn/spacy/en_core_web_sm
- 以及如何直接从Hub中安装管道!
pip install https://hugging-face.cn/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl
现在你可以非常快速地将你的管道与其他人共享。此外,你还可以直接在浏览器中测试你的管道!
⚙️ 用法和API
如果spaCy已经安装在同一环境中,此软件包将自动将spacy huggingface-hub
命令添加到CLI。如果你没有安装spaCy,也可以通过该软件包直接执行CLI。
push
python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
python -m spacy_huggingface_hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
参数 | 类型 | 描述 |
---|---|---|
whl_path |
str / Path |
包装在spacy package 中的.whl 文件的路径。 |
--org , -o |
str | 可选的组织名称,管道应上传到该组织。 |
--msg , -m |
str | Commit message to use for update. Defaults to "Update spaCy pipeline" . |
--verbose , -V |
bool | 输出额外的调试信息,例如完整的生成的hub元数据。 |
从Python使用
除了使用CLI,你还可以从Python调用push
函数。它返回一个包含已发布模型"url"
和轮文件"whl_url"
的字典,你可以使用pip install
安装。
from spacy_huggingface_hub import push
result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])
项目详情
下载文件
下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。
源分布
spacy-huggingface-hub-0.0.10.tar.gz (7.6 kB 查看散列)
构建分布
关闭
散列 for spacy_huggingface_hub-0.0.10-py3-none-any.whl
算法 | 散列摘要 | |
---|---|---|
SHA256 | 9b7eb432e0d9a9379fb8d757d3fe6caaabee7c8fbba50d768d4f5c7df5c48c91 |
|
MD5 | f7ec236ed645dd116329013e0fa6eb36 |
|
BLAKE2b-256 | b5ed1561ff7a7d0c12f4ce6f549e226e69a4ce806862913c0737270c16ea0bdf |