跳转到主要内容

快速将spaCy流水线推送到Hugging Face Hub

项目描述

spacy-huggingface-hub:将您的spaCy流水线推送到Hugging Face Hub

此包提供了一个CLI命令,用于将任何与 spacy包 打包的已训练spaCy流水线上传到 Hugging Face Hub。它为您自动生成所有元信息,上传漂亮的README(需要spaCy v3.1+),并在幕后处理版本控制。

PyPi GitHub

🤗 关于Hugging Face Hub

Hugging Face Hub 托管基于Git的存储库,这些存储库是包含所有文件的存储空间。这些存储库具有多个优点: 版本控制(提交历史和差异),分支,关于其任务、语言、指标等的实用 元数据,基于浏览器的 可视化工具,可以交互式地在浏览器中探索模型,以及用于在生产中使用模型的 API

🚀 快速入门

您可以从pip安装 spacy-huggingface-hub

pip install spacy-huggingface-hub

为了检查命令是否已成功注册

python -m spacy huggingface-hub --help

您可以将任何与 spacy包 打包的流水线上传。请确保设置 --build wheel 以输出二进制 .whl 文件。上传器将读取流水线包中的所有元数据,包括自动生成的漂亮的 README.mdmeta.json 中的模型详情。

huggingface-cli login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

命令将输出两样东西

pip install https://hugging-face.cn/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl

现在你可以非常快速地将你的管道与其他人共享。此外,你还可以直接在浏览器中测试你的管道!

Image of browser widget

⚙️ 用法和API

如果spaCy已经安装在同一环境中,此软件包将自动将spacy huggingface-hub命令添加到CLI。如果你没有安装spaCy,也可以通过该软件包直接执行CLI。

push

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
python -m spacy_huggingface_hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]
参数 类型 描述
whl_path str / Path 包装在spacy package中的.whl文件的路径。
--org, -o str 可选的组织名称,管道应上传到该组织。
--msg, -m str Commit message to use for update. Defaults to "Update spaCy pipeline".
--verbose, -V bool 输出额外的调试信息,例如完整的生成的hub元数据。

从Python使用

除了使用CLI,你还可以从Python调用push函数。它返回一个包含已发布模型"url"和轮文件"whl_url"的字典,你可以使用pip install安装。

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源分布

spacy-huggingface-hub-0.0.10.tar.gz (7.6 kB 查看散列)

上传时间

构建分布

spacy_huggingface_hub-0.0.10-py3-none-any.whl (8.3 kB 查看散列)

上传时间 Python 3

由以下机构支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面