跳转到主要内容

spaCy预训练BERT和其他transformers的流水线

项目描述

spacy-transformers: 在spaCy中使用预训练的transformers如BERT, XLNet和GPT-2

此软件包提供了spaCy组件和架构,通过Hugging Face的transformers在spaCy中使用transformer模型。结果是方便地访问最先进的transformer架构,如BERT,GPT-2,XLNet等。

本版本发布需要 spaCy v3关于此库的先前版本,请参阅 v0.6.x 分支

tests PyPi GitHub Code style: black

特性

  • 使用预训练的转换器模型,如 BERTRoBERTaXLNet,为您的 spaCy 管道提供动力。
  • 简单的 多任务学习:从多个管道组件反向传播到一个转换器模型。
  • 使用 spaCy v3 的强大且可扩展的配置系统进行训练。
  • 自动将转换器输出与 spaCy 的分词对齐。
  • 轻松自定义在 Doc 对象中保存的转换器数据。
  • 轻松自定义文档的处理长度。
  • 开箱即用的序列化和模型打包。

🚀 安装

从 pip 安装此包将自动安装所有依赖项,包括 PyTorch 和 spaCy。确保在安装模型之前安装此包。请注意,此包需要 Python 3.6+PyTorch v1.5+spaCy v3.0+

pip install 'spacy[transformers]'

对于 GPU 安装,使用 nvcc --version 查找您的 CUDA 版本,并在括号中添加 版本,例如,使用 CUDA9.2 的 spacy[transformers,cuda92] 或使用 CUDA10.0 的 spacy[transformers,cuda100]

如果您在安装 PyTorch 时遇到问题,请遵循官方网站上的 说明,针对您的特定操作系统和需求进行操作。

📖 文档

⚠️ 重要提示:此包已进行大量重构,以利用 spaCy v3.0。为 spaCy v2.x 构建的先前版本工作方式相当不同。请参阅此 README 的先前标记版本以获取有关先前版本的文档。

应用预训练文本和标记分类模型

请注意,来自 spacy-transformerstransformer 组件不支持特定于任务的头部,如标记或文本分类。可以将特定于任务的转换器模型用作特征源,以训练 spaCy 组件(如 nertextcat),但 transformer 组件不提供对特定于任务的头部进行训练或推理的访问。

或者,如果您只想使用现有 Hugging Face 文本或标记分类模型的 预测,则可以使用来自 spacy-huggingface-pipelines 的封装器,将特定于任务的转换器模型纳入您的 spaCy 管道。

错误报告和其他问题

请使用 spaCy 的错误跟踪器报告错误,或在 讨论板 上打开新线程,以解决任何其他问题。

项目详情


发布历史 发布通知 | RSS 源

下载文件

下载适用于您平台的应用文件。如果您不确定选择哪个,请了解有关 安装包 的更多信息。

源代码分发

spacy_transformers-1.3.5.tar.gz (49.1 kB 查看哈希值)

上传时间: 源码

构建分布

spacy_transformers-1.3.5-cp312-cp312-win_amd64.whl (342.3 kB 查看哈希值)

上传时间: CPython 3.12 Windows x86-64

spacy_transformers-1.3.5-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (198.2 kB 查看哈希值)

上传时间: CPython 3.12 manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp312-cp312-macosx_11_0_arm64.whl (172.9 kB 查看哈希值)

上传时间: CPython 3.12 macOS 11.0+ ARM64

spacy_transformers-1.3.5-cp312-cp312-macosx_10_9_x86_64.whl (180.4 kB 查看哈希值)

上传时间: CPython 3.12 macOS 10.9+ x86-64

spacy_transformers-1.3.5-cp311-cp311-win_amd64.whl (343.6 kB 查看哈希值)

上传时间: CPython 3.11 Windows x86-64

spacy_transformers-1.3.5-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (197.7 kB 查看哈希值)

上传时间: CPython 3.11 manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (190.9 kB 查看哈希值)

上传时间: CPython 3.11 manylinux: glibc 2.17+ ARM64

spacy_transformers-1.3.5-cp311-cp311-macosx_11_0_arm64.whl (175.0 kB 查看哈希值)

上传时间: CPython 3.11 macOS 11.0+ ARM64

spacy_transformers-1.3.5-cp311-cp311-macosx_10_9_x86_64.whl (181.3 kB 查看哈希值)

上传时间: CPython 3.11 macOS 10.9+ x86-64

spacy_transformers-1.3.5-cp310-cp310-win_amd64.whl (343.2 kB 查看哈希值)

上传于 CPython 3.10 Windows x86-64

spacy_transformers-1.3.5-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (197.8 kB 查看哈希值)

上传于 CPython 3.10 manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (191.1 kB 查看哈希值)

上传于 CPython 3.10 manylinux: glibc 2.17+ ARM64

spacy_transformers-1.3.5-cp310-cp310-macosx_11_0_arm64.whl (174.9 kB 查看哈希值)

上传于 CPython 3.10 macOS 11.0+ ARM64

spacy_transformers-1.3.5-cp310-cp310-macosx_10_9_x86_64.whl (181.5 kB 查看哈希值)

上传于 CPython 3.10 macOS 10.9+ x86-64

spacy_transformers-1.3.5-cp39-cp39-win_amd64.whl (343.2 kB 查看哈希值)

上传于 CPython 3.9 Windows x86-64

spacy_transformers-1.3.5-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (198.0 kB 查看哈希值)

上传于 CPython 3.9 manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (191.2 kB 查看哈希值)

上传于 CPython 3.9 manylinux: glibc 2.17+ ARM64

spacy_transformers-1.3.5-cp39-cp39-macosx_11_0_arm64.whl (175.1 kB 查看哈希值)

上传于 CPython 3.9 macOS 11.0+ ARM64

spacy_transformers-1.3.5-cp39-cp39-macosx_10_9_x86_64.whl (181.6 kB 查看哈希值)

上传于 CPython 3.9 macOS 10.9+ x86-64

spacy_transformers-1.3.5-cp38-cp38-win_amd64.whl (343.4 kB 查看哈希值)

上传于 CPython 3.8 Windows x86-64

spacy_transformers-1.3.5-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (199.8 kB 查看哈希值)

上传时间: CPython 3.8 manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (192.5 kB 查看哈希值)

上传时间: CPython 3.8 manylinux: glibc 2.17+ ARM64

spacy_transformers-1.3.5-cp38-cp38-macosx_11_0_arm64.whl (174.3 kB 查看哈希值)

上传时间: CPython 3.8 macOS 11.0+ ARM64

spacy_transformers-1.3.5-cp38-cp38-macosx_10_9_x86_64.whl (180.7 kB 查看哈希值)

上传时间: CPython 3.8 macOS 10.9+ x86-64

spacy_transformers-1.3.5-cp37-cp37m-win_amd64.whl (341.3 kB 查看哈希值)

上传时间: CPython 3.7m Windows x86-64

spacy_transformers-1.3.5-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (194.1 kB 查看哈希值)

上传时间: CPython 3.7m manylinux: glibc 2.17+ x86-64

spacy_transformers-1.3.5-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (188.6 kB 查看哈希值)

上传时间: CPython 3.7m manylinux: glibc 2.17+ ARM64

spacy_transformers-1.3.5-cp37-cp37m-macosx_10_9_x86_64.whl (178.6 kB 查看哈希值)

上传时间: CPython 3.7m macOS 10.9+ x86-64

支持