spaCy预训练BERT和其他transformers的流水线
项目描述
spacy-transformers: 在spaCy中使用预训练的transformers如BERT, XLNet和GPT-2
此软件包提供了spaCy组件和架构,通过Hugging Face的transformers
在spaCy中使用transformer模型。结果是方便地访问最先进的transformer架构,如BERT,GPT-2,XLNet等。
特性
- 使用预训练的转换器模型,如 BERT、RoBERTa 和 XLNet,为您的 spaCy 管道提供动力。
- 简单的 多任务学习:从多个管道组件反向传播到一个转换器模型。
- 使用 spaCy v3 的强大且可扩展的配置系统进行训练。
- 自动将转换器输出与 spaCy 的分词对齐。
- 轻松自定义在
Doc
对象中保存的转换器数据。 - 轻松自定义文档的处理长度。
- 开箱即用的序列化和模型打包。
🚀 安装
从 pip 安装此包将自动安装所有依赖项,包括 PyTorch 和 spaCy。确保在安装模型之前安装此包。请注意,此包需要 Python 3.6+、PyTorch v1.5+ 和 spaCy v3.0+。
pip install 'spacy[transformers]'
对于 GPU 安装,使用 nvcc --version
查找您的 CUDA 版本,并在括号中添加 版本,例如,使用 CUDA9.2 的 spacy[transformers,cuda92]
或使用 CUDA10.0 的 spacy[transformers,cuda100]
。
如果您在安装 PyTorch 时遇到问题,请遵循官方网站上的 说明,针对您的特定操作系统和需求进行操作。
📖 文档
⚠️ 重要提示:此包已进行大量重构,以利用 spaCy v3.0。为 spaCy v2.x 构建的先前版本工作方式相当不同。请参阅此 README 的先前标记版本以获取有关先前版本的文档。
- 📘 Embeddings, Transformers and Transfer Learning:如何在 spaCy 中使用转换器
- 📘 Training Pipelines and Models:在您的数据上训练和更新组件,并集成自定义模型
- 📘 Layers and Model Architectures:使用自定义神经网络为 spaCy 组件提供动力
- 📗
Transformer
:管道组件 API 参考 - 📗 Transformer architectures:架构和注册函数
应用预训练文本和标记分类模型
请注意,来自 spacy-transformers
的 transformer
组件不支持特定于任务的头部,如标记或文本分类。可以将特定于任务的转换器模型用作特征源,以训练 spaCy 组件(如 ner
或 textcat
),但 transformer
组件不提供对特定于任务的头部进行训练或推理的访问。
或者,如果您只想使用现有 Hugging Face 文本或标记分类模型的 预测,则可以使用来自 spacy-huggingface-pipelines
的封装器,将特定于任务的转换器模型纳入您的 spaCy 管道。
错误报告和其他问题
请使用 spaCy 的错误跟踪器报告错误,或在 讨论板 上打开新线程,以解决任何其他问题。
项目详情
下载文件
下载适用于您平台的应用文件。如果您不确定选择哪个,请了解有关 安装包 的更多信息。
源代码分发
构建分布
spacy_transformers-1.3.5.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | accdfe44a26517714c6990ec6bae88796eb348286fea7ba20ba2736f70c83fa1 |
|
MD5 | 91553a72c9a277590d03e349f532b0b9 |
|
BLAKE2b-256 | 3f635c76fdfa6bc4905c41031ab7ef2a5da221e438141e629ddf3f2729fd778c |
spacy_transformers-1.3.5-cp312-cp312-win_amd64.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | ab5b79775f1a9b12370f86a4b282a5d9889fdb067305203e81fc4ec990cbc737 |
|
MD5 | 19412c01028accb086c0aa4b87ea7db2 |
|
BLAKE2b-256 | 881668e937c6b78c67209c8fa521ef5ec020c57bd5539a3e1ea422dc0819e89e |
哈希值 用于 spacy_transformers-1.3.5-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 29dbde65d88cd9f14f05c3428558f5cb981e7b5c9374aac9f83fb786d5c6bf2c |
|
MD5 | 06ba09f1460d886f1d781065a26f0d74 |
|
BLAKE2b-256 | 095e6ea1cbe7b42f5f3d8acadca4493d9b7543ebef02a5e459cb9d15f760330d |
哈希值 用于 spacy_transformers-1.3.5-cp312-cp312-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 8e7fdb8b1b12d4a07a4bf5af98ab7035830030594c8900b681644b4cfdffddf2 |
|
MD5 | dfda1975660c7fc3f17ec2c0bb5ac7ad |
|
BLAKE2b-256 | 7c5d42dddcd71e285c91d6ff16da2f964d66aadc90dadb51bc69c3e0684d391d |
哈希值 用于 spacy_transformers-1.3.5-cp312-cp312-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0aa12d703c58a3423ad913c99f5056b71963d000126336406262ba4d6474f22f |
|
MD5 | 984704b4e449621150ef9f33d97064b9 |
|
BLAKE2b-256 | beb59fc76fc89f2f018e97c5ff6710b8cda02015f1432a2ef8af13856ec4a6fd |
哈希值 用于 spacy_transformers-1.3.5-cp311-cp311-win_amd64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 2b6c1152e19d0f8dfb79febcf6792f43e31acb76b836b3b57fa2cc7dd9c11c28 |
|
MD5 | ac2fc63bc4cdfffc5e0db46f8600961a |
|
BLAKE2b-256 | 18fa3ec6da0467330fc1e6ad235115a34d03ec75288aa351be28afd886ef5634 |
哈希值 用于 spacy_transformers-1.3.5-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 47f72d35f5aa4f88e0f3b9ff62a29985bff6ba940d13ba20ca165d61241b8410 |
|
MD5 | de1549e8fefe7500c08b79d763421d78 |
|
BLAKE2b-256 | be6cbe84e5fd8ea01dfded24e176007db067f2c988ae2be89fe092f3b780d986 |
哈希值 用于 spacy_transformers-1.3.5-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | c39e546f5f44a6838a290b986e7f6f8aa7d2613962cf753dc16e18da932be0ae |
|
MD5 | a521ecfa0412bcf057744d470e9bbf62 |
|
BLAKE2b-256 | 3cfd2160d60dbf0645d8a19b338bf82d6076dcd7bb16f62d1ca0bbb5d0899129 |
哈希值 用于 spacy_transformers-1.3.5-cp311-cp311-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | c0aa0a2cc401414d48a5cfc6c13bbedabb07dc672c384f5594ec5d578ff9e6a5 |
|
MD5 | 73cad1168c25b38305f5a4c4252da59f |
|
BLAKE2b-256 | 9e2ebf101506a2af14bf13f64c1914a25ef8723c7648b402014dc624d90ce8b7 |
哈希值 用于 spacy_transformers-1.3.5-cp311-cp311-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6a0de2c301864ece1eb84b5249ff1b0a7a01900cc26bb67f72eea00146d06b9f |
|
MD5 | aef673b84f53baf05922545d08cd8c57 |
|
BLAKE2b-256 | f10bd89c4370f5f2c62242fa4a7fa4c23ccc7f7d6385df1abf77b2d0d32a34ef |
哈希值 用于 spacy_transformers-1.3.5-cp310-cp310-win_amd64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 961a631cbf724847db280822df972dd5d05d39a70c21310da3e431fea4164dff |
|
MD5 | 0971e0e159c3d4d39a1833f8efe5dd3a |
|
BLAKE2b-256 | add77b26ff27198096b7249bd3ff94234d2b2cb5dc908700984d1c40e3a0b607 |
哈希值 用于 spacy_transformers-1.3.5-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6db43ea2a79b8dfcb7742d935af125d8f8daea2c4b5d33e933f246e348688cf0 |
|
MD5 | f26c77582fe58e8fb676856d2a9140ab |
|
BLAKE2b-256 | b8f53d1f121fa7de31c65a3078c687b8ffdb2bb34aebcb20fc862f285af81546 |
哈希值 用于 spacy_transformers-1.3.5-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 1e1a5fcf3d486111c46ee4c6e767e32e1ddda4f3f0c06feac0a987687bf6594f |
|
MD5 | 3531c5070c41158e6f49b5cdc07e7a66 |
|
BLAKE2b-256 | 4b5b6a7703f5ef42fb455a6863d3ad00ef9036a37025bda9ed96025564dd3d33 |
哈希值 用于 spacy_transformers-1.3.5-cp310-cp310-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 75de3cb416e8fae2195b7d88178133fd9a350aa266a24995e826b4304fb2d105 |
|
MD5 | a3973f917f9ea81717ef11fd0aa5f1d9 |
|
BLAKE2b-256 | 695a5025a810f3930e2329f2e14ce6ae79bed357521850b5aebe04c1368e5ed6 |
哈希值 用于 spacy_transformers-1.3.5-cp310-cp310-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 7f74f47a1d8b86d50c8ad6bba8334852cf19001e776b0c4a1f580bc0387d2f43 |
|
MD5 | b3a4ecc1983b30e9edba5a3935d55c24 |
|
BLAKE2b-256 | f749db11bd26aa6f2e3db29cc341e58e8f037be375fb5a25b8592ea0090f2ef2 |
哈希值 用于 spacy_transformers-1.3.5-cp39-cp39-win_amd64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 44392a83189e52faf5adc3ae8daff17e9eae543c81ab7f3cb8265670acc8c82a |
|
MD5 | 62e16787ee2eed54fbd7cdc81090c7e1 |
|
BLAKE2b-256 | a0773829e79e5cf19d0408c07d3bc5a1f118248423e248d74d869660fe6cf21d |
哈希值 用于 spacy_transformers-1.3.5-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0284256371ec1e15f1e1a6b541efd9d5462c6484e9d447f2da1bc76aee5ffa1e |
|
MD5 | 99075acbbeeb3faa46aeeea7dc71797f |
|
BLAKE2b-256 | 28bb0b9bbdc436a095e2d6eec9ce87146ae346ac3e3b3fc1fc4ba2d21e899330 |
哈希值 用于 spacy_transformers-1.3.5-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 9ae85cf563a771f060520de6b360ebec87a7344ae44b36429b75db0038ba55c6 |
|
MD5 | 55c25ba5224fbd8ca9fc7e1bad69f429 |
|
BLAKE2b-256 | e9c7310ca91b12d3549dd1db2dd7e4ba17ef31c8eb1b64b4d41f6e3663f9ddae |
哈希值 用于 spacy_transformers-1.3.5-cp39-cp39-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 5f184c117d427227266d623ffc456b2221a487616b3dd7e6262ba60bd34e604f |
|
MD5 | e86e92615ff281ab4459813ebd32a30e |
|
BLAKE2b-256 | b2f5fb468100ede9ae5533c384af6565b1a65b987de56b85b8c18f69c5d2aaa6 |
哈希值 用于 spacy_transformers-1.3.5-cp39-cp39-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 75fa1ff1b511ddb81c7a3b69a731635abb9a0b360413db77f788e81b4b06719f |
|
MD5 | 1d5566c5dab47c839e037569ff252223 |
|
BLAKE2b-256 | 416f6790034340e4318f3ec1ed89f133ea5ea0a094f44a9ccedde51294e18a78 |
哈希值 用于 spacy_transformers-1.3.5-cp38-cp38-win_amd64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | e02ee6e029fc6c9250ef6083743446c64007b4baee1de7d29c994c0103756aa9 |
|
MD5 | 47a501bcb81ebb6917cfa637f12becf9 |
|
BLAKE2b-256 | 69a072c2416d2659d0bb63a0b562f3f8a02a648d021a1db3acd571b5ab51fee3 |
哈希值 用于 spacy_transformers-1.3.5-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6b610d757e0617088e400e38d8118f0f911324b62eb63d2ff813caf6477181b8 |
|
MD5 | ef5698c06f4112518551c388a7ad7e5f |
|
BLAKE2b-256 | fc9de10e69d1f7779aa8fd0bb6de6b6d6623e172f1b37b38edc85a6c0815a3a5 |
哈希值 用于 spacy_transformers-1.3.5-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | ef54d2e00e5f1934ae7d2a09bc0fece79d628ebaf0ce733dd852fbce49e25773 |
|
MD5 | 130b2c8ff90ac35187d23bca0dffbedd |
|
BLAKE2b-256 | 866405eb2ee7634f82d0df4deda07573d60bc495d2a3063fd4621a3520030e7c |
哈希值 用于 spacy_transformers-1.3.5-cp38-cp38-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6ee966fdc83d1b5b3258cc19e40719a18380e99f286207216588fb0e7247745f |
|
MD5 | 999c79795ce0ab78c7cebf19b73f3354 |
|
BLAKE2b-256 | a1828d8b1e9af9069069da92d69d029dd140c0e97cb71b6fa3b87fddf0f08358 |
哈希值 用于 spacy_transformers-1.3.5-cp38-cp38-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 43a4f1da7dc05236cd9dbe9260dddfca7a4307805aecde0346cbc809ecf45892 |
|
MD5 | 93b0c3d52d654b655a0a57a7fadfaa64 |
|
BLAKE2b-256 | 558538ee066a77a4f700acfbabdeeab8392ffcde912bf0e582b5e1efc809637f |
哈希值 用于 spacy_transformers-1.3.5-cp37-cp37m-win_amd64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | e81aaab478f9bffe4c3aba22ab5afb2809c737ac23bbea553ceb0802538cf918 |
|
MD5 | 58249b546e974624d49eb5be01501244 |
|
BLAKE2b-256 | bdb728a3062e18cd593a895b097e4acfb80dc75faad6278e147b3750c1bbda90 |
哈希值 用于 spacy_transformers-1.3.5-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 9668bdc13dbd9f586d13f4e1e58ec6dba6108d08150ca2387c92a08caeedd184 |
|
MD5 | 096137f24ac69d255da5ba3526c0d314 |
|
BLAKE2b-256 | 0d1f256ce7dfbc6ee341987dc4cb233956c4deb11ee723cfdfb843b660e3130a |
哈希值 用于 spacy_transformers-1.3.5-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | b69f60113ecf7465aeb008ec8aad93ad9ef0c4472709c339cd80f9973f878af9 |
|
MD5 | 250807ff05053328f8425e76396a8f66 |
|
BLAKE2b-256 | a7395cb3ea01c505839f4774d5bc1ca267139cc4080c04a04f5a448ab61fca7b |
哈希值 for spacy_transformers-1.3.5-cp37-cp37m-macosx_10_9_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 474db46a6a12f5fba37f52adafed6b8a83b488d4bc4b532fd5f70489c5d7d232 |
|
MD5 | ae02f09ad0964412ec7c97c83304a91f |
|
BLAKE2b-256 | 47bf606fc0bada6cc6787661c272b757a4c9d05a3fefcc7bc80f45c6abeb6d55 |