spacy-ray: 使用spaCy和Ray进行并行和分布式训练

⚠️ 此存储库仍在开发中，需要新的 spaCy v3.0。

Ray 是一个快速简单的框架，用于构建和运行 分布式应用程序。这个非常轻量级的扩展包允许您使用Ray进行与 spaCy 的并行和分布式训练。如果 spacy-ray 在与spaCy相同的环境中安装，它将自动将 spacy ray 命令添加到您的spaCy CLI中。

主要命令是用于并行和分布式训练的 spacy ray train，但我们预计还会添加 spacy ray pretrain 和 spacy ray parse。

🚀 快速入门

您可以从pip安装 spacy-ray

pip install spacy-ray

检查命令是否成功注册

python -m spacy ray --help

使用与 spacy train 相同的API训练模型

python -m spacy ray train config.cfg --n-workers 2