使用选定的工具链自动标注自然语言

该项目刚刚发布第一个版本，仍在开发中。

描述

《nlpannotator》包作为一个模块化工具链，用于将不同的自然语言处理（nlp）工具结合起来标注文本（分句、分词、词性（POS）和词元）。

可以组合的工具包括

• spaCy（分句、分词、POS、词元）
• stanza（分句、分词、POS、词元）
• SoMaJo（分句、分词）
• Flair（POS）
• Treetagger（分词、POS、词元）这些工具可以以任何所需的方式组合，以实现最大效率或准确性。

安装

从PyPi安装项目和其依赖项

pip install nlpannotator

语言模型需要单独安装。您可以使用此处提供的便利脚本（安装spaCy和stanza实现的所有语言的全部语言模型）

该包还使用了Treetagger。您可以使用shell中的treetagger_install命令安装依赖项，或者在其Python中调用它

import nlpannotator.install_treetagger
nlpannotator.install_treetagger.install_tagger()

选项

所有输入选项都提供在输入字典中。可以使用两种预置的工具链：使用 spaCy 的 fast 用于所有标注；使用 SoMaJo 的 accurate 进行句子分割和分词，以及使用 stanza 进行词性标注和词形还原；以及 手动，在这种情况下可以使用 spaCy、stanza、SoMaJo、Flair 和 Treetagger 的任何组合，前提是工具支持所选标注和语言。

工具

可用的标注工具列于下文，可以使用以下关键词进行设置

• spaCy: spacy
• stanza: stanza
• SoMaJo: somajo
• Flair: flair
• Treetagger: treetagger

处理器

可用的处理器取决于所选工具。以下是可能选项的摘要

语言

可用的语言取决于所选工具。迄今为止，以下语言已添加到管道中（可能还有其他语言模型可用于相应工具，但尚未添加到此包中 - 对于 stanza，管道仍将运行并在需要时加载模型）。

输入/输出

nlpannotator 预期一个原始文本文件作为输入，以及一个指定所选选项的输入字典。在启动运行时，也会打印出输入字典，以便存储所选选项并在以后查找。这两者都可以通过 Jupyter 接口提供，如 演示笔记本 中的那样。

生成的输出是 vrt 格式（用于 cwb）或 xml。这两种输出格式都可以直接编码到 cwb。

演示笔记本

查看DemoNotebook，或在Binder上运行。

问题和错误报告

请使用我们的问题跟踪器提问/提交错误报告。

贡献

欢迎贡献。请Fork nlpannotator仓库，并为代码的任何更改提交Pull Request。这些更改将由我们的团队审核和合并。请确保您的贡献是干净的，格式正确的，并且对于任何新的模块，请遵循通用设计原则。

查看源代码文档。

新增功能必须至少有80%的测试覆盖率。

发布

发布摘要和发布说明可在此处找到。