neleval 3.1.1

实体链接评估

为TAC实体链接和相关维基化、命名实体消歧以及文档内和跨文档共指任务提供Python命令行评估脚本。

旨在实现 快速 和 灵活 的共指消解以及 复杂 的命名实体识别评估，例如部分重叠的黄金和系统提及的局部分数。特别是，CEAF在这里比在CoNLL-11/12评分器中计算得更快。它具有可配置的指标；考虑或忽略跨文档共指（请参阅evaluate --by-doc标志）；绘制系统、度量标准和语料库子集的比较；以及基于自助法的文档级评估指标的置信区间计算。

要求您的系统上安装了python (2.7，具有Py3k实验/部分支持) 以及numpy（并且最好有scipy以快速计算CEAF）和joblib。需要matplotlib以使用plot-systems命令。

使用以下命令查看命令列表：

./nel --help

或将安装到Python路径（例如，使用pip install git+https://github.com/wikilinks/neleval）然后

python -m neleval --help

TAC-KBP 2014 EDL 快速入门

./scripts/run_tac14_evaluation.sh \
    /path/to/gold.xml \              # TAC14 gold standard queries/mentions
    /path/to/gold.tab \              # TAC14 gold standard link and nil annotations
    /system/output/directory \       # directory containing (only) TAC14 system output files
    /script/output/directory \       # directory to which results are written
    number_of_jobs                   # number of jobs for parallel mode

系统中输出目录中的每个文件都与gold.tab进行评分。

TAC-KBP'15 EDL也提供了类似的设施。

更多详情

有关详细信息，请参阅文档。