SimulEval

SimulEval 是一个用于文本和语音同步翻译的通用评估框架。完整文档可以在 这里 找到。

安装

git clone https://github.com/facebookresearch/SimulEval.git
cd SimulEval
pip install -e .

快速开始

以下是一个评估 虚拟代理 的示例，该代理采用 wait-k（k = 3）策略，并生成随机单词，直到生成的单词长度与所有源单词的总数相同。

cd examples/quick_start
simuleval --source source.txt --target target.txt --agent first_agent.py

许可证

SimulEval 使用 Creative Commons BY-SA 4.0 许可。

引用

请引用如下

@inproceedings{simuleval2020,
  title = {Simuleval: An evaluation toolkit for simultaneous translation},
  author = {Xutai Ma, Mohammad Javad Dousti, Changhan Wang, Jiatao Gu, Juan Pino},
  booktitle = {Proceedings of the EMNLP},
  year = {2020},
}