benchmarkstt 1.1

关于

这是一个用于基准测试自动语音识别引擎的命令行工具。

它设计用于非学术生产环境，优先考虑易用性和相对基准测试，而不是科学程序和高精度绝对评分。

由于语言、算法和音频特性的广泛性，没有单个STT引擎可以在所有情况下都表现出色。因此，这个工具将责任放在用户身上，让他们设计自己的基准测试程序，并根据测试数据和指标的组合来决定哪个引擎最适合他们的特定用例。

使用示例

返回假设转写与参考之间的单词插入、删除、替换和匹配数

benchmarkstt --reference reference.txt --hypothesis hypothesis.txt --diffcounts

返回将参考和假设都转换为小写后的单词错误率。这种规范提高了单词错误率的准确性，因为它消除了可能被视为错误的差异

benchmarkstt -r reference.txt -h hypothesis.txt --wer --lowercase

在应用配置文件中指定的所有规范化规则后返回视觉差异

benchmarkstt -r reference.txt -h hypothesis.txt --worddiffs --config conf

更多信息

这是一个旨在创建用于基准测试AI/ML应用的库的合作项目。它是在响应广播公司和媒体组织访问服务提供商的需求时创建的，但任何人都可以贡献力量。该项目背后的团队是EBU的媒体信息管理与AI团队。

目前该团队专注于语音转文本，但它将考虑为其他AI/ML服务创建基准测试工具。

有关此项目的详细信息，包括动机和指导原则，请参阅项目的wiki。

要安装并开始使用此工具，请访问文档。