跳转到主要内容

评分建模工具

项目描述

评分评分建模工具

Gitlab CI status Azure Pipeline status Coverage status Conda package for SKLL Docs DOI for citing RSMTool Supported python versions for RSMTool Latest version on PyPI License

简介

自动评分书面和口头测试答案在教育自然语言处理领域正在不断发展。自动评分引擎采用机器学习模型,根据从这些答案的文本/音频中提取的特征来预测评分。自动评分引擎的例子包括项目作文评分(用于书面回答)和语音评分器(用于口头回答)。

评分员评分建模工具(RSMTool)是一个Python包,它将构建和评估此类评分模型时通常进行的多个分析自动化并合并到一个单一管道中。RSMTool的输出是一个全面、可定制的HTML统计报告,其中包含这些多个分析的结果。虽然RSMTool确实可以通过单个命令运行一组标准分析而变得非常简单,但它也完全可定制,允许用户轻松排除不需要的分析、修改默认分析,甚至将自定义分析包含在报告中。

我们预计RSMTool的主要用户将是正在开发新的自动评分引擎或改进现有引擎的研究人员。请注意,RSMTool本身不是一个评分引擎,而是一个用于构建和评估可能用于此类引擎的机器学习模型的工具。

RSMTool由用户必须提供的配置文件驱动。由于选项众多,这对新用户来说可能会变得很复杂。这就是为什么RSMTool可以通过交互式引导提示帮助用户生成配置文件!下面的视频展示了此功能。

Interactive Generation Demo Video

入门

要开始使用RSMTool,请参阅全面的官方文档。如果您在macOS上使用Dash应用程序,还可以下载完整的RSMTool文档以供离线使用。转到Dash首选项,点击“下载”,然后点击“用户贡献”,并搜索“RSMTool”。

要求

  • ipython

  • jupyter

  • notebook

  • numpy<2

  • openpyxl

  • pandas

  • python>=3.8

  • scikit-learn

  • scipy

  • seaborn

  • shap

  • skll==4.0.1

  • statsmodels

  • wandb

  • xlrd

  • xlwt

贡献

非常欢迎对RSMTool的贡献。有关如何开始开发RSMTool的新功能或功能的说明,请参阅文档

引用

如果您在工作中使用了RSMTool,可以按照以下方式引用它

MLA

Madnani,Nitin和Loukina,Anastassia。“RSMTool:构建和评估自动评分模型的工具集”。开源软件杂志1(3),2016。

BibTex

@article{MadnaniLoukina2016,
  doi = {10.21105/joss.00033},
  url = {http://dx.doi.org/10.21105/joss.00033},
  year  = {2016},
  month = {jul},
  publisher = {The Open Journal},
  volume = {1},
  number = {3},
  author = {Nitin Madnani and Anastassia Loukina},
  title = {{RSMTool}: A Collection of Tools for Building and Evaluating Automated Scoring Models},
  journal = {{Journal of Open Source Software}}
}

更新日志

查看GitHub发布

项目详情


下载文件

下载适用于您平台的文件。如果您不确定要选择哪个,请了解更多关于安装包的信息。

源代码分发

rsmtool-12.0.0.tar.gz (212.8 kB 查看哈希值)

上传时间 源代码

由以下提供支持