基于osc变换器的提取器 0.1.3

快速入门

要安装基于OSC Transformer的提取器CLI，请使用pip

$ pip install osc-transformer-based-extractor

之后，您可以通过简单地输入以下内容将工具用作CLI工具

$ osc-transformer-based-extractor

我们正在使用typer来创建一个友好的CLI工具。所有详细信息和使用方法将在CLI工具中显示，这里不再详细描述。

示例：假设文件夹结构如下

project/
│
├── kpi_mapping.csv
├── training_data.csv
├── data/
│   └── (json files for inference command)
├── model/
│   └── (model-related files go here)
|── saved__model/
|   └── (output files trained models)
├── output/
│   └── (ouput files from inference command)

然后您现在可以简单地运行以下命令，在数据上微调模型（在安装osc-transformer-based-extractor之后）

$ osc-transformer-based-extractor relevance-detector fine-tune \
  --data_path "project/training_data.csv" \
  --model_name "bert-base-uncased" \
  --num_labels 2 \
  --max_length 128 \
  --epochs 3 \
  --batch_size 16 \
  --output_dir "project/saved__model/" \
  --save_steps 500

此外，还可以运行以下命令进行推理

$ osc-transformer-based-extractor relevance-detector perform-inference \
  --folder_path "project/data/" \
  --kpi_mapping_path "project/kpi_mapping.csv" \
  --output_path "project/output/" \
  --model_path "project/model/" \
  --tokenizer_path "project/model/" \
  --threshold 0.5

训练文件

要训练模型，您需要一个CSV文件，包含以下列

• 问题

• 上下文

• 标签

此外，还可以使用https://github.com/os-climate/osc-transformer-presteps模块的输出。输出将类似于以下示例数据

KPI映射文件

推理命令需要一个kpi-mapping.csv文件，其外观如下

pdm

要添加新依赖项，请使用pdm。您可以通过pdm add添加新包。例如，通过以下内容添加numpy

$ pdm add numpy

有关非常详细的描述，请查看pdm项目的首页

https://pdm-project.org/en/latest/

tox

为了运行linting工具，我们使用tox，您可以在虚拟环境外运行它

$ pip install tox
$ tox -e lint
$ tox -e test

这将自动对您的代码应用一些检查，并运行提供的pytests。有关tox的更多详细信息，请参阅tox项目的首页

https://tox.wiki/en/4.16.0/