InstructLab培训库

• 安装
  • 额外的Nvidia包
• 使用库
• 了解训练参数
  • TrainingArgs
  • DeepSpeedOptions
  • FSDPOptions
  • loraOptions
• 了解 TorchrunArgs 参数
• 带有参数的示例训练运行

为了简化使用 LAB 方法微调模型的过程，这个库提供了一个简单的训练接口。

安装库

要开始使用这个库，您必须克隆此存储库，并通过 pip 安装。

安装库

pip install instructlab-training 

然后您可以安装库以进行开发

pip install -e ./training

额外的 NVIDIA 软件包

这个库使用了 flash-attn 包以及其他一些依赖包，这些包需要安装 NVIDIA 特定的 CUDA 工具。如果您使用的是带有 CUDA 的 NVIDIA 硬件，您需要安装以下附加依赖项。

基本安装

pip install .[cuda]

可编辑安装（开发）

pip install -e .[cuda]

使用库

您可以通过导入必要的项来使用这个训练库。

from instructlab.training import (
    run_training,
    TorchrunArgs,
    TrainingArgs,
    DeepSpeedOptions
)

然后您可以定义各种训练参数。它们将成为您训练运行的参数。参见

• 了解训练参数
• 带有参数的示例训练运行

了解训练参数

TrainingArgs 类提供了训练作业的大部分自定义选项。您可以指定许多选项，例如设置 DeepSpeed 配置值或运行一个 LoRA 训练作业而不是完整的微调。

TrainingArgs

DeepSpeedOptions

该库目前仅在 DeepSpeedOptions 中支持少数选项：默认情况下，使用 DeepSpeed 运行，因此这些选项目前仅允许您自定义 ZeRO 阶段 2 优化器的方面。

有关 DeepSpeed 的更多信息，请参阅 deepspeed.ai

FSDPOptions

与 DeepSpeed 类似，我们仅公开了您可以使用 FSDP 修改的一些参数。下面列出了它们

[!NOTE] 对于 sharding_strategy - 目前仅 SHARD_GRAD_OP 经过广泛测试，并得到本库的积极支持。

loraOptions

当前支持的 LoRA 选项

带有 LoRa 选项的示例运行

如果您想进行 LoRA 训练，可以通过 LoraOptions 对象将 LoRa 选项指定给 TrainingArgs。

from instructlab.training import LoraOptions, TrainingArgs

training_args = TrainingArgs(
    lora = LoraOptions(
        rank = 4,
        alpha = 32,
        dropout = 0.1,
    ),
    # ...
)

了解 TorchrunArgs 参数

在运行训练脚本时，我们始终调用 torchrun。

如果您正在运行单 GPU 系统或不需要分布式训练配置的其他系统，您可以创建一个默认对象

run_training(
    torchrun_args=TorchrunArgs(),
    training_args=TrainingArgs(
        # ...
    ),
)

但是，如果您想指定更复杂的配置，该库目前支持 torchrun 今天接受的全部选项。

[!NOTE] 关于 torchrun 参数的更多信息，请参阅 torchrun 文档。

带有 TorchrunArgs 参数的示例训练运行

例如，在一个 8-GPU、2 机器的系统上，我们会指定以下 torchrun 配置

MASTER_ADDR = os.getenv('MASTER_ADDR')
MASTER_PORT = os.getnev('MASTER_PORT')
RDZV_ENDPOINT = f'{MASTER_ADDR}:{MASTER_PORT}'

# on machine 1
torchrun_args = TorchrunArgs(
    nnodes = 2, # number of machines 
    nproc_per_node = 4, # num GPUs per machine
    node_rank = 0, # node rank for this machine
    rdzv_id = 123,
    rdzv_endpoint = RDZV_ENDPOINT
)

run_training(
    torchrun_args=torchrun_args,
    training_args=training_args
)

MASTER_ADDR = os.getenv('MASTER_ADDR')
MASTER_PORT = os.getnev('MASTER_PORT')
RDZV_ENDPOINT = f'{MASTER_ADDR}:{MASTER_PORT}'

# on machine 2
torchrun_args = TorchrunArgs(
    nnodes = 2, # number of machines 
    nproc_per_node = 4, # num GPUs per machine
    node_rank = 1, # node rank for this machine
    rdzv_id = 123,
    rdzv_endpoint = f'{MASTER_ADDR}:{MASTER_PORT}'
)

run_training(
    torch_args=torchrun_args,
    train_args=training_args
)

带有参数的示例训练运行

定义训练参数，这些参数将作为我们训练运行的参数

# define training-specific arguments
training_args = TrainingArgs(
    # define data-specific arguments
    model_path = "ibm-granite/granite-7b-base",
    data_path = "path/to/dataset.jsonl",
    ckpt_output_dir = "data/saved_checkpoints",
    data_output_dir = "data/outputs",

    # define model-trianing parameters
    max_seq_len = 4096,
    max_batch_len = 60000,
    num_epochs = 10,
    effective_batch_size = 3840,
    save_samples = 250000,
    learning_rate = 2e-6,
    warmup_steps = 800,
    is_padding_free = True, # set this to true when using Granite-based models
    random_seed = 42,
)

我们还需要定义通过 torchrun 运行多进程作业的设置。为此，创建一个 TorchrunArgs 对象。

[!TIP] 注意，对于单 GPU 作业，您只需将 nnodes = 1 和 nproc_per_node=1 设置为即可。

torchrun_args = TorchrunArgs(
    nnodes = 1, # number of machines 
    nproc_per_node = 8, # num GPUs per machine
    node_rank = 0, # node rank for this machine
    rdzv_id = 123,
    rdzv_endpoint = '127.0.0.1:12345'
)

最后，只需调用 run_training，此库将处理其余部分 😊。

run_training(
    torchrun_args=torchrun_args,
    training_args=training_args,
)