modalities 0.3.0

Modalities是一个用于大规模分布式训练大型语言模型（LLMs）和基础模型（FMs）的PyTorch原生框架。鉴于分布式训练的复杂性和该领域的快速发展，我们旨在提供一个灵活且易于使用的框架，使研究人员和从业者能够高效地训练和评估LLMs和FMs。Modalities建立在PyTorch之上，利用分布式训练的最新进展，如完全分片数据并行（FSDP）、混合精度训练、Flash Attention等，以实现最先进的性能和吞吐量。

我们在两个高性能计算中心将Modalities扩展到了2048个GPU，分别是Leonardo Booster和MareNostrum 5，分别配备了Nvidia A100和H100 GPU。我们的扩展实验结果可以在这里找到。

除了可扩展性外，Modalities 允许无缝集成新的组件和功能，例如自定义注意力机制、损失函数、优化器或模型。我们提供了一系列教程，帮助您开始使用 Modalities 训练和评估模型。我们通过为每个组件类型（例如，模型、优化器等）提供清晰的接口来实现这种级别的可扩展性，组件必须实现这些接口才能在运行时在 Modalities 中注册。

入门指南

对于模型的训练和评估，您可以查看这个入门指南 链接，其中我们在 Redpajama V2 数据集的一个小子集上训练了一个小型、60M 参数的 GPT 模型。

安装

安装 Modalities 有两种方式。如果您想使用最新的夜间版本，或者想修改代码库本身，我们建议直接从源代码安装 Modalities。

如果您想将 Modalities 作为库使用，并使用 Modalities 注册您的自定义组件，您可以直接通过 pip 安装它，它为您提供了最新的稳定版本。

选项 1：从源代码安装

创建一个 conda 环境并通过以下方式激活它：

conda create -n modalities python=3.10
conda activate modalities

通过以下方式克隆仓库：

git clone git@github.com:Modalities/modalities.git

或者将仓库作为 zip 文件下载并解压。

wget https://github.com/Modalities/modalities/archive/refs/heads/main.zip
unzip main.zip

目前，在没有先安装 torch 的情况下无法安装 flash attention 依赖项。直到 flash attention 开发者修复此问题，我们必须运行以下命令：

pip install torch

。

之后，可以通过以下方式安装 Modalities：

cd modalities
pip install -e . 

选项 2：通过 pip 安装

要使用 pip 安装 Modalities，请运行

pip install torch
pip install modalities

注意，在这里，由于 flash attention 的依赖项管理，在安装 Modalities 之前也必须安装 torch。

使用

Modalities 提供了几个入口点与框架交互。以下部分列出了可用的入口点和它们相应的功能。

模型训练

对于模型预训练，我们必须传递一个配置文件，该文件指定了模型架构、优化器、数据集、数据加载器和其他训练组件。此外，我们还指定了节点数、每个节点的进程数和 rendezvous 端点。

示例

CUDA_VISIBLE_DEVICES=0,1,2,3 torchrun --rdzv-endpoint localhost:29515 \
                                        --nnodes 1 \
                                        --nproc_per_node 4 \
                                        $(which modalities) run --config_file_path configs/pretraining_config.yaml

说明

• CUDA_VISIBLE_DEVICES=0,1,2,3：这个环境变量指定了将用于作业的 GPU。在上面的示例中，ID 为 0、1、2、3 的四个 GPU 被用于训练。

• torchrun：这是 PyTorch 中的一个实用工具，用于启动分布式训练。它自动管理分布式训练中的多个进程。

• --rdzv-endpoint localhost:29515：指定 rendezvous 端点。在这里，localhost 是机器的地址，29515 是端口。rendezvous 端点协调分布式训练中涉及的进程。

• --nnodes 1：指定在分布式设置中使用的节点数。在上面的示例中，使用的是单个节点设置。

• --nproc_per_node 4：这个参数告诉 torchrun 在每个节点上启动多少个进程。在上面的示例中，每个节点启动 4 个进程，对应于由 CUDA_VISIBLE_DEVICES 指定的 4 个 GPU（ID 为 0、1、2、3）。

• $(which modalities) run：这部分动态查找 Modalities 可执行文件的路径并运行它。运行命令触发主进程以启动训练。

• --config_file_path configs/pretraining_config.yaml：该参数提供了训练作业配置文件的路径。例如，上面给出的是 configs/pretraining_config.yaml。配置文件包含所有训练组件（例如，数据集、模型、优化器等）的全面参数化，使得训练可完全重现。示例配置文件可以在这里找到，Modalities中可用的组件完整列表可以在这里找到。

如果您是VSCode用户，可能需要将其添加到您的launch.json

        {
            "name": "Torchrun Main",
            "type": "python",
            "request": "launch",
            "module": "torch.distributed.run",
            "env": {
                "CUDA_VISIBLE_DEVICES": "0,1,2,3"
            },
            "args": [
                "--nnodes",
                "1",
                "--nproc_per_node",
                "4",
                "--rdzv-endpoint=0.0.0.0:29515",
                "src/modalities/__main__.py",
                "run",
                "--config_file_path",
                "config_files/pretraining_config.yaml",
            ],
            "console": "integratedTerminal",
            "justMyCode": true,
            "envFile": "${workspaceFolder}/.env"
        }

这将允许您直接从VSCode运行训练端点并对其进行调试。

原始训练数据集索引化

索引化过程的目标是确定原始数据文件中每个文档的起始字节位置和长度。随后，索引文件用于在分词期间有效地访问原始数据。

示例

modalities data create_raw_index --index_path data/preprocessed/fineweb_edu_num_docs_483606.idx \
                                               data/raw/fineweb_edu_num_docs_483606.jsonl

说明

modalities data create_raw_index命令触发了从原始数据创建索引的过程。--index_path参数指定了生成的索引文件将被保存的位置。在本例中，索引将被存储在data/preprocessed/fineweb_edu_num_docs_483606.idx。最后一部分，即data/raw/fineweb_edu_num_docs_483606.jsonl，是包含原始数据的JSONL（JSON Lines）格式的输入文件。该命令将处理此文件以创建索引。

原始训练数据集分词

分词是将原始文本数据转换为模型可以使用的标记序列的过程。分词需要一个配置文件，全面描述分词过程，使其可完全重现。示例分词配置可以在这里找到。

示例

modalities data pack_encoded_data configs/tokenization_config.yaml

推理

对于对模型检查点的推理，我们必须传递一个配置文件，该文件指定了完整的推理设置。示例推理配置可以在这里找到。

示例

modalities generate_text --config_file_path example_text_generation_config.yaml 

教程

尽管Modalities极大地简化了LLM训练，但仍有一些技术复杂性。我们提供了一系列教程，帮助您使用Modalities开始训练和评估模型。

• Modalities 15分钟内完成
  在15分钟内使用Modalities训练密集模型

• 入门指南
  通过在Redpajama V2数据集的微小子集上训练一个小型的GPT模型，简要概述如何开始使用Modalities。

• Warmstart
  从检查点继续训练，例如在训练中断或崩溃后。

• 库使用
  如何将Modalities作为库使用，并使用Modalities注册自定义组件。

支持的功能

以下列出Modalities最重要的功能。

吞吐量功能

下游性能特性

扩展实验

以下是我们在一台高性能计算中心（HPC）进行的扩展实验结果，分别是Leonardo Booster和MareNostrum 5。

在第一步中，我们探索了一组有限的配置（批量大小、梯度累积步骤等），以获得我们的基线结果。在第二步中，我们将专注于优化这些配置以最大化吞吐量。

Leonardo Booster - NVIDIA A100 64GB

更多扩展结果可以在Leonardo 扩展实验中找到

MareNostrum 5 - NVIDIA H100 64GB

更多扩展结果可以在MareNostrum5 扩展实验中找到

贡献

Modalities 欢迎您的贡献！请查看我们有关格式、测试等方面的贡献指南。


非常感谢所有我们出色的贡献者！