xFasterTransformer

英文 | 简体中文

xFasterTransformer是针对X86平台上的大型语言模型（LLM）的非常优化的解决方案，类似于GPU平台上的FasterTransformer。xFasterTransformer能够在多个套接字和节点上以分布式模式运行，以支持更大模型的推理。此外，它提供从高级到低级接口的C++和Python API，使其易于采用和集成。

目录

• xFasterTransformer
  • 目录
  • 模型概述
    • 模型支持矩阵
    • 支持的数据类型列表
  • 文档
  • 安装
    • 从PyPI
    • 使用Docker
    • 从源代码构建
      • 准备环境
        • 手动
        • 安装依赖库
        • 如何构建
  • 模型准备
  • API使用
    • Python API(PyTorch)
    • C++ API
  • 如何运行
    • 单秩
    • 多秩
      • 命令行
      • 代码
        • Python
        • C++
  • Web 示例
  • 服务
    • vLLM
      • 安装
      • OpenAI 兼容服务器
    • FastChat
    • MLServer
  • 基准
  • 支持
  • 接受论文
  • 问答

模型概述

大型语言模型（LLM）发展非常迅速，并且在许多AI场景中得到更广泛的应用。xFasterTransformer 是在 Xeon 上使用主流和流行 LLM 模型进行 LLM 推理的优化解决方案。xFasterTransformer 充分利用 Xeon 平台的硬件能力，在单插槽和多插槽/多节点上实现 LLM 推理的高性能和高可扩展性。

xFasterTransformer 为最终用户提供了一系列 API，包括 C++ 和 Python，以便他们可以将 xFasterTransformer 直接集成到自己的解决方案或服务中。还提供了一系列示例代码，以展示其用法。还提供了基准代码和脚本，供用户展示性能。还提供了流行 LLM 模型的 Web 示例。

模型支持矩阵

模型	框架		分布
	PyTorch	C++
ChatGLM	✔	✔	✔
ChatGLM2	✔	✔	✔
ChatGLM3	✔	✔	✔
GLM4	✔	✔	✔
Llama	✔	✔	✔
Llama2	✔	✔	✔
Llama3	✔	✔	✔
百川	✔	✔	✔
百川2	✔	✔	✔
QWen	✔	✔	✔
QWen2	✔	✔	✔
SecLLM(YaRN-Llama)	✔	✔	✔
Opt	✔	✔	✔
Deepseek-coder	✔	✔	✔
gemma	✔	✔	✔
gemma-1.1	✔	✔	✔
codegemma	✔	✔	✔

支持的数据类型列表

• FP16
• BF16
• INT8
• W8A8
• INT4
• NF4
• BF16_FP16
• BF16_INT8
• BF16_W8A8
• BF16_INT4
• BF16_NF4
• W8A8_INT8
• W8A8_int4
• W8A8_NF4

文档

xFasterTransformer 文档和 Wiki 提供以下资源

• xFasterTransformer 介绍。
• 全面的高级和低级接口 C++ 和 PyTorch 的 API 参考文档。
• xFasterTransformer 在 C++ 和 PyTorch 中的实用 API 使用示例。

安装

从PyPI

pip install xfastertransformer

使用Docker

docker pull intel/xfastertransformer:latest

使用以下命令运行 docker（假设模型文件位于 /data/ 目录）

docker run -it \
    --name xfastertransformer \
    --privileged \
    --shm-size=16g \
    -v /data/:/data/ \
    -e "http_proxy=$http_proxy" \
    -e "https_proxy=$https_proxy" \
    intel/xfastertransformer:latest

注意!!!：如果在多秩模式下运行时出现 bus error，请增加 --shm-size。默认 docker 将共享内存大小限制为 64MB，而我们的实现使用了多个共享内存来获得更好的性能。

从源代码构建

准备环境

手动

• PyTorch v2.3（当使用 PyTorch API 时需要，但在使用 C++ API 时不需要。）

  pip install torch --index-url https://download.pytorch.org/whl/cpu
  

• 对于 GPU，由于 DPC++ 需要 ABI=1，xFastTransformer 需要 torch==2.3.0+cpu.cxx11.abi 在 torch-whl-list。

安装依赖库

请安装 libnuma 包

• CentOS: yum install libnuma-devel
• Ubuntu: apt-get install libnuma-dev

如何构建

• 使用 'CMake'

  # Build xFasterTransformer
  git clone https://github.com/intel/xFasterTransformer.git xFasterTransformer
  cd xFasterTransformer
  git checkout <latest-tag>
  # Please make sure torch is installed when run python example
  mkdir build && cd build
  cmake ..
  make -j
  

• 使用 python setup.py

  # Build xFasterTransformer library and C++ example.
  python setup.py build
  
  # Install xFasterTransformer into pip environment.
  # Notice: Run `python setup.py build` before installation!
  python setup.py install
  

模型准备

xFasterTransformer 支持与 Huggingface 不同的模型格式，但与 FasterTransformer 的格式兼容。

1. 首先下载 Huggingface 格式的模型。

2. 然后，使用 xfastertransformer 中的模型转换模块将模型转换为 xFasterTransformer 格式。如果未提供输出目录，则转换后的模型将放置在 ${HF_DATASET_DIR}-xft。

   python -c 'import xfastertransformer as xft; xft.LlamaConvert().convert("${HF_DATASET_DIR}","${OUTPUT_DIR}")'
   

   PS：由于模型文件和 transformers 版本之间可能存在潜在的兼容性问题，请选择适当的 transformers 版本。

   支持的模型转换列表

   • LlamaConvert
   • YiConvert
   • GemmaConvert
   • ChatGLMConvert
   • ChatGLM2Convert
   • ChatGLM4Convert
   • OPTConvert
   • BaichuanConvert
   • Baichuan2Convert
   • QwenConvert
   • Qwen2Convert
   • DeepseekConvert

API使用

有关详细信息，请参阅 API 文档和 示例。

Python API(PyTorch)

首先，请安装依赖项。

• Python 依赖项

  pip install -r requirements.txt
  

  PS：由于模型文件和 transformers 版本之间可能存在潜在的兼容性问题，请选择适当的 transformers 版本。
• oneCCL（用于多秩）
  安装 oneCCL 并设置环境。请参阅 准备环境。

xFasterTransformer的Python API与transformers类似，也支持transformers的streamer以实现流式输出。在示例中，我们使用transformers将输入提示编码为token id。

import xfastertransformer
from transformers import AutoTokenizer, TextStreamer
# Assume huggingface model dir is `/data/chatglm-6b-hf` and converted model dir is `/data/chatglm-6b-xft`.
MODEL_PATH="/data/chatglm-6b-xft"
TOKEN_PATH="/data/chatglm-6b-hf"

INPUT_PROMPT = "Once upon a time, there existed a little girl who liked to have adventures."
tokenizer = AutoTokenizer.from_pretrained(TOKEN_PATH, use_fast=False, padding_side="left", trust_remote_code=True)
streamer = TextStreamer(tokenizer, skip_special_tokens=True, skip_prompt=False)

input_ids = tokenizer(INPUT_PROMPT, return_tensors="pt", padding=False).input_ids
model = xfastertransformer.AutoModel.from_pretrained(MODEL_PATH, dtype="bf16")
generated_ids = model.generate(input_ids, max_length=200, streamer=streamer)

C++ API

SentencePiece可用于对文本进行分词和反分词。

#include <vector>
#include <iostream>
#include "xfastertransformer.h"
// ChatGLM token ids for prompt "Once upon a time, there existed a little girl who liked to have adventures."
std::vector<int> input(
        {3393, 955, 104, 163, 6, 173, 9166, 104, 486, 2511, 172, 7599, 103, 127, 17163, 7, 130001, 130004});

// Assume converted model dir is `/data/chatglm-6b-xft`.
xft::AutoModel model("/data/chatglm-6b-xft", xft::DataType::bf16);

model.config(/*max length*/ 100, /*num beams*/ 1);
model.input(/*input token ids*/ input, /*batch size*/ 1);

while (!model.isDone()) {
    std::vector<int> nextIds = model.generate();
}

std::vector<int> result = model.finalize();
for (auto id : result) {
    std::cout << id << " ";
}
std::cout << std::endl;

如何运行

建议预加载libiomp5.so以获得更好的性能。

• [推荐]如果已安装xfastertransformer的python wheel包，请运行export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')。
• 如果从源代码构建xFasterTransformer，则成功构建后libiomp5.so文件将位于3rdparty/mkl/lib目录。

单秩

FasterTransformer将自动检查MPI环境，或者您可以使用环境变量SINGLE_INSTANCE=1强制禁用MPI。

多秩

命令行

使用MPI以多rank模式运行，请首先安装oneCCL。

• oneCCL安装

  • 如果您已从源代码构建了xfastertransformer，则在编译时oneCCL会安装在3rdparty中。

    source ./3rdparty/oneccl/build/_install/env/setvars.sh
    

  • [推荐]请使用提供的脚本从源代码构建它。

    cd 3rdparty
    sh prepare_oneccl.sh
    source ./oneccl/build/_install/env/setvars.sh
    

  • 通过安装Intel® oneAPI Base Toolkit安装oneCCL。(注意：建议使用2023.x及以下版本。）并通过以下命令设置环境：

    source /opt/intel/oneapi/setvars.sh
    

• 以下是在本地的一个示例。

  # or export LD_PRELOAD=libiomp5.so manually
  export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')
  OMP_NUM_THREADS=48 mpirun \
    -n 1 numactl -N 0  -m 0 ${RUN_WORKLOAD} : \
    -n 1 numactl -N 1  -m 1 ${RUN_WORKLOAD} 
  

代码

有关更多详细信息，请参阅示例。

Python

model.rank可以获取进程的rank，model.rank == 0是主进程。
对于从属进程，在加载模型后，唯一需要做的是model.generate()。输入和生成配置将自动同步。

model = xfastertransformer.AutoModel.from_pretrained("/data/chatglm-6b-xft", dtype="bf16")

# Slave
while True:
    model.generate()

C++

model.getRank()可以获取进程的rank，model.getRank() == 0是主进程。
对于从属进程，由于主进程的值将同步，因此可以输入任何值到model.config()和model.input。

xft::AutoModel model("/data/chatglm-6b-xft", xft::DataType::bf16);

// Slave
while (1) {
    model.config();
    std::vector<int> input_ids;
    model.input(/*input token ids*/ input_ids, /*batch size*/ 1);

    while (!model.isDone()) {
        model.generate();
    }
}

Web 示例

在仓库中提供了一个基于Gradio的web演示，现在支持ChatGLM、ChatGLM2和Llama2模型。

• 准备模型.
• 安装依赖项

  pip install -r examples/web_demo/requirements.txt
  

  PS：由于模型文件和 transformers 版本之间可能存在潜在的兼容性问题，请选择适当的 transformers 版本。
• 运行对应于模型的脚本。在Web服务器启动后，在浏览器中打开输出URL以使用演示。请指定模型和分词器目录的路径以及数据类型。transformer的分词器用于编码和解码文本，因此${TOKEN_PATH}表示huggingface模型目录。此演示也支持多rank。

# Recommend preloading `libiomp5.so` to get a better performance.
# or LD_PRELOAD=libiomp5.so manually, `libiomp5.so` file will be in `3rdparty/mkl/lib` directory after build xFasterTransformer.
export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')
python examples/web_demo/ChatGLM.py \
                      --dtype=bf16 \
                      --token_path=${TOKEN_PATH} \
                      --model_path=${MODEL_PATH}

服务

vLLM

创建了一个vLLM的分支来集成xFasterTransformer后端，保持了与大多数官方vLLM功能的兼容性。有关更多详细信息，请参阅此链接。

安装

pip install vllm-xft

注意：请不要在环境中同时安装vllm-xft和vllm。尽管包名不同，但它们实际上会相互覆盖。

OpenAI 兼容服务器

注意：需要预加载libiomp5.so！

# Preload libiomp5.so by following cmd or LD_PRELOAD=libiomp5.so manually
export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')

python -m vllm.entrypoints.openai.api_server \
        --model ${MODEL_PATH} \
        --tokenizer ${TOKEN_PATH} \
        --dtype bf16 \
        --kv-cache-dtype fp16 \
        --served-model-name xft \
        --port 8000 \
        --trust-remote-code

对于多rank模式，请使用python -m vllm.entrypoints.slave作为从属进程，并保持从属进程的参数与主进程一致。

# Preload libiomp5.so by following cmd or LD_PRELOAD=libiomp5.so manually
export $(python -c 'import xfastertransformer as xft; print(xft.get_env())')

OMP_NUM_THREADS=48 mpirun \
        -n 1 numactl --all -C 0-47 -m 0 \
          python -m vllm.entrypoints.openai.api_server \
            --model ${MODEL_PATH} \
            --tokenizer ${TOKEN_PATH} \
            --dtype bf16 \
            --kv-cache-dtype fp16 \
            --served-model-name xft \
            --port 8000 \
            --trust-remote-code \
        : -n 1 numactl --all -C 48-95 -m 1 \
          python -m vllm.entrypoints.slave \
            --dtype bf16 \
            --model ${MODEL_PATH} \
            --kv-cache-dtype fp16

FastChat

xFasterTransformer是FastChat的官方推理后端。请参阅FastChat中的xFasterTransformer和FastChat的托管以获取更多详细信息。

MLServer

提供了MLServer的示例托管，它支持REST和gRPC接口以及自适应批处理功能，可以在运行时将推理请求分组。

基准

提供了基准脚本，以快速获取模型推理性能。

• 准备模型.
• 安装依赖项，包括oneCCL和python依赖项。
• 进入benchmark文件夹并运行run_benchmark.sh。有关更多信息，请参阅基准README。

注意！！！：系统和CPU配置可能不同。为了获得最佳性能，请根据您的测试环境尝试修改OMP_NUM_THREADS、数据类型和内存节点数（使用numactl -H检查内存节点）。

支持

• xFasterTransformer 邮箱：xft.maintainer@intel.com
• xFasterTransformer 微信

接受论文

• 2024年 ICLR 在限制/低资源设置的实际机器学习会议：LLMs 在 CPU 上的分布式推理性能优化
• 2024年 ICML 在野外的基座模型会议：LLMs 在 CPU 上的推理性能优化
• 2024年 IEEE ICSESS：大型语言模型推理的一体化方法

如果xFasterTransformer对您的研究有帮助，请引用

@article{he2024distributed,
  title={Distributed Inference Performance Optimization for LLMs on CPUs},
  author={He, Pujiang and Zhou, Shan and Li, Changqing and Huang, Wenhuan and Yu, Weifei and Wang, Duyi and Meng, Chen and Gui, Sheng},
  journal={arXiv preprint arXiv:2407.00029},
  year={2024}
}

和

@inproceedings{he2024inference,
  title={Inference Performance Optimization for Large Language Models on CPUs},
  author={He, Pujiang and Zhou, Shan and Huang, Wenhuan and Li, Changqing and Wang, Duyi and Guo, Bin and Meng, Chen and Gui, Sheng and Yu, Weifei and Xie, Yi},
  booktitle={ICML 2024 Workshop on Foundation Models in the Wild}
}

问答

• 问：xFasterTransformer能在Intel® Core™ CPU上运行吗？
  答：不行。xFasterTransformer需要支持AMX和AVX512指令集，这些指令集在Intel® Core™ CPU上不可用。

• 问：xFasterTransformer能在Windows系统上运行吗？
  答：没有对Windows的原生支持，并且所有兼容性测试都是在Linux上进行的，因此推荐使用Linux。

• 问：通过oneAPI安装最新版本的oneCCL后，在多等级模式下运行程序时程序为什么会冻结或出错？
  答：请尝试将oneAPI降级到2023.x版本或以下，或使用提供的脚本来从源代码安装oneCCL。

• 问：为什么使用两个CPU插槽运行程序的性能比在单个CPU插槽上运行低得多？
  答：以这种方式运行会导致程序进行许多不必要的跨插槽通信，严重影响性能。如果需要跨插槽部署，请考虑在每个插槽上运行一个等级的多等级模式。

• 问：在单等级模式下运行时性能正常，但为什么使用MPI运行多个等级时性能非常慢且CPU利用率非常低？
  答：这是因为通过MPI启动的程序读取了OMP_NUM_THREADS=1，无法正确从环境中检索适当的值。需要根据实际情况手动设置OMP_NUM_THREADS的值。

• 问：为什么转换已支持模型时仍遇到错误？
  答：尝试将transformer降级到适当的版本，例如requirements.txt中指定的版本。这是因为不同版本的Transformer可能会更改某些变量的名称。