Fairseq(-py)是一个序列建模工具包，允许研究人员和开发人员为翻译、摘要、语言建模和其他文本生成任务训练自定义模型。

我们提供了各种序列建模论文的参考实现

有什么新内容

• 2022年6月 发布了wav2vec-U 2.0的代码，来自面向端到端无监督语音识别（Liu等人，2022年）
• 2022年5月 与xFormers集成
• 2021年12月 发布了直接语音到语音翻译代码
• 2021年10月 发布了VideoCLIP和VLM模型
• 2021年10月 发布了多语言微调的XLSR-53模型
• 2021年9月 master分支重命名为main。
• 2021年7月 发布了DrNMT代码
• 2021年7月 发布了鲁棒的wav2vec 2.0模型
• 2021年6月 发布了XLMR-XL和XLMR-XXL模型
• 2021年5月 发布了无监督语音识别代码
• 2021年3月 添加了完整参数和优化器状态分片+CPU卸载
• 2021年2月 添加了LASER训练代码
• 2020年12月： 添加了自适应注意力跨度代码
• 2020年12月： GottBERT模型和代码发布
• 2020年11月：采用Hydra配置框架
  • 请参阅文档了解如何为新项目和现有项目使用它
• 2020年11月：发布 fairseq 0.10.0
• 2020年10月：添加了 R3F/R4F（更好的微调）代码
• 2020年10月：发布具有潜在深度的深度 Transformer 代码
• 2020年10月：添加了 CRISS 模型和代码

功能

• 在一台或多台机器上使用多 GPU 训练（数据并行和模型并行）
• 使用多种搜索算法在 CPU 和 GPU 上快速生成
  • 束搜索
  • 多样性束搜索（《Vijayakumar et al., 2016》）
  • 采样（无约束、top-k 和 top-p/nucleus）
  • 词法约束解码（《Post & Vilar, 2018》）
• 梯度累积使得即使在单个 GPU 上也可以使用大型微批训练
• 混合精度训练（在NVIDIA 张量核心上使用更少的 GPU 内存训练速度更快）
• 可扩展的：轻松注册新的模型、评判标准、任务、优化器和学习率调度器
• 基于 Hydra 的灵活配置，允许结合代码、命令行和基于文件的配置
• 完整的参数和优化器状态分片
• 将参数卸载到 CPU

我们还提供了翻译和语言模型的预训练模型，具有方便的 torch.hub 接口

en2de = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.en-de.single_model')
en2de.translate('Hello world', beam=5)
# 'Hallo Welt'

请参阅PyTorch Hub教程，了解翻译和RoBERTa的更多示例。

需求和安装

• PyTorch版本 >= 1.5.0
• Python版本 >= 3.6
• 对于训练新模型，您还需要NVIDIA GPU和NCCL
• 安装fairseq并进行本地开发

git clone https://github.com/pytorch/fairseq
cd fairseq
pip install --editable ./

# on MacOS:
# CFLAGS="-stdlib=libc++" pip install --editable ./

# to install the latest stable release (0.10.x)
# pip install fairseq

• 为了更快地训练，安装NVIDIA的apex库

git clone https://github.com/NVIDIA/apex
cd apex
pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" \
  --global-option="--deprecated_fused_adam" --global-option="--xentropy" \
  --global-option="--fast_multihead_attn" ./

• 对于大数据集，安装PyArrow： pip install pyarrow
• 如果您使用Docker，请确保通过将--ipc=host或--shm-size作为命令行选项传递给nvidia-docker run来增加共享内存大小。

入门指南

完整的文档包含了入门、训练新模型以及使用新模型类型和任务扩展fairseq的说明。

预训练模型和示例

我们为以下列出的几个任务提供了预训练模型和预处理的二进制测试集，以及示例训练和评估命令。

• 翻译：有卷积和transformer模型可供使用
• 语言模型：有卷积和transformer模型可供使用

我们还提供了更详细的README来重现特定论文的结果

• XLS-R：大规模自监督跨语言语音表示学习（Babu等，2021年）
• 跨语言检索用于迭代自监督训练（Tran等人，2020年）
• wav2vec 2.0：语音表示的自监督学习方法框架（Baevski等人，2020年）
• 神经机器翻译的无监督质量估计（Fomicheva等人，2020年）
• 使用量化噪声进行极端模型压缩（Fan* Stock*等，2020年）
• 基于字节级子词的神经机器翻译（Wang等人，2020年）
• 神经机器翻译的多语言去噪预训练（Liu等人，2020年）
• 使用结构化dropout按需减少Transformer深度（Fan等，2019年）
• 使用Transformer模型联合学习对齐和翻译（Garg等人，2019年）
• Levenshtein Transformer（Gu等人，2019年）
• Facebook FAIR的WMT19新闻翻译任务提交（Ng等人，2019年）
• RoBERTa：鲁棒优化的BERT预训练方法（Liu等人，2019年）
• wav2vec：语音识别的无监督预训练（Schneider等人，2019年）
• 多模型机器翻译的混合模型：商业技巧（Shen等人，2019年）
• 使用轻量级和动态卷积减少关注（Wu等人，2019年）
• 理解大规模回译（Edunov等人，2018年）
• 序列到序列学习的经典结构化预测损失（Edunov等人，2018年）
• 分层神经故事生成（Fan等人，2018年）
• 扩展神经机器翻译（Ott等人，2018年）
• 卷积序列到序列学习（Gehring等人，2017年）
• 具有门控卷积网络的语盲建模（Dauphin等人，2017年）

加入fairseq社区

• Twitter：https://twitter.com/fairseq
• Facebook页面：https://#/groups/fairseq.users
• Google群组：https://groups.google.com/forum/#!forum/fairseq-users

许可

fairseq(-py)遵循MIT许可。此许可证也适用于预训练模型。

引用

请引用如下

@inproceedings{ott2019fairseq,
  title = {fairseq: A Fast, Extensible Toolkit for Sequence Modeling},
  author = {Myle Ott and Sergey Edunov and Alexei Baevski and Angela Fan and Sam Gross and Nathan Ng and David Grangier and Michael Auli},
  booktitle = {Proceedings of NAACL-HLT 2019: Demonstrations},
  year = {2019},
}