PyTorch库，包含transformer模型和组件

项目描述

Curated Transformers

逐块构建的最先进transformer

Curated Transformers是PyTorch的transformer库。它提供由一组可重用组件组成的最新模型。Curated Transformer的突出特点是

⚡️ 支持最先进的transformer模型，包括Falcon、Llama和Dolly v2等LLM。
👩‍🎨 每个模型都由一组可重用的构建块组成，提供许多好处
- 实现一个功能或错误修复会惠及所有模型。例如，所有模型都支持通过bitsandbytes库进行4/8位推理，并且每个模型都可以使用PyTorch的meta设备来避免不必要的分配和初始化。
- 向库中添加新模型的工作量很小。
- 您想尝试一种新的transformer架构吗？一个带有旋转嵌入的BERT编码器？您可以在短时间内完成。
💎 所有公共API的持续类型注释
- 从您的IDE中获得出色的编码支持。
- 与现有的类型检查代码很好地集成。
🎓 适用于教育，因为构建块易于研究。
📦 最小依赖关系。

Curated Transformers已由Explosion进行生产测试，并将作为spaCy 3.7中的默认transformer实现。

🧰 支持的模型架构

支持的仅编码器模型

ALBERT
BERT
CamemBERT
RoBERTa
XLM-RoBERTa

支持的仅解码器模型

Falcon
GPT-NeoX
Llama 1/2
MPT

生成器包装器

Dolly v2
Falcon
Llama 1/2
MPT

所有类型的模型都可以从Huggingface Hub加载。

spaCy的curated transformers集成由spacy-curated-transformers包提供。

⏳ 安装

pip install curated-transformers

CUDA 支持

PyTorch 的默认 Linux 构建版本是使用 CUDA 11.7 支持构建的。在以下情况下，您应明确安装带有 CUDA 支持的构建版本：

如果您想在 Windows 上使用 Curated Transformers。
如果您想在 Linux 上使用 Ada 生成 GPU 的 Curated Transformers。标准的 PyTorch 构建支持 Ada GPU，但通过安装支持 CUDA 11.8 的 PyTorch，您可以获得相当大的性能提升。

在这两种情况下，您可以使用以下方式安装 PyTorch：

pip install torch --index-url https://download.pytorch.org/whl/cu118

🏃‍♀️ 使用示例

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub(name="tiiuae/falcon-7b-instruct", device=torch.device("cuda"))
>>> generator(["What is Python in one sentence?", "What is Rust in one sentence?"], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

您可以在文档中找到更多使用示例。您也可以在 examples 目录中找到使用 Curated Transformers 的示例程序。

📚 文档

您可以在这里了解更多关于如何使用 Curated Transformers 的信息

🗜️ 量化

curated-transformers 通过利用 bitsandbytes 库支持模型的动态 8 位和 4 位量化。

使用量化变体可以自动安装必要的依赖项

pip install curated-transformers[quantization]

项目详情

发布历史发布通知 | RSS 源

此版本

2.0.1

2024 年 4 月 17 日

2.0.0

2024 年 4 月 16 日

2.0.0.dev3 预发布

2024 年 4 月 12 日

2.0.0.dev2 预发布

2024 年 4 月 10 日

2.0.0.dev1 预发布

2024 年 4 月 8 日

2.0.0.dev0 预发布

2023 年 10 月 5 日

1.3.2

2024 年 4 月 17 日

1.3.1

2024 年 2 月 12 日

1.3.0

2023 年 10 月 2 日

1.2.0

2023 年 9 月 12 日

1.1.0

2023 年 8 月 10 日

1.0.0

2023 年 8 月 3 日

1.0.0.dev1 预发布

2023 年 8 月 1 日

1.0.0.dev0 预发布已撤回

2023 年 7 月 13 日

此版本被撤回的原因

忘记设置正确的版本号

0.9.1

2023 年 7 月 14 日

0.9.0

2023 年 7 月 13 日

0.1.1

2023 年 5 月 24 日

0.1.0

2023 年 5 月 5 日

0.0.8

2023 年 5 月 2 日

0.0.7

2023 年 4 月 18 日

0.0.6

2023 年 3 月 22 日

0.0.5

2023 年 3 月 15 日

0.0.4

2023 年 3 月 5 日

0.0.3

2023 年 2 月 7 日

0.0.2

2023 年 2 月 6 日

0.0.1

2022 年 12 月 1 日

下载文件

下载适合您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。

源分布

curated_transformers-2.0.1.tar.gz (289.0 kB 查看哈希值)

上传时间 2024 年 4 月 17 日 源

构建分布

curated_transformers-2.0.1-py2.py3-none-any.whl (363.5 kB 查看哈希值)

上传时间 2024 年 4 月 17 日 Python 2 Python 3