Instant CLIP Tokenizer：CLIP神经网络的一个快速分词器

Instant CLIP Tokenizer是一个为OpenAI的CLIP模型设计的快速纯Rust文本分词器。它旨在替代CLIP存储库中包含的原始基于Python的分词器，目标是与原始实现100%兼容。它也可以与OpenCLIP和其他使用相同分词器的实现一起使用。

除了可以作为Rust包使用外，它还包含了使用PyO3构建的Python绑定，因此它可以作为一个本机Python模块使用。

对于这个存储库中包含的微基准测试，Instant CLIP Tokenizer比Python实现快约70倍（禁用了预处理和缓存以确保公平比较）。

使用库

Rust

[dependencies]
instant-clip-tokenizer = "0.1.0"
# To enable additional functionality that depends on the `ndarray` crate:
# instant-clip-tokenizer = { version = "0.1.0", features = ["ndarray"] }

Python (>= 3.9)

pip install instant-clip-tokenizer

使用库需要在您的Python环境中安装numpy >= 1.16.0（例如，通过pip install numpy）。

示例

use instant_clip_tokenizer::{Token, Tokenizer};

let tokenizer = Tokenizer::new();

let mut tokens = Vec::new();
tokenizer.encode("A person riding a motorcycle", &mut tokens);
let tokens = tokens.into_iter().map(Token::to_u16).collect::<Vec<_>>();
println!("{:?}", tokens);

// -> [320, 2533, 6765, 320, 10297]

import instant_clip_tokenizer

tokenizer = instant_clip_tokenizer.Tokenizer()

tokens = tokenizer.encode("A person riding a motorcycle")
print(tokens)

# -> [320, 2533, 6765, 320, 10297]

batch = tokenizer.tokenize_batch(["A person riding a motorcycle", "Hi there"], context_length=5)
print(batch)

# -> [[49406   320  2533  6765 49407]
#     [49406  1883   997 49407     0]]

测试

要运行测试，请执行以下操作

cargo test --all-features

您还可以使用以下方法测试Python绑定

make test-python

致谢

本存储库中包含的词汇文件和原始Python分词器代码版权为(c) 2021 OpenAI（《MIT许可证》）。