该存储库包含运行更快sentence-transformers的代码。简单，快速，sentence-transformers。
项目描述
快速句子转换器
该存储库包含使用量化、优化和ONNX等工具运行更快特征提取器的代码。只需运行您的模型，同时使用更少的内存。没有太多的事情！
Phillip Schmid: "我们成功地将Hugging Face的原始Transformers模型进行了量化，并将模型延迟从25.6ms加速到12.3ms或2.09倍，同时保持了stsb数据集上的100%准确率。但我要说的是，这不是一个可以转移到任何Transformers模型、任务或数据集的即插即用过程。"
安装
pip install fast-sentence-transformers
或者，用于GPU支持
pip install fast-sentence-transformers[gpu]
快速入门
from fast_sentence_transformers import FastSentenceTransformer as SentenceTransformer
# use any sentence-transformer
encoder = SentenceTransformer("all-MiniLM-L6-v2", device="cpu")
encoder.encode("Hello hello, hey, hello hello")
encoder.encode(["Life is too short to eat bad food!"] * 2)
基准
非精确、指示性的速度和内存使用基准，针对sentence-transformers上的较小和较大模型
| 模型 | 类型 | 默认 | ONNX | ONNX+量化 | ONNX+GPU |
|---|---|---|---|---|---|
| paraphrase-albert-small-v2 | 内存 | 1x | 1x | 1x | 1x |
| 速度 | 1x | 2x | 5x | 20x | |
| paraphrase-multilingual-mpnet-base-v2 | 内存 | 1x | 1x | 4x | 4x |
| 速度 | 1x | 2x | 5x | 20x |
Shout-Out
本软件包高度依赖https://www.philschmid.de/optimize-sentence-transformers。
关闭
fast_sentence_transformers-0.5.tar.gz的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | d6329ca7240bcb531b112b8d37684b002d4258e2a62fbf450543bf790a102cb4 |
|
| MD5 | 2c4b98f0900e718d51fe688de2d7202c |
|
| BLAKE2b-256 | 6ea97ea7990ebbe9628bb25bca180a957954fd43cf52cf41cc293b4408585529 |
关闭
fast_sentence_transformers-0.5-py3-none-any.whl的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | f4accf68b65061c54e071813fb5df45878e73e1d792b6efb3427f148e649baca |
|
| MD5 | 214f5a6602064136d67ef9b38ff08a75 |
|
| BLAKE2b-256 | af3a4e6501279845b3623d3318a723bddebf64fc38ce94ac71e1ffe6f2c68c19 |