某些功能可能在没有JavaScript的情况下无法使用。如果遇到问题，请尝试启用它。

轻量级piece分词库

这些详情尚未由PyPI验证

项目链接

主页

项目描述

🍴 cutlery

此Python库提供单词/句子piece分词器。以下类型的分词器目前得到支持

分词器	绑定	示例模型
BPE	sentencepiece
字节BPE	原生	RoBERTa/GPT-2
单语	sentencepiece	XLM-RoBERTa
单词piece	原生	BERT

⚠️ 注意：实验性包

此包是实验性的，API可能在不兼容的方式下更改。

⏳ 安装

Cutlery通过PyPI提供

pip install cutlery

🚀 快速入门

开始使用cutlery的最佳方式是通过curated-transformers库。 curated-transformers还提供了从Huggingface Hub加载分词模型的功能。

项目详情

这些详情尚未由PyPI验证

项目链接

主页

版本历史发布通知 | RSS源

本版本

0.0.6

2023年5月22日

0.0.5

2023年5月19日

0.0.4

2023年5月14日

0.0.3

2022年10月18日

0.0.2

2022年10月18日

0.0.1

2022年9月8日

下载文件

下载您平台上的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。

源分发

cutlery-0.0.6.tar.gz (2.2 MB 查看哈希值)

上传时间 2023年5月22日 源代码

构建版本

cutlery-0.0.6-cp311-cp311-win_amd64.whl (598.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.11 Windows x86-64

cutlery-0.0.6-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (687.6 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.11 manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (663.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.11 manylinux: glibc 2.17+ ARM64

cutlery-0.0.6-cp311-cp311-macosx_11_0_arm64.whl (662.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.11 macOS 11.0+ ARM64

cutlery-0.0.6-cp311-cp311-macosx_10_9_x86_64.whl (693.1 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.11 macOS 10.9+ x86-64

cutlery-0.0.6-cp310-cp310-win_amd64.whl (600.3 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.10 Windows x86-64

cutlery-0.0.6-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (687.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.10 manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (663.4 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.10 manylinux: glibc 2.17+ ARM64

cutlery-0.0.6-cp310-cp310-macosx_11_0_arm64.whl (665.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.10 macOS 11.0+ ARM64

cutlery-0.0.6-cp310-cp310-macosx_10_9_x86_64.whl (696.1 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.10 macOS 10.9+ x86-64

cutlery-0.0.6-cp39-cp39-win_amd64.whl (602.3 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.9 Windows x86-64

cutlery-0.0.6-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (690.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.9 manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (666.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.9 manylinux: glibc 2.17+ ARM64

cutlery-0.0.6-cp39-cp39-macosx_11_0_arm64.whl (665.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.9 macOS 11.0+ ARM64

cutlery-0.0.6-cp39-cp39-macosx_10_9_x86_64.whl (696.3 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.9 macOS 10.9+ x86-64

cutlery-0.0.6-cp38-cp38-win_amd64.whl (602.6 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.8 Windows x86-64

cutlery-0.0.6-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (692.0 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.8 manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (668.2 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.8 manylinux: glibc 2.17+ ARM64

cutlery-0.0.6-cp38-cp38-macosx_11_0_arm64.whl (663.1 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.8 macOS 11.0+ ARM64

cutlery-0.0.6-cp38-cp38-macosx_10_9_x86_64.whl (693.5 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.8 macOS 10.9+ x86-64

cutlery-0.0.6-cp37-cp37m-win_amd64.whl (601.1 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.7m Windows x86-64

cutlery-0.0.6-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (688.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.7m manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (665.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.7m manylinux: glibc 2.17+ ARM64

cutlery-0.0.6-cp37-cp37m-macosx_10_9_x86_64.whl (692.8 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.7m macOS 10.9+ x86-64

cutlery-0.0.6-cp36-cp36m-win_amd64.whl (653.4 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.6m Windows x86-64

cutlery-0.0.6-cp36-cp36m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (688.7 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.6m manylinux: glibc 2.17+ x86-64

cutlery-0.0.6-cp36-cp36m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl (665.9 kB 查看哈希值)

上传时间 2023年5月22日 CPython 3.6m manylinux: glibc 2.17+ ARM64

cutlery-0.0.6.tar.gz 的哈希值

cutlery-0.0.6.tar.gz 的哈希值
算法	哈希摘要
SHA256	`8931662d3cd32ccf0242e8aa001f8f82461b8933fe06f3e9abf4ef3a2bd8b2d0`
MD5	`c272fe8da9d5452b8db039bcc7a0432f`
BLAKE2b-256	`123b9dcef9d6efcdb666367356ad3cd464b69fa491c87a737d4600eb3ac21f9a`

cutlery-0.0.6-cp311-cp311-win_amd64.whl 的哈希值

cutlery-0.0.6-cp311-cp311-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`009577c2846e232a6adbf0c9b53f74486d4bdae1c19bc05b0fd0b461544dc247`
MD5	`c0237a4c7c9a2aebf8c3727ec496165a`
BLAKE2b-256	`fde701d4aaa7b48b4dd8b322982831d9995a2293fb2cb1497e2eedf2c53c2aee`

cutlery-0.0.6-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值

cutlery-0.0.6-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`70429c612e319a4da8ebe3c168f3cf716cb1a3eec57649a068ad7b0a751a0cf4`
MD5	`df132082e3e41ce4a6ed508e1b1c4fef`
BLAKE2b-256	`07ea038288ac5c15aba0f2a81b09e002440a8668b9f45539020fd69632fa705f`

cutlery-0.0.6-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl 的哈希值

cutlery-0.0.6-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl 的哈希值
算法	哈希摘要
SHA256	`13949c5b3ae837d36983f9363513ba7ed4c392527a18b944d0ba6bac5df2a5a9`
MD5	`d409d4cfc9eb88c95aad50664b578049`
BLAKE2b-256	`b4fabbf5b25f1bed1968eaa37461205efc981c4b10f71e0cdfbd5d68f09f917e`

cutlery-0.0.6-cp311-cp311-macosx_11_0_arm64.whl 的哈希值

cutlery-0.0.6-cp311-cp311-macosx_11_0_arm64.whl 的哈希值
算法	哈希摘要
SHA256	`31a548868649787394f69793fcaa5b42589790fb82a3e2583fd93806827b1c6a`
MD5	`9c098cc2b6bb1cab0169be7573e03f5f`
BLAKE2b-256	`cfbac1b362e07319e2763ac27ff5958f2a3c979f4f8409c2fdf513882c726bbf`

哈希值用于 cutlery-0.0.6-cp311-cp311-macosx_10_9_x86_64.whl

cutlery-0.0.6-cp311-cp311-macosx_10_9_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`1f131750a6aae3dc2a27aa8e4f07236082c81566d82cb99482972b211595ae8f`
MD5	`ba1bd784556950b3c0be6e3f61b729b0`
BLAKE2b-256	`de0010fd7c0155512749e07755340dcb5d62fca9196406dc90d861fc07b00d2a`

哈希值用于 cutlery-0.0.6-cp310-cp310-win_amd64.whl

cutlery-0.0.6-cp310-cp310-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`937b9392a4dde11a133c7ed20dbead8bf7e6957f41953d5070727a41da713948`
MD5	`935448984a23eb9e981d705a85bd5558`
BLAKE2b-256	`009f47dd791c039470609ce23a7729f47d5851694157e97d072bd2deb1de3633`

哈希值用于 cutlery-0.0.6-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

cutlery-0.0.6-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`d807f5744525c51738aa47d166c2456cf63eeccacf0de9a97502dde2d524cc2f`
MD5	`b39d28110fec1b568ab4653c1dc869b0`
BLAKE2b-256	`85dc6fa6b33bf6098360b9fca5afb5dbeb009df77321c861653f7b2b7b72a9ff`

哈希值用于 cutlery-0.0.6-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

cutlery-0.0.6-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl 的哈希值
算法	哈希摘要
SHA256	`e9d91c3c145056c4ebb236773ec578b656d2fe2e48ba215bef4eb43d34b3cd21`
MD5	`c6feb302e34a18b0e1d3a45f7ed2a948`
BLAKE2b-256	`fec9caf59c3f04e488a220e516aabf78226ee08059d1b5c22a6300afba484213`

哈希值用于 cutlery-0.0.6-cp310-cp310-macosx_11_0_arm64.whl

cutlery-0.0.6-cp310-cp310-macosx_11_0_arm64.whl 的哈希值
算法	哈希摘要
SHA256	`164e0a1406b2099d38121a02e5bfaee56ace1a739f4976d43f857b6fc05c63c2`
MD5	`6cf31fdd483580425076b0d233918a94`
BLAKE2b-256	`6491824b3b8ba0ea8e88c81c5caf871459d0a1c8869f462686b5ce599911c945`

哈希值用于 cutlery-0.0.6-cp310-cp310-macosx_10_9_x86_64.whl

cutlery-0.0.6-cp310-cp310-macosx_10_9_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`4301df4b13ea04723c2b198c4559d137c837b5691fb5c6f6178596bea1ca8e7f`
MD5	`37125958f43f6b48c7a3b785b8641195`
BLAKE2b-256	`bc02702eedcfb466272059c5e5e10f34a98d92f493d46c290839525ce0858cd9`

哈希值用于 cutlery-0.0.6-cp39-cp39-win_amd64.whl

cutlery-0.0.6-cp39-cp39-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`ae2638ff53f977a3c6f5533e1907faea24e251ff42432cb3e88dd62e2b03baca`
MD5	`70ef14c59af36569b82a5a4a0862eef3`
BLAKE2b-256	`8b728893b339326e84a81a6c91e7bc86d37cd0d0d9655bc61a9b0d90d57d074c`

哈希值用于 cutlery-0.0.6-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

cutlery-0.0.6-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`370354a458913f5a7b66e0cbb0a21a18f27eadd2ff0867a920d540d34651fff2`
MD5	`975d03dbf9a50e3d852e2b48b59d015c`
BLAKE2b-256	`825c8f6c502eaee85d545d0944a89b8d0e37581b21815f044a7a20f15de33280`

哈希值用于 cutlery-0.0.6-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

cutlery-0.0.6-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl 的哈希值
算法	哈希摘要
SHA256	`c004ff2c9d3e035df3c33e0e40586ed7392e3e59085088069d5638103eb8d253`
MD5	`64dcdaf1bbbafa0fbb2ff64b44047b73`
BLAKE2b-256	`36ebc3357427f567095c2f319352463e106cb2c1aa674f71a377733524c70eb7`

哈希值用于 cutlery-0.0.6-cp39-cp39-macosx_11_0_arm64.whl

cutlery-0.0.6-cp39-cp39-macosx_11_0_arm64.whl 的哈希值
算法	哈希摘要
SHA256	`4f219cf5cf457f8f91f60973b6d181c2d916bded235592971a607649d145da03`
MD5	`523ca953e8dfb52a9bb57c6179bbe2d6`
BLAKE2b-256	`6dde3994e96fc28a055439f79d38a051601e3f8bf3106813586de9fc8f1ed705`

哈希值用于 cutlery-0.0.6-cp39-cp39-macosx_10_9_x86_64.whl

cutlery-0.0.6-cp39-cp39-macosx_10_9_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`eb330d55cadd5f89326ab552b7178ef8867aa7a783778cd324d6fd90876b481c`
MD5	`8f0be5d0dfb1982eabad697a94d8a8c1`
BLAKE2b-256	`d96d517558fe777a56d62167477acd93942c68585edf69bad6583456c28501e8`

哈希值用于 cutlery-0.0.6-cp38-cp38-win_amd64.whl

cutlery-0.0.6-cp38-cp38-win_amd64.whl 的哈希值
算法	哈希摘要
SHA256	`0aa6d1940f357a0e2cb12ae80351a1b139db3ac319a4d2199d13f3f9ad70e615`
MD5	`11830b0d24baad79b894501afa07eaf4`
BLAKE2b-256	`03fd1bbbb27b3cc36515854d532271553a48c15592b550b757276cd47159b981`

哈希值用于 cutlery-0.0.6-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

cutlery-0.0.6-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl 的哈希值
算法	哈希摘要
SHA256	`94223a0496418b288f60e3a3b1144ae149ce91d9feac2dd6e9214a34dc9394fb`
MD5	`eeaee49d94396b2d33a6554692c2471f`
BLAKE2b-256	`a87b25be33229ad3dba58ada84b56f5d09a0c4462630ee8fe3af06978fb55ba6`

哈希值用于 cutlery-0.0.6-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

餐具-0.0.6-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl的哈希值
算法	哈希摘要
SHA256	`749d9a9f3feb92cff48ea351f264947292bd8dd0f0f3e3c9ec5eeeeef2ce3b2b`
MD5	`0ce79901e98fc6c0786caf9c32840530`
BLAKE2b-256	`015d84cf282fd15374228dcc7b3c0e2a80650b11c3f9916e1f1dffc90136b08e`

哈希值 for cutlery-0.0.6-cp38-cp38-macosx_11_0_arm64.whl

餐具-0.0.6-cp38-cp38-macosx_11_0_arm64.whl的哈希值
算法	哈希摘要
SHA256	`56a833cfee4d390f3404dcaf3b9888ec3d64d28cc0a9dc3e182c0ab206bdc791`
MD5	`74e3a5842a64d15344b383f862a92888`
BLAKE2b-256	`633e902b236b5cd1028f5de3d858447eec153fc6c20c8c91f2bfce7946820251`

哈希值 for cutlery-0.0.6-cp38-cp38-macosx_10_9_x86_64.whl

餐具-0.0.6-cp38-cp38-macosx_10_9_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`8e18a5cc50a762a406b025c9d8d95f223be6f59890e93b389d40b2793b508111`
MD5	`fbc2d780696bcec78cc4731ef03c287b`
BLAKE2b-256	`616654251e2e59d9bee10360719b2eac10f347be59d14fff006f25742a8c01c8`

哈希值 for cutlery-0.0.6-cp37-cp37m-win_amd64.whl

餐具-0.0.6-cp37-cp37m-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`df66e937d8acfd32d7cd6c0c02ce35451d2cfa008b09ca1dbef4e7d7ff704889`
MD5	`05cbcfe6c8aa565529a8fa4598aeade1`
BLAKE2b-256	`67e87a679819c3b9468b607b522ea8370680954ea8872342c488ccc2983c364e`

哈希值 for cutlery-0.0.6-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

餐具-0.0.6-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`d5730518ce54207ee6f258c24badf4750d882f2a9b28b39e0644324d8deac374`
MD5	`c73e25a3ec59decf9b72a3d9c896f213`
BLAKE2b-256	`8e042dfa34d5f396d36e3fa41b545bdd53f32bb5531550a49cc6ec08a75891c4`

哈希值 for cutlery-0.0.6-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

餐具-0.0.6-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl的哈希值
算法	哈希摘要
SHA256	`95025b2c6e985c2dcf068df971e6273b7d10dc43a23759506134745372c889d9`
MD5	`aa918400f60e3a6ed83466f8a7900d94`
BLAKE2b-256	`40bb560ac1262b87a898b4101c7432a395974e96248391fcc29422756840c3ef`

哈希值 for cutlery-0.0.6-cp37-cp37m-macosx_10_9_x86_64.whl

餐具-0.0.6-cp37-cp37m-macosx_10_9_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`8470c887d39970f03745916687fba7855b1b4e9c34a94dc9b22a2cb97c7e5cc3`
MD5	`f560fb464fbb5da49390cb467efaa10a`
BLAKE2b-256	`9bb8dd0db9171007b4323bcdb33c698de6c6702b627abf3bb03eaa7f43db9d14`

哈希值 for cutlery-0.0.6-cp36-cp36m-win_amd64.whl

餐具-0.0.6-cp36-cp36m-win_amd64.whl的哈希值
算法	哈希摘要
SHA256	`a1af4675a1839f124f00086d0caf651c08200431ab4c806060bf4d066a66092a`
MD5	`207ff97a76b2b326c9d97309608b24e7`
BLAKE2b-256	`a76e18698269f13ee289a4b459629780d2cd196ca24600af62ac20a21759a2b2`

哈希值 for cutlery-0.0.6-cp36-cp36m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl

餐具-0.0.6-cp36-cp36m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法	哈希摘要
SHA256	`2feeb6c1f824ad2aaee81956efd43ff14c92ca3bf08d4c3bd1eaaca1de8dbd5d`
MD5	`4149fe94a69cc0e380b3a506c3a8a2a6`
BLAKE2b-256	`33b25307b491bea1eb1cecefd9061905932157b72eafdffc9d2626b9a778c64d`

哈希值 for cutlery-0.0.6-cp36-cp36m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl

餐具-0.0.6-cp36-cp36m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl的哈希值
算法	哈希摘要
SHA256	`934ccabb8fb4db03c7b564c9c9a9bbff3fa29b3e41a2952205512ef547bc352c`
MD5	`75bf0b2f7b53a5d76741c1b9f3400808`
BLAKE2b-256	`c909ba79534f3c48b2bd593239286f7d43ffd1aeb45571c136312591b3199e32`

支持者