Instant Segment：Rust中的快速英文分词

Instant Segment是一个基于Apache-2.0许可的快速英文分词库。它基于Grant Jenks编写的Python wordsegment 项目，该项目又基于Peter Norvig在《Beautiful Data》一书中自然语言语料库数据章节中的代码（Segaran and Hammerbacher，2009年）。

在本存储库包含的微基准测试中，Instant Segment比Python实现快约500倍。API经过精心设计，以便多个分词可以共享底层状态，从而允许并行使用。

工作原理

Instant Segment通过根据单词语料库及其出现频率选择具有最高概率的分割来将字符串分割成单词。

例如，如果“choose”和“spain”比“chooses”和“pain”出现得更频繁，并且“choose spain”比“chooses pain”出现得更频繁，那么Instant Segment可以帮助识别域名“choosespain.com”为“ChooseSpain.com”，这更符合用户意图。

了解我们如何在Instant Domain Search的生产环境中构建和改进Instant Segment以帮助用户找到可以注册的相关域名（点击此处）。

使用库

Python (≥ 3.9)

pip install instant-segment

Rust

[dependencies]
instant-segment = "0.8.1"

示例

以下示例假设存在 unigrams 和 bigrams。请参阅示例（Rust，Python）了解如何构建这些对象。

import instant_segment

segmenter = instant_segment.Segmenter(unigrams, bigrams)
search = instant_segment.Search()
segmenter.segment("instantdomainsearch", search)
print([word for word in search])

--> ['instant', 'domain', 'search']

use instant_segment::{Search, Segmenter};
use std::collections::HashMap;

let segmenter = Segmenter::new(unigrams, bigrams);
let mut search = Search::default();
let words = segmenter
    .segment("instantdomainsearch", &mut search)
    .unwrap();
println!("{:?}", words.collect::<Vec<&str>>())

--> ["instant", "domain", "search"]

查看测试以获取更详细的示例：Rust，Python

测试

要运行测试，请执行以下操作

cargo t -p instant-segment --all-features

您还可以使用以下命令测试Python绑定

make test-python