fast-mosestokenizer 0.0.8.2

fast-mosestokenizer 是 moses tokenizer 的 C++ 实现，在 NLP 研究人员中颇受欢迎。

使用此软件包而非原始的 perl 实现的原因是为了便携性。有了 C++ 源代码，您可以在几乎所有语言中使用此库。

C++ 脚本是从 mosesdecoder 存储库的 contrib/c++tokenizer 调整而来。

• 基准测试
• 安装
• 使用（命令行工具）
• 使用（Python）

基准测试

fast-mosestokenizer 速度也很快。在英语中，它比 tokenizer.perl 快约 6 倍，比 sacremoses 快 15 倍。

有关更多信息，请参阅 ./bench/README.md。

安装

使用 linux 和 osx>=10.15 的 Python 用户可以直接从 PyPI 安装。

pip install fast-mosestokenizer

有关更多信息，请参阅 ./INSTALL.md。

使用（命令行工具）

# Piping is the standard way to configure input and output stream.
# mosestokenizer would apply tokenization to each line of the input stream.
mosestokenizer en < infile > outfile

# For a full list of options, refer to the help message.
mosestokenizer -h

使用（Python）

# Usage patterns are mostly the same as sacremoses.
>>> from mosestokenizer import MosesTokenizer

>>> tokenizer = MosesTokenizer('en')
>>> tokenizer.tokenize("""
The English name of Singapore is an anglicisation of the native Malay name for
the country, Singapura, which was in turn derived from the Sanskrit word for
lion city (romanised: Siṃhapura; Brahmi: 𑀲𑀺𑀁𑀳𑀧𑀼𑀭; literally "lion city"; siṃha
means "lion", pura means "city" or "fortress").[8]
""")
[
  'The', 'English', 'name', 'of', 'Singapore', 'is', 'an', 'anglicisation',
  'of', 'the', 'native', 'Malay', 'name', 'for', 'the', 'country', ',',
  'Singapura', ',', 'which', 'was', 'in', 'turn', 'derived', 'from', 'the',
  'Sanskrit', 'word', 'for', 'lion', 'city', '(', 'romanised', ':',
  'Siṃhapura', ';', 'Brahmi', ':', '𑀲𑀺𑀁𑀳𑀧𑀼𑀭', ';', 'literally', '"', 'lion',
  'city', '"', ';', 'siṃha', 'means', '"', 'lion', '"', ',', 'pura', 'means',
  '"', 'city', '"', 'or', '"', 'fortress', '"', ')', '.', '[', '8', ']'
]