关键词 2015.5.11

简单

比长篇大论更直接，以下为直接介绍

>>> from mots_vides import stop_words

>>> english_stop_words = stop_words('en')
>>> text = """
... Even though using "lorem ipsum" often arouses curiosity
... due to its resemblance to classical Latin,
... it is not intended to have meaning.
... """

>>> print(english_stop_words.rebase(text))
XXXX XXXXXX XXXXX "lorem ipsum" XXXXX arouses curiosity
XXX XX XXX resemblance XX classical Latin,
XX XX XXX intended XX XXXX meaning.

>>> print(english_stop_words.rebase(text, '').split())
['"lorem', 'ipsum"', 'arouses', 'curiosity', 'resemblance',
'classical', 'Latin,', 'intended', 'meaning.']

高级

关键词 还提供了两个用于管理您语言中的停用词的类。

StopWord 是一个用于存储停用词集合的容器。默认情况下是语言无关的，但可以轻松地操作以创建集合

>>> from mots_vides import StopWord

>>> french_stop_words = StopWord('french', ['le', 'la', 'les'])
>>> french_stop_words += StopWord('french', ['un', 'une', 'des'])
>>> french_stop_words += ['or', 'ni', 'car']
>>> french_stop_words += 'assez'
>>> french_stop_words += u'aussitôt'
>>> print(sorted(french_stop_words))
['assez', u'aussitôt', 'car', 'des', 'la', 'le', 'les', 'ni', 'or', 'un', 'une']

StopWordFactory 是一个工厂，用于通过语言和相应的停用词集合初始化 StopWord 对象。

>>> from mots_vides import StopWordFactory

>>> factory = StopWordFactory()
>>> french_stop_words = factory.get_stop_words('french')
>>> print(len(french_stop_words))
577

您也可以使用国际语言代码来查询一个集合

>>> french_stop_words = factory.get_stop_words('fr')
>>> print(len(french_stop_words))
577

如果所需的语言不存在，将引发一个 StopWordError，除非将 fail_safe 参数设置为 True

>>> klingon_stop_words = factory.get_stop_words('klingon')
StopWordError: Stop words are not available in "klingon".
>>> klingon_stop_words = factory.get_stop_words('klingon', fail_safe=True)
>>> print(len(klingon_stop_words))
0

2015.5.11

• 修复Python 3的缓存系统

2015.2.6

• 修复factory.get_available_languages中的潜在问题

2015.2.5

• 修复打包问题

• 添加重置命令脚本

2015.2.4

• 初始版本

2015.1.21.dev0

• 开发版本