ruscorpora-tools 0.3

语料库下载

从http://www.ruscorpora.ru/corpora-usage.html下载并解压缩包含XML文件的存档

语料库阅读

ruscorpora.parse_xml函数解析单个XML文件，并返回一个句子迭代器；每个句子是一个ruscorpora.Token实例的列表，带有ruscorpora.Annotation实例的列表。

ruscorpora.simplify通过删除模糊的注释、合并拆分的标记（及其注释）以及删除重音信息来简化ruscorpora.parse_xml的结果。

>>> import ruscorpora as rnc
>>> for sent in rnc.simplify(rnc.parse('fiction.xml')):
...     print(sent)

处理标记

ruscorpora.Tag类是ruscorpora中使用的标记的方便包装器（还有其他属性）。

>>> tag = rnc.Tag('S,f,inan=sg,nom')
>>> tag.POS
'S'
>>> tag.gender
'f'
>>> tag.animacy
'inan'
>>> tag.number
'sg'
>>> tag.case
'nom'
>>> tag.tense
None

检查词素是否在标记中

>>> 'S' in tag
True
>>> 'V' in tag
False
>>> 'Foo' in tag
Traceback (most recent call last)
...
ValueError: Grammeme is unknown: Foo

测试标记相等性

>>> tag == rnc.Tag('S,f,inan=sg,nom')
True
>>> tag == 'S,f,inan=sg,nom'
True
>>> tag == rnc.Tag('S,f,inan=sg,acc')
False
>>> tag == 'S,f,inan=sg,acc'
False
>>> tag == 'Foo,inan'
Traceback (most recent call last)
...
ValueError: Unknown grammemes: frozenset({Foo})

rnc.simplify返回的标记默认由该类包装。

运行测试

确保已安装并运行tox，从源代码检出处运行。

$ tox

测试应在python 2.6..3.3 和 pypy > 1.8 下通过。