pygmars 0.9.0

那名字呢？

“pygmars”是“Pyg-ments”和“Gram-mars”的组合。

起源

这个库基于NLTK正则表达式POS标记器（重命名为lexer）和正则表达式chunker（重命名为parser）的原始代码进行了大量修改、简化和混搭。NLTK的原设计由@savinosto完成，用于ScanCode Toolkit中的版权声明解析。

用户

pygmars被ScanCode Toolkit用于版权检测和轻量级编程语言解析。

为什么选择pygmars？

为什么要创建这个看似冗余的库？为什么不用NLTK直接使用？

• NLTK专注于NLP和lexing/tagging，使用正则表达式进行解析只是其功能集的一小部分。这些是丰富的标记器和解析器集合，并实现了一个共同的API。我们没有这些更丰富的API的需求，它们使得API的演变和代码重构变得困难。

• 特别是NLTK的POS标记和chunking是ScanCode toolkit中用于版权和作者检测的引擎，有一些改进、简化和优化在NLTK中直接实施可能会有困难，并且不太可能被上游接受。例如，用于版权检测的代码子集的简化使性能得到了大幅提升。改进跟踪标记行和位置可能无法在NLTK API中实现。

• NLTK的新版本有几个额外的必需依赖项，而我们不需要。这使得每个工具在使用这个有限的NLTK子集时都变得更重、更复杂。通过移除未使用的NLTK代码，我们得到了一个小巧且专注的库，没有依赖。

• ScanCode toolkit还需要轻量级解析几种编程语言以从包清单中提取元数据（如依赖项）。一些解析器是手动构建的（如gemfileparser），或者使用Python ast模块（用于Python setup.py），或者它们使用现有的Pygments lexer作为基础。这个库的目标是能够通过重用Pygments lexer的输出作为语法的输入来构建轻量级解析器。这在目标上与NLP有很大不同。

操作理论

一个pygmars.lex.Lexer创建了一个pygmars.Token对象序列，例如

Token(value="for" label="KEYWORD", start_line=12, pos=4)

其中标签是分配给此标记的符号名称。

标记是一个终端符号，语法由规则组成，其中左侧是一个标签，即非终端符号，右侧是一组标签的正则表达式模式。

参见https://en.wikipedia.org/wiki/Terminal_and_nonterminal_symbols

一个pygmars.parse.Parser是从一个pygmars.parse.Grammmar构建的，并调用它的parse函数将一个标记序列转换为一个pygmars.tree.Tree解析树。

语法由规则组成，并从每行一个规则的文本文件中加载，如下所示

ASSIGNMENT: {<VARNAME> <EQUAL> <STRING|INT|FLOAT>} # variable assignment

在这里，“ASSIGNMENT”标签是在右侧标记标签序列“<VARNAME> <EQUAL> <STRING|INT|FLOAT>”匹配时产生的。“# variable assignment”是这个规则的解释。

许可证

• SPDX-License-Identifier: Apache-2.0

基于NLTK（http://nltk.org/）的大量修改的子集

版权（c）nexB Inc.和其他。版权（C）NLTK项目