mwparserfromhell 0.6.6

安装

安装解析器的最简单方法是通过Python包索引；您可以使用

pip install mwparserfromhell

另外，获取最新开发版本

git clone https://github.com/earwig/mwparserfromhell.git
cd mwparserfromhell
python setup.py install

完整的单元测试套件需要pytest（

pip install pytest

python -m pytest

用法

正常使用相当简单（其中

text

>>> import mwparserfromhell
>>> wikicode = mwparserfromhell.parse(text)

wikicode

mwparserfromhell.Wikicode

str

>>> text = "I has a template! {{foo|bar|baz|eggs=spam}} See it?"
>>> wikicode = mwparserfromhell.parse(text)
>>> print(wikicode)
I has a template! {{foo|bar|baz|eggs=spam}} See it?
>>> templates = wikicode.filter_templates()
>>> print(templates)
['{{foo|bar|baz|eggs=spam}}']
>>> template = templates[0]
>>> print(template.name)
foo
>>> print(template.params)
['bar', 'baz', 'eggs=spam']
>>> print(template.get(1).value)
bar
>>> print(template.get("eggs").value)
spam

由于节点可以包含其他节点，因此获取嵌套模板是微不足道的

>>> text = "{{foo|{{bar}}={{baz|{{spam}}}}}}"
>>> mwparserfromhell.parse(text).filter_templates()
['{{foo|{{bar}}={{baz|{{spam}}}}}}', '{{bar}}', '{{baz|{{spam}}}}', '{{spam}}']

您还可以传递

recursive=False

filter_templates()

Wikicode

>>> code = mwparserfromhell.parse("{{foo|this {{includes a|template}}}}")
>>> print(code.filter_templates(recursive=False))
['{{foo|this {{includes a|template}}}}']
>>> foo = code.filter_templates(recursive=False)[0]
>>> print(foo.get(1).value)
this {{includes a|template}}
>>> print(foo.get(1).value.filter_templates()[0])
{{includes a|template}}
>>> print(foo.get(1).value.filter_templates()[0].get(1).value)
template

模板可以轻松修改以添加、删除或更改参数。

Wikicode

append()

insert()

remove()

replace()

matches()

>>> text = "{{cleanup}} '''Foo''' is a [[bar]]. {{uncategorized}}"
>>> code = mwparserfromhell.parse(text)
>>> for template in code.filter_templates():
...     if template.name.matches("Cleanup") and not template.has("date"):
...         template.add("date", "July 2012")
...
>>> print(code)
{{cleanup|date=July 2012}} '''Foo''' is a [[bar]]. {{uncategorized}}
>>> code.replace("{{uncategorized}}", "{{bar-stub}}")
>>> print(code)
{{cleanup|date=July 2012}} '''Foo''' is a [[bar]]. {{bar-stub}}
>>> print(code.filter_templates())
['{{cleanup|date=July 2012}}', '{{bar-stub}}']

然后，通过在它上面调用

str()

str

>>> text = str(code)
>>> print(text)
{{cleanup|date=July 2012}} '''Foo''' is a [[bar]]. {{bar-stub}}
>>> text == code
True

限制

虽然MediaWiki解析器生成HTML并可以访问模板内容等，但mwparserfromhell仅作为源代码的直接接口。这有几个含义

• 无法检测由模板转译产生的语法元素。例如，想象一个假设的页面

  "Template:End-bold"

  ，其中包含文本

  </b>

  。虽然MediaWiki会正确理解

  <b>foobar{{end-bold}}

  表示

  <b>foobar</b>

  ，但mwparserfromhell没有检查

  {{end-bold}}

  内容的方法。相反，它会将粗体标签视为未完成，可能延伸到页面的更下方。

• 与外部链接相邻的模板，如

  http://example.com{{foo}}

  ，被视为链接的一部分。实际上，这取决于模板的内容。

• 当不同的语法元素交叉时，如

  {{echo|''Hello}}, world!''

  ，解析器会感到困惑，因为这不能用普通的语法树来表示。相反，解析器会将第一个语法结构视为纯文本。在这种情况下，只有斜体标签会被正确解析。

  解决方案：由于这种情况通常与文本格式化有关，而文本格式化通常对用户不感兴趣，您可以在

  mwparserfromhell.parse()

  中传递

  skip_style_tags=True

  。这将

  ''

  和

  '''

  视为纯文本。

  mwparserfromhell的未来版本可能包括多个解析模式，以更合理地绕过此限制。

此外，解析器缺乏对某些wiki特定设置的感知

• 单词结尾链接不受支持，因为链接尾随规则是语言特定的。

• 未识别本地化命名空间名称，因此文件链接（如

  [[File:...]]

  ）被视为普通维基链接。

• 任何看起来像XML标签的东西都被视为标签，即使它不是已识别的标签名称，因为有效标签的列表取决于已加载的MediaWiki扩展。

集成

mwparserfromhell 由 EarwigBot 使用，最初是为其开发的；Page 对象有一个 parse 方法，该方法本质上会在 page.get() 上调用 mwparserfromhell.parse()。

如果您正在使用 Pywikibot，则您的代码可能如下所示

import mwparserfromhell
import pywikibot

def parse(title):
    site = pywikibot.Site()
    page = pywikibot.Page(site, title)
    text = page.get()
    return mwparserfromhell.parse(text)

如果您没有使用库，可以使用以下 Python 3 代码解析任何页面（使用 API 和 requests 库）

import mwparserfromhell
import requests

API_URL = "https://en.wikipedia.org/w/api.php"

def parse(title):
    params = {
        "action": "query",
        "prop": "revisions",
        "rvprop": "content",
        "rvslots": "main",
        "rvlimit": 1,
        "titles": title,
        "format": "json",
        "formatversion": "2",
    }
    headers = {"User-Agent": "My-Bot-Name/1.0"}
    req = requests.get(API_URL, headers=headers, params=params)
    res = req.json()
    revision = res["query"]["pages"][0]["revisions"][0]
    text = revision["slots"]["main"]["content"]
    return mwparserfromhell.parse(text)