funnelweb 1.1.1

使用本地管道配置

您可以创建自己的pipeline.cfg文件，它覆盖并扩展了默认的FunnelWeb管道。

例如，创建一个名为pipeline.cfg的文件，内容如下

[transmogrifier]
include = funnelweb.remote

[crawler]
url=http://collective-docs.readthedocs.org/en/latest/

这将覆盖爬虫蓝图设置“url”。您可以通过以下方式运行它

$> bin/funnelweb --pipeline=pipeline.cfg

您可以通过以下命令查看FunnelWeb.remote管道及其所有选项

$> bin/funnelweb --show-pipeline

您还可以保存此管道并根据您的需求进行自定义

$> bin/funnelweb --show-pipeline > pipeline.cfg
$> {edit} pipeline.cfg
$> bin/funnelweb --pipeline=pipeline.cfg

命令行参数

可以通过命令行覆盖管道中的任何参数

例如

$> bin/funnelweb --crawler:url=http://www.whitehouse.gov

所有参数都是 –(步长:参数)=值。每个配置键的第一个部分是步长，例如 crawler。第二部分是特定步长的配置选项。例如 url。然后跟着 = 和值或值列表。

某些选项需要在 buildout 部分中多行。这些可以通过命令行重复相同的参数来覆盖，例如。

$> bin/funnelweb --crawler:ignore=\.mp3 --crawler:ignore=\.pdf

您可以通过以下方式查看所有参数的列表

$> bin/funnelweb --help

Buildout覆盖

任何命令行覆盖也可以“烘焙”到 funnelweb 脚本中。例如。

[buildout]
parts += funnelweb

[funnelweb]
recipe = funnelweb
crawler-url=http://www.whitehouse.gov
pipeline=pipeline.cfg

任何形式为

[step]
blah = blah

的参数将在 buildout 中变成

[funnelweb]
recipe = funnelweb
step-blah = blah

以及在命令行中

bin/funnelweb --step:blah=blah

爬取 - HTML导入

Funnelweb 可以从实时网站、磁盘上的文件夹或从实时网站检索的 HTML 文件（可能仍然包含指向该网站的绝对链接）导入 HTML。

Funnelweb只能导入它能够爬取的内容，即从HTML链接的内容。如果您的网站包含JavaScript链接或受密码保护的内容，您可能需要执行一些额外步骤才能让Funnelweb爬取您的内容。

要爬取一个实时网站，向爬虫提供起始爬取的HTTP基本URL。此URL必须是您想要从网站获取的所有其他URL的开头。

例如

$> bin/funnelweb --crawler:url=http://www.whitehouse.gov --crawler:max=50  --ploneupload=http://admin:admin@localhost:8080/Plone

将限制爬虫仅爬取前50页，然后将内容转换为本地Plone网站。

您爬取的网站将在本地缓存，因此如果您再次运行Funnelweb，它将运行得更快。如果您想禁用本地缓存，请使用

$> bin/funnelweb --cache:output=

如果您想重置缓存，刷新其数据，将爬虫的缓存设置为空

$> bin/funnelweb --crawler:cache=

默认情况下，缓存存储在var/funnelwebcache/{site url}/。您可以使用以下命令将其设置为另一个目录

$> bin/funnelweb --cache:output=my_new_dir

您还可以通过使用file://风格的URL仅爬取包含相对链接的本地HTML目录

$> bin/funnelweb --crawler:url=file:///mydirectory

或者如果本地目录包含从网站保存的HTML，可能包含绝对URL，则可以将此设置为缓存。爬虫将始终首先查找缓存

$> bin/funnelweb --crawler:url=http://therealsite.com --crawler:cache=mydirectory

以下不会爬取大于4Mb的内容

$> bin/funnelweb --crawler:maxsize=400000

要跳过通过正则表达式爬取的链接

[funnelweb]
recipe = funnelweb
crawler-url=http://www.whitehouse.gov
crawler-ignore = \.mp3
                 \.mp4

如果Funnelweb在解析某些页面的HTML时遇到困难，您可以在解析之前预处理HTML。例如

[funnelweb]
recipe = funnelweb
crawler-patterns = (<script>)[^<]*(</script>)
crawler-subs = \1\2

如果您想跳过处理具有特定MIME类型的链接，可以使用drop:condition选项。此TALES表达式确定将进一步处理的内容

[funnelweb]
recipe = funnelweb
drop-condition: python:item.get('_mimetype') not in ['application/x-javascript','text/css','text/plain','application/x-java-byte-code'] and item.get('_path','').split('.')[-1] not in ['class']

模板

Funnelweb有一个内置的聚类算法，它尝试自动从HTML模板中提取内容。这很慢，并且并不总是有效的。通常您需要输入自己的模板提取规则。

如果您想关闭自动模板

$> bin/funnelweb --templateauto:condition=python:False

规则的形式为

(title|description|text|anything) = (text|html|optional) XPath

例如

[funnelweb]
recipe = funnelweb
crawler-site_url=http://www.whitehouse.gov
ploneupload-target=http://admin:admin@localhost:8080/Plone
template1-title       = text //div[@class='body']//h1[1]
template1-_delete1    = optional //div[@class='body']//a[@class='headerlink']
template1-_delete2    = optional //div[contains(@class,'admonition-description')]
template1-description = text //div[contains(@class,'admonition-description')]//p[@class='last']
template1-text        = html //div[@class='body']

请注意，对于单个模板（例如，template1），所有XPath都需要匹配，否则该模板将被跳过，然后尝试下一个模板。如果您想使单个XPath对于模板匹配不是必需的，请在XPath之前使用关键词optional或optionaltext代替text或html。

在默认管道中，有四个模板称为template1、template2、template3和template4。

当XPath应用于单个模板时，它匹配的HTML将从页面中删除。同一模板中的另一个规则不能匹配相同的HTML片段。

如果内容部分对Plone（例如，冗余文本、标题或描述）没有用处，它是一种有效地从内容中删除该HTML的方法。

为了帮助调试模板规则，您可以设置调试模式

$> bin/funnelweb --template1:debug --template2:debug

在模板auto上设置调试模式将为您提供有关它使用的规则的详细信息。

$> bin/funnelweb --templateauto:debug
...
DEBUG:templateauto:'icft.html' discovered rules by clustering on 'http://...'
Rules:
      text= html //div[@id = "dal_content"]//div[@class = "content"]//p
      title= text //div[@id = "dal_content"]//div[@class = "content"]//h3
Text:
      TITLE: ...
      MAIN-10: ...
      MAIN-10: ...
      MAIN-10: ...

有关XPath的更多信息，请参阅

• https://w3schools.org.cn/xpath/default.asp

• http://blog.browsermob.com/2009/04/test-your-selenium-xpath-easily-with-firebug/

网站分析

为了提供一个看起来更干净的Plone网站，有几个选项可以分析整个爬取网站并进行清理。这些默认是关闭的。

要确定一个项是否为容器的默认页面（它包含许多指向该容器中项的链接，即使它们不在该文件夹中），然后将其移动到该文件夹，请使用

$> bin/funnelweb --indexguess:condition=python:True

您可以通过分析反向链接文本自动找到更好的页面标题

[funnelweb]
recipe = funnelweb
titleguess-condition = python:True
titleguess-ignore =
      click
      read more
      close
      Close
      http:
      https:
      file:
      img

以下将找到仅被一个页面引用的项，并将它们移动到以该页面作为默认视图的新文件夹中

$> bin/funnelweb --attachmentguess:condition=python:True

或者以下内容仅移动图像附件，并使用index-html作为新创建文件夹默认页面的新名称

[funnelweb]
recipe = funnelweb
attachmentguess-condition = python: subitem.get('_type') in ['Image']
attachmentguess-defaultpage = index-html

以下将根据TALES表达式整理URL

$> bin/funnelweb --urltidy:link_expr="python:item['_path'].endswith('.html') and item['_path'][:-5] or item['_path']"

如果您想在上传前移动内容，也可以使用urltidy步骤，例如

$> bin/funnelweb --urltidy:link_expr=python:item['_path'].startswith('/news') and '/otn/news'+item['path'][5:] or item['_path']

如果您想隐藏导航中的内容，可以使用hideguess

$> bin/funnelweb –hideguess:condition=python:item[‘path’]==’musthide’

上传到Plone

上传通过远程XML-RPC调用进行，因此可以用于任何正在运行的网站。

要设置网站上传的位置，请使用

$> bin/funnelweb --ploneupload:target=http://username:password@myhost.com/myfolder

目前只支持通过在url中设置用户名和密码的基本认证。如果没有设置目标，则网站将被抓取但不会上传。

如果您想更改上传的内容类型

$> bin/funnelweb --changetype:value=python:{'Folder':'HelpCenterReferenceManualSection','Document':HelpCenterLeafPage}.get(item['_type'],item['_type'])

这将设置项目类型的新值。您可以将此设置为条件，例如

$> bin/funnelweb --changetype:condition=python:item['_path].startswith('/news')

或者使用更复杂的表达式来设置新类型

$> bin/funnelweb –changetype:value=python:item[‘_path’].startswith(‘/news’) and ‘NewNewsType’ or item[‘_type’]

默认情况下，funnelweb会根据原始抓取的URL自动创建Plone别名，以便任何旧链接都会自动重定向到新清理后的URL。您可以通过以下方式禁用此功能

$> bin/funnelweb --plonealias:target=

您可以通过以下方式设置哪些项目将发布到哪个状态

[funnelweb]
recipe = funnelweb
publish-value = python:["publish"]
publish-condition = python:item.get('_type') != 'Image' and not options.get('disabled')

当该项目仅从内容区域内链接时，Funnelweb会隐藏某些项目从Plone的导航中。您可以通过以下方式禁用此行为

$> bin/funnelweb --plonehide:target=

您可以使用以下方式获取将要上传的本地文件表示

$> bin/funnelweb --localupload:output=var/mylocaldir

Read The Docs

例如，以下buildout将创建一个funnelweb脚本，该脚本将普通sphinx文档转换为PloneHelpCenter内的远程Plone内容

[transmogrifier]
include = funnelweb.remote

[crawler]
url=http://collective-docs.readthedocs.org/en/latest/
ignore=
        cgi-bin
        javascript:
        _static
        _sources
        genindex\.html
        search\.html
        saesrchindex\.js

[template1]
title = text //div[@class='body']//h1[1]
description = optional //div[contains(@class,'admonition-description')]/p[@class='last']/text()
text = html //div[@class='body']
# Fields with '_' won't be uploaded to Plone so will be effectively removed
_permalink = text //div[@class='body']//a[@class='headerlink']
_label = optional //p[contains(@class,'admonition-title')]
_remove_useless_links = optional //div[@id = 'indices-and-tables']

# Images will get titles from backlink text
[titleguess]
condition = python:True

# Pages linked to content will be moved together
[indexguess]
condition = python:True

# Hide the images folder from navigation
[hideguess]
condition = python:item.get("_path","").startswith('_images') and item.get('_type')=='Folder'

# Upload as PHC instead of Folders and Pages
[changetype]
value=python:{'Folder':'HelpCenterReferenceManualSection','Document':'HelpCenterLeafPage'}.get(item['_type'],item['_type'])

# Save locally for debugging purposes
[localupload]
output=manual

# All folderish content should be checked if they contain
# any items on the remote site which are not presented locally. including base folder
[ploneprune]
condition=python:item.get('_type') in ['HelpCenterReferenceManualSection','HelpCenterReferenceManual'] or item['_path'] == ''

Joomla

#TODO

Wordpress

#TODO

Drupal

#TODO

其他

在此处添加您自己的示例

使用外部蓝图

如果您决定需要自定义管道，并希望安装使用蓝图而不是funnelweb或transmogrifier中已包含的蓝图进行转换的转换步骤，您可以使用funnelweb buildout部分中的eggs选项来包含它们

[funnelweb]
recipe = funnelweb
eggs = myblueprintpackage
pipeline = mypipeline.cfg

但是，这仅在蓝图包包含其setup.py中的以下setuptools入口点时才有效

entry_points="""
      [z3c.autoinclude.plugin]
      target = transmogrify
      """,
      )

funnelweb管道中可用的属性

在 funnelweb 中使用默认蓝图时，以下是一些将附加到每个蓝图可访问项上的属性。这些属性可以在各种条件语句等以及您自己的蓝图中使用。

_site_url

传递给网络爬虫的 URL 的基础部分。

_path

URL 的其余部分。 _site_url + _path = URL

_mimetype

爬虫返回的 MIME 类型。

_content

爬取项的内容，包括图像、文件或 HTML 数据。

_orig_path

被爬取项的原始路径。这有助于设置重定向，以便在内容迁移后不会出现 404 错误。

_sort_order

表示该项被爬取顺序的整数。有助于确定在服务器上创建的文件夹中项目应按何种顺序排序，如果您的网站有从上到下排序的链接导航。

_type

由“typeguess”步骤返回的待创建对象的类型。

title、description、text等。

模板步骤通常将从 _content 中提取的内容创建为字段。

_template

模板步骤将未分离到不同字段的 HTML 留在这个属性中。

_defaultpage

在文件夹项上设置，您想告诉上传步骤将 _defaultpage 中提到的包含项设置为该文件夹上的默认页面，而不是内容列表。

_transitions

指定在项上传或更新后要对其执行的工作流操作。

_origin

这用于与 transmogrify.siteanalysis.relinker 蓝图内部结合使用，作为一种方式，告知它已更改 _path，现在希望重链接器找到任何引用 _origin 的链接，现在应指向 _path。

Funnelweb管道

查看 http://github.com/collective/funnelweb/blob/master/funnelweb/remote.cfg 或输入

$> bin/funnelweb --show-pipeline