跳转到主要内容

Python模块,只需一行代码即可抓取http/https URL并返回字符串或字典(JSON)

项目描述

SimpleHttpFetch支持通过最简单的接口抓取URL作为字符串或JSON字典

它通过相同的接口支持HTTP和HTTPS。它将自动遵循301重定向和Location头部,您无需担心处理。

抓取URL的内容无法更简单了!!!

示例用法

通过HTTPS抓取google.com并返回内容作为字符串

import SimpleHttpFetch

contents = SimpleHttpFetch.fetchUrl(’https://www.google.com’)

这就完成了!!!

您还可以通过一次调用将返回JSON的页面转换为字典!

通过HTTP从example.com获取返回JSON的servlet,并转换为Python字典

import SimpleHttpFetch

jsonContents = SimpleHttpFetch.fetchUrlAsJson('http://www.example.com/myJsonServlet?username=myuser')

如此简单!

获取Linux内核,不要尝试将其解码为文本。

import SimpleHttpFetch

kernel = SimpleHttpFetch.fetchUrlRaw('https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.4.1.tar.xz')

编码

SimpleHttpFetch将检查Content-type头中定义的“charset”,并使用该编码。如果没有找到,它将使用“defaultEncoding”参数,默认为utf-8。

二进制数据

要获取二进制数据,请使用“fetchUrlRaw”方法,或将“nodecode”作为“defaultEncoding”参数传递。使用此模式获取图像、视频、tar包等。

额外头信息

默认情况下,自动头信息用于HTTP/HTTPS请求,但您可以通过“headers”参数覆盖或提供自己的头信息到大多数函数中。

完整文档

关于其他方法和参数的完整文档可以在以下位置找到:http://htmlpreview.github.io/?https://github.com/kata198/SimpleHttpFetch/blob/master/doc/SimpleHttpFetch.html?vers=2

项目详情


下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源代码分发

SimpleHttpFetch-4.0.0.tar.gz (26.9 kB 查看哈希值)

源代码

由以下支持