Python模块,只需一行代码即可抓取http/https URL并返回字符串或字典(JSON)
项目描述
SimpleHttpFetch支持通过最简单的接口抓取URL作为字符串或JSON字典
它通过相同的接口支持HTTP和HTTPS。它将自动遵循301重定向和Location头部,您无需担心处理。
抓取URL的内容无法更简单了!!!
示例用法
通过HTTPS抓取google.com并返回内容作为字符串
import SimpleHttpFetch
contents = SimpleHttpFetch.fetchUrl(’https://www.google.com’)
这就完成了!!!
您还可以通过一次调用将返回JSON的页面转换为字典!
通过HTTP从example.com获取返回JSON的servlet,并转换为Python字典
import SimpleHttpFetch
jsonContents = SimpleHttpFetch.fetchUrlAsJson('http://www.example.com/myJsonServlet?username=myuser')
如此简单!
获取Linux内核,不要尝试将其解码为文本。
import SimpleHttpFetch
kernel = SimpleHttpFetch.fetchUrlRaw('https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.4.1.tar.xz')
编码
SimpleHttpFetch将检查Content-type头中定义的“charset”,并使用该编码。如果没有找到,它将使用“defaultEncoding”参数,默认为utf-8。
二进制数据
要获取二进制数据,请使用“fetchUrlRaw”方法,或将“nodecode”作为“defaultEncoding”参数传递。使用此模式获取图像、视频、tar包等。
额外头信息
默认情况下,自动头信息用于HTTP/HTTPS请求,但您可以通过“headers”参数覆盖或提供自己的头信息到大多数函数中。
完整文档
关于其他方法和参数的完整文档可以在以下位置找到:http://htmlpreview.github.io/?https://github.com/kata198/SimpleHttpFetch/blob/master/doc/SimpleHttpFetch.html?vers=2
项目详情
SimpleHttpFetch-4.0.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6710bf384f213af4e66bcd88444cdfac2196e989ac0531fc4025bd9bb8454392 |
|
MD5 | fa46ca22e456588b2f1d9b516ef46849 |
|
BLAKE2b-256 | 1ab3eec7389266c94b5f80e2d94513933a3595b75562d478285f731486d08ca0 |