Python的一个简约、递归网络爬虫库。

导航

验证详情

这些详情已由PyPI 验证
维护者
Avatar for occrp from gravatar.com occrp Avatar for pudo from gravatar.com pudo Avatar for sunu from gravatar.com sunu

未验证详情

这些详情尚未由PyPI验证
项目链接
元数据
分类器

项目描述

一个多形态、瞬息万变且几乎无法忍受的精确世界的孤独而清晰的观众。

—— 记忆中的菲内斯，豪尔赫·路易斯·博尔赫斯

https://github.com/alephdata/memorious/workflows/memorious/badge.svg

memorious 是一个轻量级的网络爬虫工具包。它支持收集结构化或非结构化数据的爬虫。这包括以下用例

  • 使爬虫模块化并使简单任务可重复使用

  • 提供执行常见任务（如数据存储、HTTP会话管理）的实用函数

  • 将爬虫与 Aleph 和 FollowTheMoney 生态系统集成

  • 尽可能少地打扰你

设计

编写爬虫时，通常需要通过索引页进行分页，然后下载每个结果的HTML页面，最后解析该页面并在数据库中插入或更新一条记录。

memorious 通过管理一组 爬虫 来处理这个问题，每个爬虫可以由多个 阶段 组成。每个 阶段 都使用 Python 函数实现，可以在不同的 爬虫 中重复使用。

编写 Memorious 爬虫的基本步骤

  1. 创建 YAML 爬虫配置文件

  2. 添加不同的阶段

  3. 编写阶段操作代码（可选）

  4. 测试、清洗、重复

文档

Memorious 的文档可在 alephdata.github.io/memorious 查找。请随意编辑 docs 文件夹中的源文件，并通过发送改进的拉取请求。

要在 docs 文件夹中构建文档，请运行 make html

您将在 /docs/_build/html 中找到生成的 HTML 文件。

项目详情

验证详情

这些详情已由PyPI 验证
维护者
Avatar for occrp from gravatar.com occrp Avatar for pudo from gravatar.com pudo Avatar for sunu from gravatar.com sunu

未验证详情

这些详情尚未由PyPI验证
项目链接
元数据
分类器

发布历史 发布通知 | RSS 源

本版本

2.6.5

2.6.4

2.6.3

2.6.2

2.5.0

2.4.5

2.4.4

2.4.3

2.4.2

2.4.1

2.4.0

2.3.4

2.3.3

2.3.2

2.3.1

2.3.0

2.2.0

2.1.1

2.1.0

2.0.0

1.9.0

1.8.4

1.8.3

1.8.2

1.8.0

1.7.4

1.7.3

1.7.2

1.7.1

1.7.0

1.6.2

1.6.1

1.6.0

1.5.6

1.5.5

1.5.4

1.5.3

1.5.2

1.5.1

1.5.0

1.4.3

1.4.2

1.4.1

1.4.0

1.3.0

1.2.10

1.2.9

1.2.8

1.2.5

1.2.4

1.2.3

1.2.1

1.2.0

1.1.3

1.1.2

1.1.1

1.1.0

1.0.0

0.14.2

0.14.1

0.14.0

0.13.0

0.12.0

0.11.1

0.11.0

0.10.1

0.10.0

0.9.2

0.9.1

0.9.0

0.8.0

0.7.20

0.7.19

0.7.18

0.7.17

0.7.16

0.7.15

0.7.14

0.7.13

0.7.12

0.7.11

0.7.10

0.7.9

0.7.8

0.7.7

0.7.6

0.7.4

0.7.3

0.7.2

0.7.1

0.7.0

0.6.1

0.6.0

0.5.5

0.5.4

0.5.3

0.5.2

0.5.1

0.5.0

0.4.12

0.4.11

0.4.10

0.4.9

0.4.8

0.4.7

0.4.6

0.4.5

0.4.4

下载文件

下载适合您平台的文件。如果您不确定选择哪个，请了解更多关于 安装包 的信息。

源分发

memorious-2.6.5.tar.gz (41.0 kB 查看哈希值)

上传时间 源

构建分发

memorious-2.6.5-py2.py3-none-any.whl (52.4 kB 查看哈希值)

上传于 Python 2 Python 3

由以下支持