使用asyncio的DHT爬虫框架。
项目描述
使用asyncio的DHT爬虫框架。
用法
from maga import Maga
import logging
logging.basicConfig(level=logging.INFO)
class Crawler(Maga):
async def handler(self, infohash, addr):
logging.info(addr)
logging.info(infohash)
# Or, if you want to have more control
class Crawler(Maga):
async def handle_get_peers(self, infohash, addr):
logging.info(
"Receive get peers message from DHT {}. Infohash: {}.".format(
addr, infohash
)
)
async def handle_announce_peer(self, infohash, addr, peer_addr):
logging.info(
"Receive announce peer message from DHT {}. Infohash: {}. Peer address:{}".format(
addr, infohash, peer_addr
)
)
crawler = Crawler()
# Set port to 0 will use a random available port
crawler.run(port=0)
变更日志
版本 3.0.0
将 peer_addr 参数添加到 handle_announce_peer 方法。
在 handler 上不要抛出 NotImplementedError
版本 2.0.1
当信号未实现时不要失败。( #3 )
版本 2.0.0
添加 handle_get_peers、handle_announce_peer 方法。
将 addr 参数添加到 handler
项目详情
下载文件
下载适合您平台的项目文件。如果您不确定选择哪个,请了解更多关于 安装包 的信息。
源分发
Maga-3.0.0.zip (7.2 kB 查看哈希值)
Maga-3.0.0.tar.gz (4.4 kB 查看哈希值)
构建版本
Maga-3.0.0-py2.py3-none-any.whl (4.9 kB 查看哈希值)
关闭
Maga-3.0.0.zip 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | c913766318c34f5c51f3456f23861445d9c2c1890fe98c471d20fa0d48e38aaf |
|
MD5 | 9cd16f175a4cc76e804ec632be93d6ee |
|
BLAKE2b-256 | 82fe4a873349eaf76d4e60ae23902bbc0367a3a2de417a34dd56a50c34186e17 |
关闭
Maga-3.0.0.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | d9278c3c57ae653b5d6fe01790ef7f93d98ca258eba128a4d974d8e81fc36a91 |
|
MD5 | 0c10fc4250e9f69e19e385ca6e04e1fc |
|
BLAKE2b-256 | 0e85875d75198325ce30b2fce20332fed281ed1dcc64d0d45d96ad99fab31fec |
关闭
Maga-3.0.0-py2.py3-none-any.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | b955137d818325399c81c1a45fd380fcc6510a715be7eab533f6a0bafd20ad0f |
|
MD5 | f501f20054475f752e6f6047bb4c7fdf |
|
BLAKE2b-256 | 7bac0de163f6cb7a6e3082fae3ffbed46116537c19d85eac423a0dc834ba966a |