gamdam 0.5.0

安装

gamdam 需要 Python 3.8 或更高版本。只需使用 Python 3 的 pip 安装 gamdam 及其依赖项即可（您有 pip，对吧？）

python3 -m pip install gamdam

gamdam 还需要安装 git-annex v10.20220222 或更高版本才能运行。

用法

gamdam [<options>] [<input-file>]

gamdam 从文件中读取一系列 JSON 条目（如果没有指定文件，则从标准输入读取），遵循以下描述的 输入格式。它将 URL 和输出路径传递给 git-annex addurl，一旦每个文件下载完成，它将使用 git-annex metadata 和 git-annex registerurl 分别附加任何列出的元数据和额外的 URL。

请注意，后者步骤只能在 git-annex 跟踪的文件上执行；如果您已经配置 git-annex 不跟踪文本文件，那么下载的任何文本文件都不会注册任何元数据或替代 URL。

库使用

gamdam 也可以作为 Python 库使用。它导出以下功能

async def download(
    repo: pathlib.Path,
    objects: AsyncIterator[Downloadable],
    jobs: Optional[int] = None,
    addurl_opts: Optional[List[str]] = None,
    subscriber: Optional[anyio.abc.ObjectSendStream[DownloadResult]] = None,
) -> Report

将异步迭代器 objects 产生的项下载到目录 repo（必须属于 git-annex 仓库）并设置其元数据。 jobs 是 git-annex addurl 进程使用的并行作业数量；None 的值表示每个 CPU 核心使用一个作业。 addurl_opts 包含要附加到 git-annex addurl 命令的任何额外参数。

如果提供了 subscriber，它将为每次完成的下载（无论是成功还是失败）发送一个 DownloadResult（见下文）。这可以用来实现下载的自定义后处理。

class Downloadable(pydantic.BaseModel):
    path: pathlib.Path
    url: pydantic.AnyHttpUrl
    metadata: Optional[Dict[str, List[str]]] = None
    extra_urls: Optional[List[pydantic.AnyHttpUrl]] = None

Downloadable 是一个用于表示要下载的文件的 pydantic 模型；有关字段的含义，请参见上面的 输入格式。

class DownloadResult(pydantic.BaseModel):
    downloadable: Downloadable
    success: bool
    key: Optional[str] = None
    error_messages: Optional[List[str]] = None

DownloadResult 是一个用于表示已完成下载的 pydantic 模型。它包含原始的 Downloadable，一个表示下载成功的标志，下载文件的 git-annex 键（只有当下载成功且文件由 git-annex 跟踪时才设置）以及来自 addurl 进程的任何错误消息（只有当下载失败时才设置）。

@dataclass
class Report:
    downloaded: int
    failed: int

Report 用作 download() 的返回值；它包含成功下载的文件数量和失败下载的数量。