fetch-data

下载远程数据（HTTP、FTP、SFTP）并将其存储在本地以用于数据处理管道。

此包是在对使用 intake 下载数据非常困难的挫折中创建的。 fetch-data 是 fsspec 和 pooch 的组合，使得下载多个文件并存储所有信息变得容易，非常适合数据处理管道应用。

安装

目前，此包可通过 pip install git+https://github.com/lukegre/fetch-data.git 安装

基本用法

直接使用下载函数

flist = fd.download(url)

文件将下载到当前目录，并包含一个说明文件、缓存文件列表和日志信息。

与YAML目录一起使用

使用目录YAML条目

import fetch_data as fd
cat = fd.read_catalog(cat_fname)
flist = fd.download(**cat['entry_name'])

目录结构应如下所示

entry_name:
    url: remote path to file/s. Can contain *
    dest: where the file/s will be stored - can have optional {} placeholders that will be replaced
    meta:  # this will be written to the README file
        doi: url to the data source
        description: info about the data
        citation: how to cite this dataset
    placeholder: value  # optional will replace values in dest

基于 cookiecutter science project 模板 的项目。