azure-datalake-store 0.0.53

微软Azure Data Lake Store文件系统库（Python版）

本项目是Azure Data Lake Store的Python文件系统库。

安装

要从源安装（用于本地测试和开发）而不是使用pip

> pip install -r dev_requirements.txt
> python setup.py develop

用法：示例代码

要玩代码，以下是一个起点

from azure.datalake.store import core, lib, multithread
token = lib.auth(tenant_id, username, password)
adl = core.AzureDLFileSystem(token, store_name=store_name)

# typical operations
adl.ls('')
adl.ls('tmp/', detail=True)
adl.ls('tmp/', detail=True, invalidate_cache=True)
adl.cat('littlefile')
adl.head('gdelt20150827.csv')

# file-like object
with adl.open('gdelt20150827.csv', blocksize=2**20) as f:
    print(f.readline())
    print(f.readline())
    print(f.readline())
    # could have passed f to any function requiring a file object:
    # pandas.read_csv(f)

with adl.open('anewfile', 'wb') as f:
    # data is written on flush/close, or when buffer is bigger than
    # blocksize
    f.write(b'important data')

adl.du('anewfile')

# recursively download the whole directory tree with 5 threads and
# 16MB chunks
multithread.ADLDownloader(adl, "", 'my_temp_dir', 5, 2**24)

可以使用形式为track(current, total)的回调函数跟踪进度。当传递时，这将跟踪传输的字节并在每个完整块上调用。

以下是一个使用Azure CLI进度控制器作为progress_callback的示例

from cli.core.application import APPLICATION

def _update_progress(current, total):
    hook = APPLICATION.get_progress_controller(det=True)
    hook.add(message='Alive', value=current, total_val=total)
    if total == current:
        hook.end()

...
ADLUploader(client, destination_path, source_path, thread_count, overwrite=overwrite,
        chunksize=chunk_size,
        buffersize=buffer_size,
        blocksize=block_size,
        progress_callback=_update_progress)

这将输出进度条到stdout

Alive[#########################                                       ]  40.0881%

Finished[#############################################################]  100.0000%

用法：命令行示例

要更高级别地与API交互，您可以使用提供的命令行界面“samples/cli.py”。您需要设置适当的环境变量

• azure_username

• azure_password

• azure_data_lake_store_name

• azure_subscription_id

• azure_resource_group_name

• azure_service_principal

• azure_service_principal_secret

连接到 Azure Data Lake Store。可选地，您可能需要定义 azure_tenant_id 或 azure_data_lake_store_url_suffix。

以下是一个简单的示例，其中包含更多详细信息。

python samples\cli.py ls -l

不传递参数执行程序以访问文档。

要启动交互式模式的 CLI，请运行“python samples/cli.py”，然后输入“help”以查看所有可用命令（类似于 Unix 工具）。

> python samples/cli.py
azure> help

Documented commands (type help <topic>):
========================================
cat    chmod  close  du      get   help  ls     mv   quit  rmdir  touch
chgrp  chown  df     exists  head  info  mkdir  put  rm    tail

azure>

在交互式模式下，您可以运行“ls -l”列出主目录中的条目（“help ls”将显示命令的使用详情）。如果您不熟悉 Unix/Linux 的“ls”命令，则列表示：1）权限，2）文件所有者，3）文件组，4）文件大小，5-7）文件的修改时间，以及 8）文件名。

> python samples/cli.py
azure> ls -l
drwxrwx--- 0123abcd 0123abcd         0 Aug 02 12:44 azure1
-rwxrwx--- 0123abcd 0123abcd   1048576 Jul 25 18:33 abc.csv
-r-xr-xr-x 0123abcd 0123abcd        36 Jul 22 18:32 xyz.csv
drwxrwx--- 0123abcd 0123abcd         0 Aug 03 13:46 tmp
azure> ls -l --human-readable
drwxrwx--- 0123abcd 0123abcd   0B Aug 02 12:44 azure1
-rwxrwx--- 0123abcd 0123abcd   1M Jul 25 18:33 abc.csv
-r-xr-xr-x 0123abcd 0123abcd  36B Jul 22 18:32 xyz.csv
drwxrwx--- 0123abcd 0123abcd   0B Aug 03 13:46 tmp
azure>

要下载远程文件，请运行“get remote-file [本地文件]”。第二个参数“本地文件”是可选的。如果没有提供，本地文件将使用远程文件名减去目录路径命名。

> python samples/cli.py
azure> ls -l
drwxrwx--- 0123abcd 0123abcd         0 Aug 02 12:44 azure1
-rwxrwx--- 0123abcd 0123abcd   1048576 Jul 25 18:33 abc.csv
-r-xr-xr-x 0123abcd 0123abcd        36 Jul 22 18:32 xyz.csv
drwxrwx--- 0123abcd 0123abcd         0 Aug 03 13:46 tmp
azure> get xyz.csv
2016-08-04 18:57:48,603 - ADLFS - DEBUG - Creating empty file xyz.csv
2016-08-04 18:57:48,604 - ADLFS - DEBUG - Fetch: xyz.csv, 0-36
2016-08-04 18:57:49,726 - ADLFS - DEBUG - Downloaded to xyz.csv, byte offset 0
2016-08-04 18:57:49,734 - ADLFS - DEBUG - File downloaded (xyz.csv -> xyz.csv)
azure>

也可以以命令行模式运行，允许在不保留在解释器中的情况下单独执行任何可用命令。

例如，列出主目录中的条目

> python samples/cli.py ls -l
drwxrwx--- 0123abcd 0123abcd         0 Aug 02 12:44 azure1
-rwxrwx--- 0123abcd 0123abcd   1048576 Jul 25 18:33 abc.csv
-r-xr-xr-x 0123abcd 0123abcd        36 Jul 22 18:32 xyz.csv
drwxrwx--- 0123abcd 0123abcd         0 Aug 03 13:46 tmp
>

此外，下载远程文件

> python samples/cli.py get xyz.csv
2016-08-04 18:57:48,603 - ADLFS - DEBUG - Creating empty file xyz.csv
2016-08-04 18:57:48,604 - ADLFS - DEBUG - Fetch: xyz.csv, 0-36
2016-08-04 18:57:49,726 - ADLFS - DEBUG - Downloaded to xyz.csv, byte offset 0
2016-08-04 18:57:49,734 - ADLFS - DEBUG - File downloaded (xyz.csv -> xyz.csv)
>

测试

有关我们测试框架的详细文档，请访问测试文件夹。

需要帮助？

如果您在使用提供的代码时遇到问题，请务必查看 Microsoft Azure 开发者论坛。大多数问题都标记为azure 和 python。

贡献代码或提供反馈

如果您想成为这个项目的积极贡献者，请按照Microsoft Azure 项目贡献指南中提供的说明操作。此外，请查看GUIDANCE.md以获取有关此项目的特定信息。

如果您在库中发现任何错误，请在项目的问题部分中提交问题。

行为准则

本项目采用了Microsoft 开源行为准则。有关更多信息，请参阅行为准则常见问题解答或联系opencode@microsoft.com提出任何额外的问题或意见。

发行历史