iterfilesystem 1.4.3

IterFilesystem

通过 os.scandir() 进行多进程目录迭代

这个库适合谁使用？

您想处理大量文件和/或几个非常大的文件，并给用户反馈处理所需时间。

示例

使用示例 CLI，例如。

~$ git clone https://github.com/jedie/IterFilesystem.git
~$ cd IterFilesystem
~/IterFilesystem$ pipenv install
~/IterFilesystem$ pipenv shell
(IterFilesystem) ~/IterFilesystem$ print_fs_stats --help
(IterFilesystem) ~/IterFilesystem$ pip install -e .
...
Successfully installed iterfilesystem

~/IterFilesystem$ $ poetry run print_fs_stats --help
usage: print_fs_stats.py [-h] [-v] [--debug] [--path PATH]
                         [--skip_dir_patterns [SKIP_DIR_PATTERNS [SKIP_DIR_PATTERNS ...]]]
                         [--skip_file_patterns [SKIP_FILE_PATTERNS [SKIP_FILE_PATTERNS ...]]]

Scan filesystem and print some information

optional arguments:
  -h, --help            show this help message and exit
  -v, --version         show program's version number and exit
  --debug               enable DEBUG
  --path PATH           The file path that should be scanned e.g.: "~/foobar/"
                        default is "~"
  --skip_dir_patterns [SKIP_DIR_PATTERNS [SKIP_DIR_PATTERNS ...]]
                        Directory names to exclude from scan.
  --skip_file_patterns [SKIP_FILE_PATTERNS [SKIP_FILE_PATTERNS ...]]
                        File names to ignore.

示例输出如下

(IterFilesystem) ~/IterFilesystem$ $ print_fs_stats --path ~/IterFilesystem --skip_dir_patterns ".*" "*.egg-info" --skip_file_patterns ".*"
Read/process: '~/IterFilesystem'...
Skip directory patterns:
    * .*
    * *.egg-info

Skip file patterns:
    * .*

Filesystem items..:Read/process: '~/IterFilesystem'...

...

Filesystem items..: 100%|█████████████████████████████████████████|135/135 13737.14entries/s [00:00<00:00, 13737.14entries/s]
File sizes........: 100%|██████████████████████████████████████████████████████████████|843k/843k [00:00<00:00, 88.5MBytes/s]
Average progress..: 100%|███████████████████████████████████████████████████████████████████████████████████████|00:00<00:00
Current File......:, /home/jens/repos/IterFilesystem/Pipfile


Processed 135 filesystem items in 0.02 sec
SHA515 hash calculated over all file content: 10f9475b21977f5aea1d4657a0e09ad153a594ab30abc2383bf107dbc60c430928596e368ebefab3e78ede61dcc101cb638a845348fe908786cb8754393439ef
File count: 109
Total file size: 843.5 KB
6 directories skipped.
6 files skipped.

历史记录

• **开发** - 比较 v1.4.3…master

  • TBC

• 2020年3月16日 - v1.4.3

  • 使用日志记录并移除“详细模式”

  • 更漂亮的“平均进度”条

  • 修复“当前文件”条：移除逗号

• 2020年2月16日 - v1.4.2

  • 遍历排序后的目录条目

  • 更新 CI 流水线

• 2020年2月2日 - v1.4.1

  • 修复 human_filesize 的错误

• 2020年2月2日 - v1.4.0

  • stats_helper.abort 总是很有用，可以获取是否使用了 KeyboardInterrupt 的信息

  • 使用 poetry 并更新项目设置

• 2019年10月20日 - v1.3.1

  • 修复如果扫描的目录完全为空时的错误

• 2019年10月13日 - v1.3.0

  • 通过 psutils 设置 ionice 和 nice 优先级

• 2019年10月13日 - v1.2.0

  • 重构 API

  • 清理统计信息和进度条

  • 处理访问错误，例如： 权限被拒绝

  • 修复测试

• 2019年10月12日 - v1.1.0

  • 不要为工作器创建单独的进程：只需在主进程中执行工作

  • 目录/文件过滤器现在使用 fnmatch

• 2019年10月12日 - v1.0.0

  • 重构

    • 不要使用 persist-queue

    • 从 threading 切换到 multiprocessing

    • 使用多个 tqdm 进度条增强进度显示

• 2019年9月15日 - v0.2.0

  • 将持久队列存储在临时目录中

  • 不要捕获 process_path_item 错误，这应该在子类中完成

• 2019年9月15日 - v0.1.0

  • 添加了一些项目元文件和测试

  • 设置 CI

  • 修复测试

• 2019年9月15日 - v0.0.1

  • 首次发布在 PyPi 上

链接

• https://pypi.python.org/pypi/IterFilesystem/

• https://github.com/jedie/IterFilesystem/

捐赠

• paypal.me/JensDiemer

• Flattr This!

• 向 Bitcoins 发送 1823RZ5Md1Q2X5aSXRC5LRPcYdveCiVX6F

注意：此文件由 README.creole 于 2020-03-16 18:09:30 生成，使用 "python-creole"。