dask-memusage

如果你在使用Dask且任务使用大量内存，那么RAM就是你的并行瓶颈。这意味着你需要知道每个任务使用了多少内存

1. 这样你就可以根据可用的RAM为每台机器设置最高的并行级别（进程或线程）。
2. 以便知道在哪里集中内存优化努力。

dask-memusage是Dask分布式调度器的MIT许可统计内存分析器，可以帮助你解决这两个问题。

dask-memusage轮询进程以获取内存使用情况，并在CSV中记录最小和最大使用情况

task_key,min_memory_mb,max_memory_mb
"('from_sequence-map-sum-part-e15703211a549e75b11c63e0054b53e5', 0)",44.84765625,96.98046875
"('from_sequence-map-sum-part-e15703211a549e75b11c63e0054b53e5', 1)",47.015625,97.015625
"('sum-part-e15703211a549e75b11c63e0054b53e5', 0)",0,0
"('sum-part-e15703211a549e75b11c63e0054b53e5', 1)",0,0
sum-aggregate-apply-no_allocate-4c30eb545d4c778f0320d973d9fc8ea6,0,0
apply-no_allocate-4c30eb545d4c778f0320d973d9fc8ea6,47.265625,47.265625
task_key,min_memory_mb,max_memory_mb
"('from_sequence-map-sum-part-e15703211a549e75b11c63e0054b53e5', 0)",44.84765625,96.98046875
"('from_sequence-map-sum-part-e15703211a549e75b11c63e0054b53e5', 1)",47.015625,97.015625
"('sum-part-e15703211a549e75b11c63e0054b53e5', 0)",0,0
"('sum-part-e15703211a549e75b11c63e0054b53e5', 1)",0,0
sum-aggregate-apply-no_allocate-4c30eb545d4c778f0320d973d9fc8ea6,0,0
apply-no_allocate-4c30eb545d4c778f0320d973d9fc8ea6,47.265625,47.265625

使用方法

重要： 确保你的工作者只有一个线程！否则结果将是不正确的。

安装

在你的分布式调度器运行的机器上运行

$ pip install dask_memusage

或者如果你使用Conda

$ conda install -c conda-forge dask-memusage

API使用

# Add to your Scheduler object, which is e.g. your LocalCluster's scheduler
# attribute:
from dask_memoryusage import install
install(scheduler, "/tmp/memusage.csv")

CLI使用

$ dask-scheduler --preload dask_memusage --memusage.csv /tmp/memusage.csv

限制

• 再次强调，确保每个工作进程只有一个线程。
• 这是每10ms运行一次的统计分析。耗时少于该时间的任务将没有准确的信息。

帮助

需要帮助？在https://github.com/itamarst/dask-memusage/issues/new上提交工单