缓存工作流程引擎
项目描述
CacheFlow是一个缓存工作流程引擎，能够在适当的情况下重用以前的结果来执行数据流以提高效率。它非常易于扩展，可以用于许多项目。
目标
☑ Python 3工作流程系统
☑ 从JSON或YAML文件执行数据流
☐ 并行执行
☐ 流/批处理
☑ 可扩展性：可以添加新的组件、新的存储格式、新的缓存机制、新的执行器
☐ 可插入性：扩展可以从PyPI安装而无需分叉
☑ 可重用性：可以独立执行工作流程，也可以嵌入到应用程序中。我计划自行开发一些
☑ 文学编程应用：嵌入到Markdown文件中的代码片段或组件，在渲染时执行（类似于Rmarkdown）。结果将被缓存，使得后续渲染更快
☐ 将其集成到我的纽约大学研究项目（VisTrails、Vizier、D3M）中
其他想法
☐ 使用Jupyter内核作为后端执行代码（给我快速访问它们支持的所有语言）
☐ 隔离脚本执行（例如，运行不受信任的Python/…代码，使用Docker）
非目标
创建一个超级可扩展和快速的流程执行引擎：我更愿意基于Spark、Dask、Ray创建执行器，而不是从头开始重新实现。
状态
基本结构已经就绪，从D3M中提取。执行功能正常。组件非常少。正在开发Web界面。
项目详情
下载文件
下载适用于您平台的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。
源分布
cacheflow-0.3.tar.gz (232.4 kB 查看散列)
构建分布
cacheflow-0.3-py3-none-any.whl (240.0 kB 查看散列)
关闭
cacheflow-0.3.tar.gz的散列
| 算法 | 散列摘要 | |
|---|---|---|
| SHA256 | 3e9aabef06ae7cbfceb25f3a9e0b672a3ba18a620f8cf957513ddc14caeb0702 |
|
| MD5 | a427d7744302124acc329802c13a96e7 |
|
| BLAKE2b-256 | 2d02293a2299acd5a4f63188dda52ce341ebbd1f22b4c6e70b28414d225bbb07 |
关闭
cacheflow-0.3-py3-none-any.whl的散列
| 算法 | 散列摘要 | |
|---|---|---|
| SHA256 | 552569e6207558c132c2fe26eb18fb7b529ef9b0d9622cca7921f2a4af3f1830 |
|
| MD5 | b8c487d37742327556b8b852cd4cfe8c |
|
| BLAKE2b-256 | 11188677bb2c3b3ca37c286b22abbe61cd0f65fc3f6831f01709670b70082536 |
