Blue Brain Project 功能化剂的 PySpark 实现
项目描述
功能化剂
功能化剂是一个工具,用于根据形态模型(以SONATA扩展中描述的处方形式)过滤触摸检测器的输出(“触摸”)。
为了最优地处理大量数据,此软件使用PySpark。
安装
安装 功能化剂 最简单的方法是通过
pip install functionalizer
由于依赖于 mpi4py,需要在所使用的系统上安装 MPI 实现。在Ubuntu上,可以使用以下方法实现:
apt-get install -y libopenmpi-dev
通过 pip 从源代码手动安装时,需要C++17处理器的编译器。此外,应检出所有 git 子模块。
gh repo clone BlueBrain/functionalizer -- --recursive --shallow-submodules
cd functionalizer
pip install .
Spark和Hadoop应安装并配置为运行时依赖项。
使用方法
基本使用模式如下
functionalizer --s2f --circuit-config=circuit_config.json --recipe=recipe.json edges.h5
其中最后一个参数 edges.h5 也可能是一个Parquet文件的目录。在多节点集群上运行时,应注意每个rank占用一个完整的节点,Spark将扩展到每个节点。
致谢
本软件的开发得到了瑞士政府联邦理工学院董事会(ETH Board)对洛桑联邦理工学院(EPFL)的Blue Brain Project研究中心的资金支持。
版权(c)2017-2024 Blue Brain Project/EPFL
项目详情
关闭
functionalizer-1.0.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | c62754fcf41e29729386c23cefb0dd57b449ac27c0b47ba5e2e4b2776c517494 |
|
MD5 | 1e107e3717f01a0040ff9047942528d7 |
|
BLAKE2b-256 | 11296a0c311ecb32ce9b54b1856a3c5cc06f741babdbc95dd7f1d269bc531c09 |
关闭
functionalizer-1.0.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | b0858cf4756d73d5c7efde0340e0796c1b54ecee1611d188cc42f557109e288a |
|
MD5 | 9183b481f3ae68fbc3e674246f660c9f |
|
BLAKE2b-256 | 1683ba601afd12a8858dff3bdae644736142034f4e17f3f2240077f506c93968 |
关闭
functionalizer-1.0.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 72216717db16bcd00336f9b6adb5dcac70e14269b55f9bd5cf8b5e48bbf50953 |
|
MD5 | 16eab1ff3048d159466e11e2a7b7d1ba |
|
BLAKE2b-256 | 9dbea3fb01c89ec6005646585f12f114591b9a15920dd2dc1217f28307632471 |
关闭
functionalizer-1.0.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | ef48c68e21d0d8f387ce10980a8743e06c8d2932ed51ee164b4d1749fdf9a254 |
|
MD5 | 16b8d48301c8609693402d62c2731441 |
|
BLAKE2b-256 | 14149b51a9f726c33092d903b8cfb9c4e781f78d02deb95e43490e85d41697f3 |
关闭
哈希值 for functionalizer-1.0.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 8053aab4f5374dab5f08b022248bd21fbd833120b6fbff59ccabe462e7d655ca |
|
MD5 | e229af9150f1341fd03f57fc79ccbd41 |
|
BLAKE2b-256 | 9ce2876049d6dd24061c1f629a2d70e24e4612ac427a7b030d2f82a9181ac7dd |