跳转到主要内容

Blue Brain Project 功能化剂的 PySpark 实现

项目描述

A nice banner for functionalizer

功能化剂

功能化剂是一个工具,用于根据形态模型(以SONATA扩展中描述的处方形式)过滤触摸检测器的输出(“触摸”)。

为了最优地处理大量数据,此软件使用PySpark。

安装

安装 功能化剂 最简单的方法是通过

pip install functionalizer

由于依赖于 mpi4py,需要在所使用的系统上安装 MPI 实现。在Ubuntu上,可以使用以下方法实现:

apt-get install -y libopenmpi-dev

通过 pip 从源代码手动安装时,需要C++17处理器的编译器。此外,应检出所有 git 子模块。

gh repo clone BlueBrain/functionalizer -- --recursive --shallow-submodules
cd functionalizer
pip install .

Spark和Hadoop应安装并配置为运行时依赖项。

使用方法

基本使用模式如下

functionalizer --s2f --circuit-config=circuit_config.json --recipe=recipe.json edges.h5

其中最后一个参数 edges.h5 也可能是一个Parquet文件的目录。在多节点集群上运行时,应注意每个rank占用一个完整的节点,Spark将扩展到每个节点。

致谢

本软件的开发得到了瑞士政府联邦理工学院董事会(ETH Board)对洛桑联邦理工学院(EPFL)的Blue Brain Project研究中心的资金支持。

版权(c)2017-2024 Blue Brain Project/EPFL

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源分发

functionalizer-1.0.0.tar.gz (26.5 MB 查看哈希值)

上传时间

构建分发

functionalizer-1.0.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (175.6 kB 查看哈希值)

上传时间 CPython 3.12 manylinux: glibc 2.17+ x86-64

functionalizer-1.0.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (176.5 kB 查看哈希值)

上传时间 CPython 3.11 manylinux: glibc 2.17+ x86-64

functionalizer-1.0.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (175.1 kB 查看哈希值)

上传时间 CPython 3.10 manylinux: glibc 2.17+ x86-64

functionalizer-1.0.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (175.5 kB 查看哈希值)

上传时间 CPython 3.9 manylinux: glibc 2.17+ x86-64

由...

AWSAWS云计算和安全赞助商DatadogDatadog监控FastlyFastlyCDNGoogleGoogle下载分析MicrosoftMicrosoftPSF赞助商PingdomPingdom监控SentrySentry错误日志StatusPageStatusPage状态页面