datapunt-processing 0.0.1a12

数据处理

在阿姆斯特丹市，我们处理许多不同类型的结构和非结构化数据。其中大部分数据质量不高，并且缺少适当的语义来进行适当的分析。

此存储库结合了通用的命令行函数来创建提取、转换和加载步骤，然后我们可以使用这些步骤来创建用于分析和在仪表板和地图中使用的数据的可重复数据。

有关我们如何在我们的工作流程中使用这些函数的更多信息，请阅读数据管道指南。

如何使用

完整文档可在此处找到： amsterdam.github.io/data-processing

快速入门：要在Python中使用函数，您可以

from datapunt_processing.extract import download_from_catalog

or

from datapunt_processing.helpers.connections import objectstore_connection

要直接从您的虚拟环境或Docker shell中的命令行使用函数，您可以使用如下方式

download_from_data_amsterdam -h

要查看命令行函数的列表，请参阅下面的模块或直接在setup.py中查看

入门

要使函数启动并运行

pip install datapunt-processing

要本地开发函数，请按以下步骤操作

1. 克隆存储库

git clone https://github.com/Amsterdam/data-processing.git
cd data-processing

2. 在Windows中创建虚拟环境

# Create and activate a virtual environment, for example with:
python -m venv --copies --prompt data-processing .venv
.venv\Scripts\activate

2. 在OSX中创建虚拟环境

virtualenv --python=$(which python3) venv
source venv/bin/activate

3. 以可编辑模式安装data-processing模块

pip install -e .

4. 转换和加载函数需要数据库。您可以在config.ini文件中设置您的postgres数据库凭据，以便应用于函数。

如果想要使用Docker，你可以在新的终端中为你的项目启动数据库服务器。数据库的名称、端口和登录信息可以在docker-compose.yml文件中更改。同时，也要在用于连接该数据库的函数将使用的config.ini文件中进行更改。

docker-compose up -d database

笔记本

一些示例以可运行的Jupyter笔记本的形式提供。包含所有图像和输出的这些笔记本副本托管在Anaconda Cloud上。要在自己的系统上运行这些笔记本，请启动Jupyter笔记本服务器

如何安装jupyter

pip install -e .\[dev\]

jupyter notebook --NotebookApp.iopub_data_rate_limit=100000000

如何贡献

如果你想要贡献，请遵循贡献指南

git clone https://github.com/Amsterdam/data-processing.git

pip install -e .[docs,test,dev]
or when using zsh
pip install -e .\[docs,test,dev\]

python setup.py test

sphinx/make docs
and test if the readme is not broken:
open docs/index.html