独立应用 0.5.0

概述

在最基本的层面上，任何数据处理的“执行”或“运行”都可以这样理解

      .--------------.     _____________        .-------------.
     ;  DataTree    ;    |             |      ;   DataTree   ;
    ;--------------; ==> |  <cfunc_1>  | ==> ;--------------;
   ; /some/data   ;      |  <cfunc_2>  |    ; /some/data   ;
  ;  /some/other ;       |     ...     |   ;  /some/other ;
 ;   /foo/bar   ;        |_____________|  ;   /foo/bar   ;
'--------------'                         '--------------.

• 数据树 可以来自 json、hdf5、excel 工作簿或纯字典和列表。其值是字符串和数字、numpy 列表、pandas 或 xray 数据集等。

• 组件函数 必须遵守以下简单签名

  cfunc_do_something(pandelone, datatree)

  并且不能返回任何值，只需在数据树中读取和写入。

• 这是一个简单的组件函数

  def cfunc_standardize(pandelone, datatree):
      pin, pon = pandelone.paths(),
      df = datatree.get(pin.A)
      df[pon.A.B_std] = df[pin.A.B] / df[pin.A.B].std()

• 注意使用标记为输入或输出的 可重定位路径。

• TODO：在教程中继续粗糙示例…

快速入门

程序运行在 Python-3.5+ 上，需要 numpy、pandas 以及（可选）win32 库及其 本地后端。

pip install pandalone                 ## Use `--pre` if version-string has a build-suffix.

… 但可能您还需要以下内容才能使 xleash 正常工作

pip install pandalone[xlrd]

所有“额外内容”都是：test, doc, excel, pandas, xlrd, dev, all

如果您需要从 master 分支获取最新版本

pip install git+https://github.com/pandalone/pandalone.git

或者要安装开发模式，包括所有开发所需的依赖项，以及使用 black 自动格式化 python 代码的 pre-commit 钩子，请从远程仓库克隆本地项目，并运行

pip install -e <pandalone-dr>[dev]
pre-commit install

项目文件和文件夹

以下是项目的文件和文件夹列表

+--pandalone/       ## (package) Python-code
+--tests/           ## (package) Test-cases
+--doc/             ## Documentation folder
+--setup.py         ## (script) The entry point for `setuptools`, installing, testing, etc
+--requirements/    ## (txt-files) Various pip and conda dependencies.
+--README.rst
+--CHANGES.rst
+--AUTHORS.rst
+--CONTRIBUTING.rst
+--LICENSE.txt

GUI 使用

要快速探索数据树的结构并运行实验，只需运行

$ pandalone gui

Excel 使用

在 Windows 和 OS X 中，您可以使用出色的 xlwings 库使用 Excel 文件为实验提供输入和输出。

要创建当前目录下必要的模板文件，应输入

$ pandalone excel

您也可以输入 samp(独立 Excel {file_path}) 来指定不同的目标路径。

[待定]

Python 使用

以下给出了一个示例 Python REPL（读取-评估-打印循环）示例命令，用于设置和运行一个 实验。

首先运行命令(python)或命令(ipython)，尝试导入项目以检查其版本

代码块

>>> import pandalone

>>> pandalone.__version__           ## Check version once more.
'0.5.0'

>>> pandalone.__file__              ## To check where it was installed.         # doctest: +SKIP
/usr/local/lib/site-package/pandalone-...

如果一切正常，创建 数据树 来保存输入数据（字符串和数字）。您可以通过使用以下方法组装数据树：

• 序列，

• 字典，

• 类(pandas.DataFrame)，

• 类(pandas.Series)，以及

• 其他数据树的 URI 引用。

[待定]

源代码和依赖关系

要参与开发，您需要一个 POSIX 环境，才能完全构建它（Linux、OSX 或 Cygwin 在 Windows 上）。

首先，您需要下载最新的源代码

$ git clone https://github.com/pandalone/pandalone.git pandalone.git
$ cd pandalone.git

然后您可以使用文件（setup.py）脚本来 `开发模式` 安装所有项目依赖项

$ python setup.py --help                           ## Get help for this script.
Common commands: (see '--help-commands' for more)

  setup.py build      will build the package underneath 'build/'
  setup.py install    will install the package

Global options:
  --verbose (-v)      run verbosely (default)
  --quiet (-q)        run quietly (turns verbosity off)
  --dry-run (-n)      don't actually do anything
...

$ python setup.py develop                           ## Also installs dependencies into project's folder.
$ python setup.py build                             ## Check that the project indeed builds ok.

现在您应该运行测试用例，以检查源代码是否良好

$ python setup.py test

设计

请参阅 架构实时文档。

为什么还需要另一个 XXX？YYY 又如何？

以下是与已知相关的 Python 项目

• OpenMDAO：它影响了 pandalone 的设计。计划通过将其数据类型转换为它来互操作。但它仅支持 Python-2，其架构需要程序员关注（没有 setup.py、没有官方测试用例）。

• PyDSTool：由于它不涉及IO和数据依赖，因此没有重叠。还计划与它交互（一旦我们更好地掌握它）。它有一些文档问题，但他们正在努力解决。

• xray：Pandas的高维版本；数据树原则上应该与“xray”一起工作。

• Blaze：NumPy和Pandas与大数据的接口；数据树原则上应该与“blaze”一起工作。

• netCDF4：类似于的层次文件数据格式；数据树原则上可以源自“netCDF4”。

• hdf5：层次文件数据格式，Pandas原生支持；数据树原则上可以源自“netCDF4”。

在构建此库时，您审查了哪些其他项目/想法？

• bubbles ETL：主要用于分类数据的处理管道。

• 数据协议:

  • JTSKit，一个用于在Python中处理JSON表模式的实用库。

  • 数据包

• Celery：使用消息传递在单个或多个工作服务器上执行分布式异步任务，使用多进程、Eventlet或gevent。

• Fuzzywuzzy和Jellyfish：Python中的模糊字符串匹配。用于编写可以读取粗略已知的列名的代码。

• “其他人的混乱数据（以及如何不讨厌它）”，2015年PyCon（加拿大）Mali Akmanalp的演讲。