Python数据矩阵

一种直观、Python风格的表格数据处理方式。

Sebastiaan Mathôt
版权所有 2015-2024
https://pydatamatrix.eu/

内容

• 关于
• 功能
• 超简短速查表
• 文档
• 依赖项
• 安装
• 许可证

关于

DataMatrix 是一个直观的 Python 库，用于处理基于列的、时间序列和多维数据。它是一个轻量级且易于使用的 pandas 的替代品。

DataMatrix 也是 OpenSesame（一个社会科学图形实验构建器）和 Rapunzel（一个用于Python和R数值计算的现代代码编辑器）的核心库之一。

功能

• 直观的语法 使您的代码易于阅读
• 将表格数据与 时间序列 和 多维数据 结合在一个单一的数据结构中
• 通过智能（并自动）将数据卸载到磁盘来支持 大数据，当内存不足时
• 高级 缓存（memoization）
• 仅需要Python标准库（但您可以使用 numpy 来提高性能）
• 与您喜欢的数据科学库兼容
  • seaborn 和 matplotlib 用于 绘图
  • scipy、statsmodels 和 pingouin 用于 统计
  • mne 用于分析脑电图（EEG）和脑磁图（MEG）数据
  • 转换 到和从 pandas.DataFrame
  • 在 Jupyter Notebook 中看起来相当不错

超简短速查表

from datamatrix import DataMatrix, io
# Read a DataMatrix from file
dm = io.readtxt('data.csv')
# Create a new DataMatrix
dm = DataMatrix(length=5)
# The first two rows
print(dm[:2])
# Create a new column and initialize it with the Fibonacci series
dm.fibonacci = 0, 1, 1, 2, 3
# You can also specify column names as if they are dict keys
dm['fibonacci'] = 0, 1, 1, 2, 3
# Remove 0 and 3 with a simple selection
dm = (dm.fibonacci > 0) & (dm.fibonacci < 3)
# Get a list of indices that match certain criteria
print(dm[(dm.fibonacci > 0) & (dm.fibonacci < 3)])
# Select 1, 1, and 2 by matching any of the values in a set
dm = dm.fibonacci == {1, 2}
# Select all odd numbers with a lambda expression
dm = dm.fibonacci == (lambda x: x % 2)
# Change all 1s to -1
dm.fibonacci[dm.fibonacci == 1] = -1
# The first two cells from the fibonacci column
print(dm.fibonacci[:2])
# Column mean
print(dm.fibonacci[...])
# Multiply all fibonacci cells by 2
dm.fibonacci_times_two = dm.fibonacci * 2
# Loop through all rows
for row in dm:
    print(row.fibonacci) # get the fibonacci cell from the row
# Loop through all columns
for colname, col in dm.columns:
    for cell in col: # Loop through all cells in the column
        print(cell) # do something with the cell
# Or just see which columns exist
print(dm.column_names)

文档

基本文档（包括函数和模块引用）托管在 https://pydatamatrix.eu/。更多教程可以在 https://pythontutorials.eu/ 的数据科学课程中找到。

依赖项

DataMatrix 只需要 Python 标准库。也就是说，您可以在不安装任何其他 Python 包的情况下使用它（尽管 pip 和 conda 包默认安装了一些可选依赖）。支持 Python 3.7 及更高版本。

以下包是额外功能所需的

• numpy 和 scipy 用于使用 FloatColumn、IntColumn、SeriesColumn、MultiDimensionalColumn 对象
• pandas 用于转换为和从 pandas.DataFrame
• mne 用于转换为和从 mne.Epochs 和 mne.TFR
• fastnumbers 用于提高性能
• prettytable 用于创建 DataMatrix 的文本表示（例如，用于打印出来）
• openpyxl 用于读取和写入 .xlsx 文件
• json_tricks 用于散列、从和到 json 的序列化以及记忆化（缓存）
• tomlkit 用于从 pyproject.toml 读取配置
• psutil 用于动态加载大量数据

安装

PyPi

pip install datamatrix

历史记录： DataMatrix 项目曾对应于另一个同名的包，该包于 2010 年停止使用。如果您想安装此包，您仍然可以通过提供显式版本（0.9 是此包的最新版本）来安装它，如下所示。感谢 dennogumi.org 将此项目的 PyPi 条目移交给我们，从而避免了大量不必要的混淆！

# Doesn't install datamatrix but a previous package by the same name!
pip install datamatrix==0.9

Anaconda

conda install datamatrix -c conda-forge

Ubuntu

sudo add-apt-repository ppa:smathot/cogscinl  # for stable releases
sudo add-apt-repository ppa:smathot/rapunzel  # for development releases
sudo apt-get update
sudo apt install python3-datamatrix

许可证

python-datamatrix 使用 GNU 通用公共许可证 v3 许可。