pymoten 0.0.8

什么是 pymoten？

pymoten 是一个 Python 包，它提供了一种方便的方法，使用时空 Gabor 小波金字塔从视频中提取运动能量特征 [1] [2]。这些滤波器在不同的空间和时频、运动方向、x-y 位置和大小上创建。每个滤波器正交对与视频卷积，并计算每帧的激活能量。这些特征为模拟大脑对自然电影的响应提供了一个良好的基础 [3] [4]。

安装

从 GitHub 克隆仓库并执行常规 Python 安装

git clone https://github.com/gallantlab/pymoten.git
cd pymoten
sudo python setup.py install

或者使用 pip

pip install pymoten

入门指南

使用合成数据示例

import moten
import numpy as np

# Generate synthetic data
nimages, vdim, hdim = (100, 90, 180)
noise_movie = np.random.randn(nimages, vdim, hdim)

# Create a pyramid of spatio-temporal gabor filters
pyramid = moten.get_default_pyramid(vhsize=(vdim, hdim), fps=24)

# Compute motion energy features
moten_features = pyramid.project_stimulus(noise_movie)

使用视频文件简单示例

import moten

# Stream and convert the RGB video into a sequence of luminance images
video_file = 'http://anwarnunez.github.io/downloads/avsnr150s24fps_tiny.mp4'
luminance_images = moten.io.video2luminance(video_file, nimages=100)

# Create a pyramid of spatio-temporal gabor filters
nimages, vdim, hdim = luminance_images.shape
pyramid = moten.get_default_pyramid(vhsize=(vdim, hdim), fps=24)

# Compute motion energy features
moten_features = pyramid.project_stimulus(luminance_images)

引用

Nunez-Elizalde AO, Deniz F, Dupré la Tour T, Visconti di Oleggio Castello M, and Gallant JL (2021). pymoten: 用于从视频中计算运动能量特征的 Python 科学软件包。Zenodo. https://doi.org/10.5281/zenodo.6349625

参考文献

可以在这里找到MATLAB实现。