RIFE ncnn Vulkan Python

介绍

rife-ncnn-vulkan是nihui的ncnn实现，用于视频帧插值的实时中间流估计。

rife-ncnn-vulkan-python通过SWIG封装rife-ncnn-vulkan项目，以便更容易将rife-ncnn-vulkan与现有的Python项目集成。

下载

Linux/Windos/Mac X86_64二进制构建发布现在可用。

构建

首先，您需要在您的平台上安装python、python开发包（Visual Studio中的Python本地开发库）、vulkan SDK和SWIG。然后，有两种构建方式

• 从PyPI安装源分布（目前处于开发中，需要先下载模型才能构建。）
• 使用setuptools直接构建和安装到Python包中。
• 直接使用CMake（旧方式）

从PyPI安装

pip install rife-ncnn-vulkan-python

使用setuptools

python setup.py install

使用CMake

Linux

git clone https://github.com/ArchieMeng/rife-ncnn-vulkan-python.git
cd rife-ncnn-vulkan-python
git submodule update --init --recursive
cmake -B build src
cd build
make

Windows

我使用Visual Studio 2019和msvc v142在Windows上构建了这个项目。

安装Visual Studio，打开项目目录，然后构建。任务完成。

Windows上唯一的问题是，您不能使用Windows上的CMake GUI生成Visual Studio解决方案文件并构建它。这将导致库在加载时崩溃。

一种方法是使用Visual Studio以目录形式打开项目，并在Visual Studio中构建它。另一种方法是从powershell构建，就像在release.yml中写的那样

关于RIFE

RIFE（实时中间流估计，用于视频帧插值）

https://github.com/hzwer/arXiv2020-RIFE

Huang, Zhewei and Zhang, Tianyuan and Heng, Wen and Shi, Boxin and Zhou, Shuchang

https://rife-vfi.github.io

https://arxiv.org/abs/2011.06294

用法

示例程序

from rife_ncnn_vulkan_python import Rife
from PIL import Image

with Image.open("input0.png") as image0:
    with Image.open("input1.png") as image1:
      rife = Rife(gpuid=0) # or RIFE(0) like upstream
      image = rife.process(image0, image1)
      image.save("output.png")

如果您遇到崩溃或错误，请尝试升级您的GPU驱动程序

• Intel: https://downloadcenter.intel.com/product/80939/Graphics-Drivers
• AMD: https://www.amd.com/en/support
• NVIDIA: https://www.nvidia.com/Download/index.aspx

型号

原始RIFE项目

• https://github.com/hzwer/arXiv2020-RIFE

使用的其他开源代码

• https://github.com/Tencent/ncnn 用于在所有平台上快速执行神经网络推理
• https://github.com/webmproject/libwebp 用于在所有平台上编码和解码Webp图像
• https://github.com/nothings/stb 用于在Linux / MacOS上解码和编码图像
• https://github.com/tronkko/dirent 用于在Windows上列出目录中的文件
• https://github.com/nihui/rife-ncnn-vulkan 原始的rife-ncnn-vulkan项目