vid2captionsai

vid2captionsai是一个基于Python的工具，用于为captions.ai准备视频，captions.ai是一个专注于生成音频和视频内容字幕的平台。

captions.ai允许您将漂亮的动画“硬字幕”直接添加到您的视频中。您上传视频，就可以获得带有字幕的视频。但如果您希望有一些控制权呢？vid2captionsai提供了两个命令，可以帮助您获得单独的字幕视频，带有透明度（不包含原始视频内容）。

然后您可以将这个新的视频导入到视频编辑器中，将其叠加在原始视频上，调整大小、裁剪、编辑，并按照您想要的方式将字幕渲染到原始视频上。

安装

确保您的系统已安装Python 3.10或更高版本，并运行

python3 -m pip install --upgrade vid2captionsai

或者使用开发版本

python3 -m pip install --upgrade git+https://github.com/twardoch/vid2captionsai

使用方法

安装后，vid2captionsai可以通过命令行使用。它有两个命令

blank：创建空白视频

运行blank命令

vid2captionsai blank /path/to/your/video.mp4 -c 000000 -w 2160 -h 720

这将创建一个与原始视频相同长度的空白视频，包含原始声音，但视频轨道包含指定颜色（默认：黑色）和指定尺寸（默认：2160x720）的纯背景。

视频将被保存在与原始视频相同的文件夹中，但后缀为-blank.mp4。

然后将该视频上传到captions.ai网络或桌面应用程序，并生成字幕。下载生成的文件，并将其放置在原始视频相同的文件夹中，文件名相同，但后缀为-subs.mp4。

有关blank命令的更多信息

SYNOPSIS
    vid2captionsai blank INPUT_PATH <flags>

POSITIONAL ARGUMENTS
    INPUT_PATH
        Type: str | pathlib.Path

FLAGS
    -c, --color=COLOR
        Type: str
        Default: '000000'
    -w, --width=WIDTH
        Type: int
        Default: 2160
    -h, --height=HEIGHT
        Type: int
        Default: 720

mask：更改颜色为透明

一旦你有了你的video-subs.mp4视频，再次运行工具并使用mask命令。

vid2captionsai mask /path/to/your/video.mp4 -c 000000 -t 0.01 -f 6 -o /path/to/your/video-mask.mov

这将创建一个新的视频，其中指定的颜色将被全透明替换，并且在指定的容差-t内的相似颜色将被半透明。视频以支持透明度的Apple ProRes 4444编解码器保存为MOV格式。

视频轨道将只包含由captions.ai生成的字幕。注意：视频不会有声音（我可能在将来添加一个选项来保留声音）。

由于背景颜色是透明的，你可以将此视频导入你的视频编辑器，并将其叠加到原始内容上。

有关mask命令的更多信息

SYNOPSIS
    vid2captionsai mask INPUT_PATH <flags>

POSITIONAL ARGUMENTS
    INPUT_PATH
        Type: str | pathlib.Path

FLAGS
    -c, --color=COLOR
        Type: str
        Default: '000000'
    -t, --tolerance=TOLERANCE
        Type: float
        Default: 0.01
    -f, --fps=FPS
        Type: Optional[int | None]
        Default: None
    -o, --output_path=OUTPUT_PATH
        Type: Optional[str | pathlib...
        Default: None

示例

此图像显示了工具+ captions.ai的结果

1. vid2captionsai blank用于将原始视频转换为2160x720分辨率的“空白”视频，背景为黑色。此分辨率是4K视频的宽度，是4K视频高度的1/3，这使得视频成为字幕的良好“容器”。
2. 使用captions.ai向“空白”视频添加字幕。
3. 使用captions.ai导出新的视频，同样为2160x720分辨率。导出的视频在黑色背景上硬烧了captions.ai生成的字幕。
4. 使用vid2captionsai mask将captions.ai导出的黑色背景视频转换为黑色变为透明的视频，暗色字幕背景变为稍微半透明。
5. 生成的透明视频被放入视频编辑器（这是图中所示选中的部分），可以自由地缩放和定位。

致谢 & 许可证

• vid2captionsai © 2023 Adam Twardoch
• 在Apache-2.0许可证下发布