❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

原文链接：https://mp.weixin.qq.com/s/uQI_XVSuxyXZJB4OQ6UoIw

🚀 快速阅读

  1. 功能：VidTok 支持连续和离散分词化，能够高效压缩视频数据并保持高质量重建。
  2. 技术：采用混合模型架构和有限标量量化技术，提升训练稳定性和重建性能。
  3. 应用：适用于视频生成、视频内容高效建模和数据压缩等场景。

正文（附运行示例）

VidTok 是什么

VidTok.png

VidTok（Video Tokenizer）是微软开源的一款先进的视频分词器，通过高效的算法将视频内容转换成一系列“视频词”。它支持连续和离散分词化，具有灵活的压缩率和多样化的隐空间，适用于不同的应用场景。

VidTok 采用混合模型架构设计，结合了卷积层和上/下采样模块，以减少计算复杂度同时保持高质量重建。此外，VidTok 引入了有限标量量化技术，解决了传统向量量化中的训练不稳定性和码本崩溃问题。

VidTok 的主要功能

  • 视频分词化：VidTok 能将原始的高维视频数据（如图像和视频帧）转换为更为紧凑的视觉 Token。
  • 高效压缩：VidTok 在不同的压缩率设定下工作，能有效地压缩视频数据，同时保持视频质量。
  • 连续和离散分词化：VidTok 支持连续型和离散型两种分词化方法，适应不同的模型和应用需求。
  • 因果和非因果模型支持：VidTok 支持因果型和非因果型模型，因果模型只依赖历史帧进行 Tokenization，非因果模型则可以基于历史帧和未来帧信息。
  • 多样化的隐空间支持：VidTok 支持不同大小的隐空间，适应不同的视频压缩率和模型复杂度。
  • 高性能重建：VidTok 在多个视频质量评估指标上表现出色，包括 PSNR、SSIM、FVD 和 LPIPS，提供了高质量的视频重建。

VidTok 的技术原理

  • 高效的混合模型架构设计：VidTok 采用了经典的 3D 编码器-解码器结构，并创新性地结合了 3D、2D 和 1D 卷积，有效地解耦空间和时间采样。
  • 先进的量化技术：VidTok 引入了有限标量量化（FSQ）技术，是一种无需显式学习码本的量化方法，显著提高了模型的训练稳定性和重建性能。
  • 增强的训练策略：VidTok 采用分阶段训练策略，首先在低分辨率视频上对完整模型进行预训练，然后仅在高分辨率视频上微调解码器。

如何运行 VidTok

1. 克隆仓库并进入 VidTok 文件夹：

git clone https://github.com/microsoft/VidTok
cd VidTok

2. 使用 Conda 创建环境并激活：

conda env create -f environment.yaml
conda activate vidtok

3. 下载预训练模型并放入 checkpoints 文件夹，然后运行以下命令进行推理：

import torch
from scripts.inference_evaluate import load_model_from_config

cfg_path = "configs/vidtok_kl_causal_488_4chn.yaml"
ckpt_path = "checkpoints/vidtok_kl_causal_488_4chn.ckpt"
is_causal = True

device = torch.device("cuda") if torch.cuda.is_available() else torch.device("cpu")    
model = load_model_from_config(cfg_path, ckpt_path)
model.to(device).eval（)

num_frames = 17 if is_causal else 16
x_input = (torch.rand(1, 3, num_frames, 256, 256) * 2 - 1).to(device)
_, x_recon, _ = model(x_input)
assert x_input.shape == x_recon.shape

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦