2024-09-08

Practical-RIFE

在视频中现有帧之间插入中间帧提高视频帧率，主要技术 RIFE和SAFA。

• 项目地址：https://github.com/hzwer/Practical-RIFE
• SAFA 本地电脑运行有点慢，所以没提供运行结果

RIFE

文档中说明了现实场景下推荐4.18的模型，所以后面都是基于这个模型执行。

演示视频

对项目中提供的 demo.mp4(25fps)测试，处理为 50fps。

python3 inference_video.py --multi=2 --video=demo.mp4 # 处理为 50fps

效果如下：

原视频 25fps

处理后 50fps

测试视频

将自行准备的测试视频处理为 60fps。

原视频 30fps

处理后 60fps

---

frame-interpolation

通过两张相邻的图片，生成其中间的一张照片以及生成一个视频。

• 项目地址：https://github.com/google-research/frame-interpolation

该项目启动需要调整依赖文件 requirements.txt且 Python 版本为 3.9，否则不能正常运行。

numpy==1.23.5
tensorflow==2.15.0 # The latest should include tensorflow-gpu
tensorflow-datasets==4.9.3
tensorflow-addons==0.23.0
absl-py==2.1.0
gin-config
parameterized
mediapy
scikit-image
apache-beam
google-cloud-bigquery-storage
natsort
gdown
tqdm

演示图片

图片一：

图片二：

生成的中间一帧的图片：

生成的视频：

自备图片

图片一：

图片二：

生成的中间一帧的图片：

生成的视频：