FRESCO：视频一键重绘

北京大学推出的一款创新的视频风格转换工具——FRESCO，旨在简化和提升视频转视频的处理流程。FRESCO 支持将视频转换为多种不同的风格，并且可以选择性地转换视频中的特定部分。

视频教程：

软件功能：

FRESCO 在设计时，考虑了帧间对应关系，并引入了帧内对应概念，构建了一个更加稳定的时空约束机制。这一改进显著提高了视频中跨帧语义内容的连贯性，使得转换后的视频在视觉上更加一致和连贯。该方法不仅增强了注意力机制的作用，同时还包括特征的显式更新，进一步确保结果视频在时空两个维度上的一致性。

核心特性

• 时空一致性：通过结合帧内和帧间约束，FRESCO 在连贯性和覆盖范围上相比单独使用光流技术有显著提升。与之前的作品 Rerender-A-Video 相比，FRESCO 使用帧内和帧间约束，比单独使用光流具有更好的一致性和覆盖率。
• ​操作简单：无需训练或微调即可使用，极大简化了操作流程。
• 灵活性：与现有的模型（如 ControlNet、LoRA）兼容，支持定制化转换，满足不同用户的需求。

FRESCO 的发布为视频风格转换提供了一个高效便捷的解决方案，不仅适用于科研领域，还为视频制作和编辑提供了强大的工具。

配置要求：

建议电脑满足以下配置：

• 操作系统：Windows 10/11 64位
• 显卡：至少16G显存的英伟达（NVIDIA）显卡

如何查看显卡品牌型号和显存：

• 打开任务管理器
• 点击“性能”
• 点击“GPU”
• 右上角可以看到显卡型号，下方可以看到显存大小

使用教程：

① 打开下载页面（https://aiyy.info/fresco/）点击页面右侧下载按钮，下载整合包之后解压，建议使用winrar解压（解压软件下载地址：https://www.winrar.com.cn/）

注意：文件夹路径和文件名称不要出现中文字符，否则部分软件会因识别不出而报错

② 双击“一键启动.exe”，稍等片刻会在浏览器中自动打开操作界面

③ 上传视频，输入提示词，选择模型，软件默认重绘前100帧，将这个帧数拖至最高值，可以重绘300帧，点击“run all”即可开始重绘，

④ 结果会生成在右侧，上方为关键帧画面，下方为完整视频，点击下载按钮即可将视频保存至指定文件夹

⑤ 其他设置保持默认即可，如需要调整，可将网页翻译成中文，方便理解，下方为对应选项功能作用

单帧处理的高级选项

1. 帧分辨率：将视频短边调整为512。
2. ControlNet相关：
   • ControlNet 强度：输出与输入控制边缘的匹配程度
   • 控制类型：HED边缘，Canny边缘，深度图
   • Canny 低/高阈值：低值可获得更多边缘细节
3. SDEdit相关：
   • 去噪强度：重绘程度（低值使输出看起来更像原始视频）
   • 保留颜色：保留原始视频的颜色
4. SD相关：
   • 步骤：去噪步骤
   • CFG 尺度：输出与提示的匹配程度
   • 增加提示/否定提示：补充提示
5. FreeU相关：
   • FreeU 第一/第二阶段骨干因子：=1 不执行任何操作；>1 增强输出颜色和细节
   • FreeU 第一/第二阶段跳跃因子：=1 不执行任何操作；<1 增强输出颜色和细节

FRESCO 约束的高级选项

1. 关键帧相关
   • 帧数：需要翻译的帧总数
   • 批次中的帧数：为避免内存不足，请使用较小的批次大小
   • 最小关键帧间隔（s_min）：至少每 s_min 帧检测一次关键帧
   • 最大关键帧间隔（s_max）：最多每 s_max 帧检测一次关键帧
2. FRESCO 约束
   • FRESCO 引导的注意力：
     • 空间引导注意力：勾选以启用空间引导注意力
     • 跨框架注意力：勾选即可启用高效的跨框架注意力
     • 时间引导注意力：勾选以启用时间引导注意力
   • FRESCO引导的优化：
     • 空间引导优化：选中以启用空间引导优化
     • 时间引导优化：选中以启用时间引导优化
3. 背景平滑：选中以启用背景平滑（最适合静态背景）

完整视频翻译的高级选项

1. 梯度混合：应用泊松混合来减少重影伪影。可能会减慢进程并增加闪烁。
2. 并行进程数：多进程加速进程。建议使用较大的值（4）。

案例展示：