[系列教程](/zh/tutorial "系列教程")[ComfyUI 进阶教程](/zh/tutorial/advanced "ComfyUI 进阶教程")(/zh/tutorial/advanced/video/frame-pack "video")[wan2.1](/zh/tutorial/advanced/video/wan2.1/wan2-1-video-model "wan2.1")Fun Control
### [Qwen-Image-Layered 发布 - 支持图像分层编辑的生成模型](/zh/news/2025-12-19-qwen-image-layered-release)
2025/12/19
# 通义 Wan2.1 Fun Control ComfyUI 工作流 - 完整指南
Wan2.1-Fun-Control 是阿里团队最新发布的视频控制能力，可以实现视频的depth，openpose，canny等控制能力，目前这一模型分为 1.3B 和 14B 两大类模型。
* [Wan2.1-Fun-1.3B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-1.3B-Control/tree/main)
* [Wan2.1-Fun-14B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-14B-Control/tree/main)
* 对应代码仓库:[VideoX-Fun](https://github.com/aigc-apps/VideoX-Fun)
本篇指南将涉及两类工作流
1. ComfyUI 原生工作流
* 1. 完全原生(不依赖第三方自定义节点)
* 2. 在原生工作流上的改进版本(使用了自定义节点)
2. 使用 Kijai 的 [ComfyUI-WanVideoWrapper](https://github.com/kijai/ComfyUI-WanVideoWrapper) 工作流
> * 两个工作流在模型上基本相同，不过我还是使用了不同来源的模型只是为了更符合原始工作流的情况和模型使用。
> * 对于视频相关你可以使用 [ComfyUI-VideoHelperSuite](https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite) 这个自定义节点包来完成视频加载、保存成 mp4 视频合并等等丰富的视频操作
> * 插件安装请参考[如何安装自定义节点](/zh/install/install-custom-nodes) 这篇指南完成
>
## ComfyUI 原生 Wan2.1 Fun Control 工作流
目前 ComfyUI 官方已经原生支持了 Wan Fun Control 模型，但是截止目前（2025-04-10）并未官方正式式发布对应的工作流示例
在开始之前你需要保证你的 ComfyUI 版本至少在[这个commit](https://github.com/comfyanonymous/ComfyUI/commit/3661c833bcc41b788a7c9f0e7bc48524f8ee5f82)之后，你才能找到对应的[WanFunControlToVideo](/zh/comfyui-nodes/conditioning/video-models/wan-fun-control-to-video)节点 请参考 [如何更新 ComfyUI](/zh/tutorial/basic/how-to-update-comfyui) 来更新你的 ComfyUI 版本。
### 1.1 Wan2.1 Fun Control 工作流文件下载
#### 1.1.1 工作流文件
下载下面的图片，并拖入 ComfyUI 中，将会加载对应的工作流，并提示对应的模型下载。
Json 格式下载
ComfyUI 原生 Wan Fun Control工作流
#### 1.1.2 起始帧及控制视频
下载下面的图片及视频，我们将会将他们作为输入条件
💡
* 这里我提供了经过预处理的控制视频，只是为了不依赖第三方自定义节点完全使用原生节点
* 你可以使用 [ComfyUI-comfyui_controlnet_aux](https://github.com/Fannovel16/comfyui_controlnet_aux) 这样的自定义节点来完成对视频的预处理
#### 1.2 手动模型安装
如果对应的模型没有成功下载，下面是对应的模型下载地址
**Diffusion models** 选择 1.3B 或者 14B, 14B 的文件体积更大，效果更好，但同时对设备性能要求也更高
* [Wan2.1-Fun-1.3B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-1.3B-Control/blob/main/diffusion_pytorch_model.safetensors?download=true)： 下载后重命名为 `Wan2.1-Fun-1.3B-Control.safetensors`
* [Wan2.1-Fun-14B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-14B-Control/blob/main/diffusion_pytorch_model.safetensors?download=true)： 下载后重命名为 `Wan2.1-Fun-14B-Control.safetensors`
**Text encoders** 选择下面两个模型中的一个，fp16 体积较大对性能要求高
* [umt5_xxl_fp16.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp16.safetensors?download=true)
* [umt5_xxl_fp8_e4m3fn_scaled.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors?download=true)
**VAE**
* [wan_2.1_vae.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/vae/wan_2.1_vae.safetensors?download=true)
**CLIP Vision** 用于提取图像特征
* [clip_vision_h.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors?download=true)
文件保存位置
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── Wan2.1-Fun-1.3B-Control.safetensors # 或者你选择的版本
│ ├── 📂 text_encoders/
│ │ └─── umt5_xxl_fp8_e4m3fn_scaled.safetensors # 或者你选择的版本
│ └── 📂 vae/
│ │ └── wan_2.1_vae.safetensors
│ └── 📂 clip_vision/
│ └── clip_vision_h.safetensors
#### 1.3 按步骤完成工作流的运行
1. 确保`Load Diffusion Model`节点加载了 `Wan2.1-Fun-1.3B-Control.safetensors` 模型
2. 确保`Load CLIP`节点加载了 `umt5_xxl_fp8_e4m3fn_scaled.safetensors` 模型
3. 确保`Load VAE`节点加载了 `wan_2.1_vae.safetensors` 模型
4. 确保`Load CLIP Vision`节点加载了 `clip_vision_h.safetensors` 模型
5. 在`Load Image`节点中加载前面提供的输入图片作为起始帧
6. 在`Load Image`节点上传前面提供的视频，作为控制条件
7. （可选）在`CLIP Text Encoder`节点中修改视频提示词
8. 点击 `Run` 按钮，或者使用快捷键 `Ctrl(cmd) + Enter(回车)` 来执行视频生成
#### 1.4 工作流分析
原生的工作流主要在视频帧获取，对应的 [WanFunControlToVideo](/zh/comfyui-nodes/conditioning/video-models/wan-fun-control-to-video) 节点提供的默认的 Length 为 81（以 15 帧每秒将会生成 5秒的视频），而我的提供的控制视频仅有 49 帧，所以我进行了调整修改。 另外你可能看到人物在视频生成后被突然拉近了，这是因为起始帧图像和控制视频他们的尺寸不一致，导致处理过程中进行了裁切放大
### 2. Wan2.1 Fun Control 原生工作流调整版本
由于完全原生的工作流在视频尺寸和帧数计算上使用起来不是很便利，所以在这个改进版本的工作流中我使用了下面自定义节点包中的部分节点：
* [ComfyUI-KJNodes](https://github.com/kijai/ComfyUI-KJNodes) 调整视频尺寸和获取图像帧数
* [ComfyUI-comfyui_controlnet_aux](https://github.com/Fannovel16/comfyui_controlnet_aux): 进行视频图像的预处理
在开始前，确保你已经安装了这两个自定义节点包，或者使用 ComfyUI-Manager 在工作流加载后进行安装
#### 2.1 工作流文件下载
##### 2.1.1 工作流文件下载
下载下面的图片，并拖入 ComfyUI 中，将会加载对应的工作流，并提示对应的模型下载。
##### 2.1.2 输入视频下载
下载下面的图片和视频，用于输入条件 
> 因为没有足够的时间，还是使用了这个有突然放大效果的视频作为输入
#### 2.2 按步骤完成工作流的运行
1. 在 Start Frame 的 `Load Image` 节点上传提供的输入图片
2. 在 Control Video 的 `Load Image` 节点上传前面提供的视频，作为控制条件
3. 在 `AIO Aux Preprocessor` 上选择你希望使用的预处理器（第一次运行时将会从 Hugging face下载对应模型）
4. 如果你需要调整尺寸，可以修改 `Resize Image` 节点的尺寸设置，记得两个节点要保持一致
5. 点击 `Run` 按钮，或者使用快捷键 `Ctrl(cmd) + Enter(回车)` 来执行视频生成
💡
由于 `Load Image` 节点目前还不支持 mp4 视频，如果你希望有输入视频，你可以使用 [ComfyUI-VideoHelperSuite](https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite) 的 `Load Video (Upload)` 节点来完成多种格式的视频输入
### 3. 相关扩展
你可以在这些工作流基础上，再加上对应的图像生成的节点，从而能够不依赖输入参考图像而生成最后的视频
## Kijai Wan Fun Control 工作流
将使用 Kijai 的 [ComfyUI-WanVideoWrapper插件](https://github.com/kijai/ComfyUI-WanVideoWrapper) 来完成 Fun-Control 的示例，Kijai 提供的原始工作流你可以在[这里](https://github.com/kijai/ComfyUI-WanVideoWrapper/blob/main/example_workflows/wanvideo_Fun_control_example_01.json)找到。
本篇指南涉及的工作流，经过 [ComfyUI Wiki](https://comfyui-wiki.com/zh) 重新整理。
此部分工作流将分为两类：
* 仅使用视频控制条件进行 **文生视频图像** 的Control 工作流
* 使用 Clip_vision 对参考图片特征进行解析提取后，并添加视频控制条件的**图像参考视频生成** 的 Control 的工作流
### 相关安装
#### 自定义节点安装
你需要安装以下几个插件，来保证工作流正常运行
* [ComfyUI-WanVideoWrapper](https://github.com/kijai/ComfyUI-WanVideoWrapper): 需要更新到最新版本
* [ComfyUI-VideoHelperSuite](https://github.com/Kosinkadink/ComfyUI-VideoHelperSuite)
* [ComfyUI-KJNodes](https://github.com/kijai/ComfyUI-KJNodes)
* [ComfyUI-comfyui_controlnet_aux](https://github.com/Fannovel16/comfyui_controlnet_aux): 进行视频图像的预处理，或者你也可以替换为你常用的图像预处理节点
你可以使用 ComfyUI Manager 来更新或者安装上面提到的自定义节点，或者参考[如何安装自定义节点](/zh/install/install-custom-nodes) 这篇指南完成对应的安装。
ComfyUI-comfyui_controlnet_aux 在首次运行时会下载对应的模型，请确保你可以正常访问 huggingface
#### 模型安装
**Wan2.1 Fun Control** 提供了 1.3B 和 14B 两个模型，你可以根据你的设备性能选择合适的模型，
* [Wan2.1-Fun-1.3B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-1.3B-Control/blob/main/diffusion_pytorch_model.safetensors?download=true)： 下载后重命名为 `Wan2.1-Fun-1.3B-Control.safetensors`
* [Wan2.1-Fun-14B-Control](https://huggingface.co/alibaba-pai/Wan2.1-Fun-14B-Control/blob/main/diffusion_pytorch_model.safetensors?download=true)： 下载后重命名为 `Wan2.1-Fun-14B-Control.safetensors`
* [Kijai/Wan2.1-Fun-Control-14B_fp8_e4m3fn.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2.1-Fun-Control-14B_fp8_e4m3fn.safetensors?download=true)
从**Text encoders** 选择一个版本进行下载，
* [umt5-xxl-enc-bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/umt5-xxl-enc-bf16.safetensors?download=true)
* [umt5-xxl-enc-fp8_e4m3fn.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/resolve/main/umt5-xxl-enc-fp8_e4m3fn.safetensors?download=true)
**VAE**
* [Wan2_1_VAE_fp32.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1_VAE_fp32.safetensors)
* [Wan2_1_VAE_bf16.safetensors](https://huggingface.co/Kijai/WanVideo_comfy/blob/main/Wan2_1_VAE_bf16.safetensors)
**CLIP Vision**
* [clip_vision_h.safetensors](https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/clip_vision/clip_vision_h.safetensors?download=true)
文件保存位置
📂 ComfyUI/
├── 📂 models/
│ ├── 📂 diffusion_models/
│ │ └── Wan2.1-Fun-1.3B-Control.safetensors # 或者你选择的版本
│ ├── 📂 text_encoders/
│ │ └─── umt5-xxl-enc-bf16.safetensors # 或者你选择的版本
│ ├── 📂 vae/
│ │ └── Wan2_1_VAE_bf16.safetensors
│ └── 📂clip_vision/
│ └── clip_vision_h.safetensors
### 1. 视频控制文生视频工作流
#### 1.1 工作流文件下载
下载下面的图片，并拖入 ComfyUI 中，加载对应的工作流
Json 格式下载
Kijai 的 Wan2.1 Fun Control 文生视频工作流
下载下面的视频，作为输入视频
#### 1.2 按步骤完成工作流的运行
下载下面的图片，并拖入 ComfyUI 中，加载对应的工作流
> 确保对应节点加载了对应模型，使用你下载的版本即可
1. 确保 `WanVideo Model Loader` 节点加载了 `Wan2.1-Fun-1.3B-Control.safetensors` 模型
2. 确保 `Load WanVideo T5 TextEncoder` 节点加载了 `umt5-xxl-enc-bf16.safetensors` 模型
3. 确保 `WanVideo Vae Loader` 节点加载了 `Wan2_1_VAE_bf16.safetensors` 模型
4. 在 `AIO AuxAux Preprocessor` 节点中选择 `OpenposePreprocessor` 节点
5. 在 `Load Video(Upload)` 节点中上传前面我们提供的输入视频
6. 在 `WanVideo TextEncode` 处输入你想要生成的视频画面提示词（可不修改，保持工作流默认）
7. 点击 `Run` 按钮，或者使用快捷键 `Ctrl(cmd) + Enter(回车)` 来执行视频生成
#### 1.3 工作流分析
这个版本的工作流，主要将预处理后的图像条件进行编码，然后再对视频进行生成，在图像预处理节点 `OpenposePreprocessor` 中，你可以选择多种预处理方式，比如 `Openpose`，`Depth`，`Canny` 等，这里我们选择 `Openpose` 预处理方式，生成了对应的人物动作控制并编码。
### 2. 视频控制参考图像视频生成的工作流
这个工作流主要加载了一个 `clip_vision_h.safetensors` 模型，从而可以很好地理解参考图像的内容，但并不是完全保留一致进行视频生成，而是根据参考图像的特征进行视频生成。
#### 2.1 工作流文件下载
下载下面的图片，并拖入 ComfyUI 中，加载对应的工作流
Json 格式下载
Kijai 的 Wan2.1 Fun Control 参考图像视频生成工作流
下载下面的视频和图片，我们将会将他们作为输入条件
#### 2.2 按步骤完成工作流的运行
1. 确保 `WanVideo Model Loader` 节点加载了 `Wan2.1-Fun-1.3B-Control.safetensors` 模型
2. 确保 `Load WanVideo T5 TextEncoder` 节点加载了 `umt5-xxl-enc-bf16.safetensors` 模型
3. 确保 `WanVideo Vae Loader` 节点加载了 `Wan2_1_VAE_bf16.safetensors` 模型
4. 在 `Load Video(Upload)` 节点中上传前面我们提供的输入视频
5. 在 `AIO AuxAux Preprocessor` 节点中选择 `OpenposePreprocessor` 节点
6. 在 `Load CLIP Vision` 节点中，选择 `clip_vision_h.safetensors` 模型被加载了，它将用于提取参考图像的特征
7. 在 `Load Image` 节点中，上传之前提供的参考图片
8. 在 `WanVideo TextEncode` 处输入你想要生成的视频画面提示词（可不修改，保持工作流默认）
9. 点击 `Run` 按钮，或者使用快捷键 `Ctrl(cmd) + Enter(回车)` 来执行视频生成
#### 2.3 工作流分析
* 由于 Kijai 更新了对应的节点，所以请注意`WanVideo ImageToVideo Encode` 节点最后有一个 `fun_model` 的选项需要设置为 true。
* 经过对比，使用了参考图像的特征会更贴合，所以使用参考图像还是必要的，但是由于只是提取了图像特征，所以并不能完整地保持角色一致性。
* 在图像预处理处，你可以尝试将多个预处理节点进行组合，来生成更加丰富的控制条件。
主题授权提示：请在后台主题设置-主题授权-激活主题的正版授权，授权购买：RiTheme官网
