本地推理必备。安装节点,安装依赖,模型让它自动下载。

🛠️ ComfyUI-QwenVL GGUF 专项安装手册

ComfyUI-QwenVL https://github.com/1038lab/ComfyUI-QwenVL项目的 GGUF 版支持是通过 llama-cpp-python 后端实现的。相比原生的 Transformers 版本,GGUF 版本通常更节省内存(VRAM),适合配置较低的显卡。

GGUF 版本的详细安装与使用指南

使用 GGUF 节点前,必须确保你的环境支持视觉推理。请按以下步骤操作:

1. 核心依赖:安装视觉版 llama-cpp-python

官方的 llama-cpp-python 不支持 Qwen 的视觉逻辑,必须使用包含 Qwen3VLChatHandler 的特殊版本。

  • 第一步:关闭 ComfyUI(特别是 Windows 便携版,必须完全退出)。
  • 第二步:确定 Python 路径
    • Windows 便携版:路径通常为 ComfyUI\python_embeded\python.exe
    • 虚拟环境 (Venv/Conda):请激活环境后使用 python
  • 第三步:下载并安装 Wheel 文件
    前往 JamePeng/llama-cpp-python/releases 下载符合你系统条件的 .whl 文件:
    • Python 版本:匹配 cp310cp311 或 cp312
    • 硬件支持:显存充足选 CUDA (cuXXX),否则选 CPU
  • 第四步:强制安装
    使用以下命令安装(将路径替换为你实际下载的文件路径):# Windows 便携版示例 .\python_embeded\python.exe -m pip install --upgrade --force-reinstall C:\path\to\llama_cpp_python-xxx.whl

2. 环境验证

安装完成后,必须运行以下代码检查视觉处理器是否可用:

python -c "from llama_cpp.llama_chat_format import Qwen3VLChatHandler, Qwen25VLChatHandler; print('Handlers OK')"

注意:如果报错,说明安装的 Wheel 版本不对或安装到了错误的 Python 环境中。

3. 常见冲突修复 (Windows 必备)

安装新库可能会导致 numpy 等基础库版本冲突,若 ComfyUI 启动报错,请执行:

  • 修复 OpenCV 冲突(解决 numpy 版本过高问题):
    python -m pip install --upgrade "numpy<2.3"
  • 修复 Pillow 冲突
    python -m pip install --upgrade "pillow<12"

📂 GGUF 模型配置指南

GGUF 节点需要两个文件配合使用,请手动放置:

文件类型存放路径示例文件名
LLM 主体 (.gguf)ComfyUI/models/llm/GGUF/Qwen3VL-4B-Instruct-Q4_K_M.gguf
视觉组件 (mmproj)ComfyUI/models/llm/GGUF/mmproj-Qwen3VL-4B-Instruct-F16.gguf

💡 提示:如果你的目录结构不同,可以在插件根目录的 gguf_models.json 文件中修改 gguf_model_path 指向你的模型夹。


🧭 GGUF 节点使用流程

  1. 添加节点:在 ComfyUI 搜索 QwenVL (GGUF) 或 QwenVL (GGUF Advanced)
  2. 加载模型:在节点中选择已下载的模型。
  3. 连接图像:将 IMAGE 输入连接到视觉节点。
  4. 显存调优 (Advanced 节点)
    • n_gpu_layers:将尽可能多的层数加载到 GPU(设为 -1 为全部加载)。
    • context_length:根据任务调节,描述长视频时需增加此值。

主题授权提示:请在后台主题设置-主题授权-激活主题的正版授权,授权购买:RiTheme官网

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。