注册

NVIDIA 20 系显卡用户:改一行代码,Qwen-Image 2.1、FIBO2、MOSS-Image 推理速度提升一倍

发布时间:2026-11-04 | 浏览:3 次

wen-Image 2.1、FIBO2、MOSS-Image 这几个模型在 ComfyUI 里原生标注仅支持 bf16 /fp32。但 Turing 架构显卡只原生支持 fp16,硬件上并不支持 bf16。

ComfyUI 当前的默认策略是遇到不支持的 dtype 时回退到 fp32 运算,速度会非常不理想。 我核对了这类模型的实际激活值范围,全部都没有超过约 65k,在 fp16 的安全区间内。所以改造方案很直接:给这三个模型加上 fp16 推理类型声明。

对应的 PR 已经提交;如果想立刻生效,也可以手动修改本地 ComfyUI:

打开 comfy/supported_models.py,定位这三个模型条目,

把 supported_inference_dtypes = [torch.bfloat16, torch.float32]

修改为 supported_inference_dtypes = [torch.bfloat16, torch.float16, torch.float32]

⚠️ 注意:只改这三个模型,不要批量套用。部分模型在 fp16 下不稳定,比如 MiniMax H3 会出现数值溢出、输出 NaN 的问题。

这个改动作用于推理时的计算 dtype(激活、注意力、归一化等中间张量),不改动权重本身,所以兼容各类量化版本,我已经在 INT8 卷积 checkpoint 上验证通过。

理论上 GTX 10 系也可以这么改,但 Pascal 的 fp16 硬件通路性能很差,大概率看不到提速效果,我手上没有对应显卡,没法实测。

另外说明:这个优化和近期网上解锁 20/30/40 系张量算力的方案相互独立,二者可以叠加使用。

标签: comfyui
分享:

评论

暂无评论。

发表评论

TOP