wen-Image 2.1、FIBO2、MOSS-Image 这几个模型在 ComfyUI 里原生标注仅支持 bf16 /fp32。但 Turing 架构显卡只原生支持 fp16,硬件上并不支持 bf16。
ComfyUI 当前的默认策略是遇到不支持的 dtype 时回退到 fp32 运算,速度会非常不理想。 我核对了这类模型的实际激活值范围,全部都没有超过约 65k,在 fp16 的安全区间内。所以改造方案很直接:给这三个模型加上 fp16 推理类型声明。
对应的 PR 已经提交;如果想立刻生效,也可以手动修改本地 ComfyUI:
打开 comfy/supported_models.py,定位这三个模型条目,
把 supported_inference_dtypes = [torch.bfloat16, torch.float32]
修改为 supported_inference_dtypes = [torch.bfloat16, torch.float16, torch.float32]
⚠️ 注意:只改这三个模型,不要批量套用。部分模型在 fp16 下不稳定,比如 MiniMax H3 会出现数值溢出、输出 NaN 的问题。
这个改动作用于推理时的计算 dtype(激活、注意力、归一化等中间张量),不改动权重本身,所以兼容各类量化版本,我已经在 INT8 卷积 checkpoint 上验证通过。
理论上 GTX 10 系也可以这么改,但 Pascal 的 fp16 硬件通路性能很差,大概率看不到提速效果,我手上没有对应显卡,没法实测。
另外说明:这个优化和近期网上解锁 20/30/40 系张量算力的方案相互独立,二者可以叠加使用。
评论
暂无评论。
发表评论