简介
通过一张参考形象图,将原图 转换为同风格的图片,AI会自动转换为同风格的图片,并且保持人物的形象不变。主要还是利用脸部检测生成遮罩层采用风格迁移和局部重绘实现图片和参考图的穿衣风格保持一致。
图片
工作流主要思想:
1、原图与参考图预处理:对原图按比例缩放(统一尺寸),结合参考图通过 Compositor3 做合成配置,输出适配画布的基础图像;
2、人脸遮罩生成与优化:用 YOLOv8 人脸检测 + SAM 分割得到初始脸部遮罩,经 Grow Mask With Blur 膨胀、模糊并反转,生成 “人脸保护遮罩”(白色为需保留人脸,黑色为需风格迁移区域);
3、ICLORA 图像合成:将 “预处理后的原图 + 参考图”“人脸保护遮罩” 传入 easy makeImageForICLora,拼接成 “修复用参考图像 + 遮罩”,作为后续模型的输入条件;
4、风格条件与模型优化:ReduxAdvanced 结合参考图、风格模型,生成 “风格条件向量”;加载 comfyui_subject_lora16 LoRA 微调主模型(UNET),再经 DifferentialDiffusion 优化模型;
5、扩散生成与输出:优化后的模型、风格条件、人脸保护遮罩输入 KSampler 生成 Latent,经 VAEDecode 解码为图像,最后裁剪并保存成品,实现 “人脸保留 + 非人脸区域风格迁移”。
三方节点
在使用 ComfyUI 和 PyTorch 2.6 或更高版本时,可能会遇到 Weights only load failed 错误。这是由于 PyTorch 默认启用了 weights_only=True 的安全加载模式,限制了某些模型的加载。
安装 comfyui-unsafe-torch 节点,该节点会强制禁用 weights_only=True 限制。
git clone https://github.com/ltdrdata/comfyui-unsafe-torch.git
模型下载
loras文件夹 ACE++ 是基于 Black Forest labs 的 FLUX.1-dev 系列的后期训练模型 https://huggingface.co/ali-vilab/ACE_Plus/resolve/main/portrait/comfyui_portrait_lora64.safetensors https://huggingface.co/ali-vilab/ACE_Plus/resolve/main/subject/comfyui_subject_lora16.safetensors ultralytics/bbox https://huggingface.co/Bingsu/adetailer/resolve/main/face_yolov8m.pt