ControlNet是实现AI精准控制生成效果的必要工具,需先启用插件并选择openpose、canny或depth等对应预处理器与模型,再上传参考图进行姿态、轮廓或深度控制,支持多单元组合使用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
你想让AI严格按你画的火柴人姿势生成人物,或让建筑线条完全贴合手绘草图,或让前景人物和背景树木的空间关系一丝不差——这些需求单靠提示词根本做不到,必须用ControlNet加载对应类型的参考图来指挥AI。
上传并启用ControlNet模块
打开堆友AI WebUI界面,在文生图区域底部找到“ControlNet”标签页,点击展开。
勾选左上角的【启用】复选框,这是所有控制生效的前提,未勾选时上传的图和设置全部无效。
确认右侧“预处理器”下拉菜单中已出现openpose、canny、depth等选项;若为空白,请先检查插件是否安装成功并重启WebUI。
用OpenPose精准锁定人物姿态
方法一:自动从参考图提取骨骼
在ControlNet面板中,“预处理器”选择openpose,“模型”选择control_sd15_openpose.pth(SD1.5环境)或control_sdxl_openpose.pth(SDXL环境)。
点击“上传”按钮,选择一张含清晰人像的正面或侧身照片,确保四肢与躯干无严重遮挡;【遮挡超过30%的肢体将导致关键点错位,生成结果可能扭曲】。
上传后自动触发预处理,右侧实时显示彩色骨架热图——18个关节点连成线条,确认头部、肩、肘、腕、髋、膝、踝位置准确无误再继续。
方法二:手绘简易骨架图
用画图软件绘制极简火柴人:圆圈代表头,直线连接肩→肘→腕、髋→膝→踝,关节处加粗小圆点;导出为PNG格式,上传至ControlNet。
预处理器仍选openpose,但需手动勾选“仅使用输入图像”,避免自动重绘干扰原始结构。
用Canny边缘图控制物体轮廓与构图
第一步:准备线稿或提取边缘
可用两种方式获取边缘图——手绘草图(推荐Procreate或Krita导出纯黑线白底PNG),或对现有图用Photoshop执行“滤镜→风格化→查找边缘”,再反相并去噪。
堆友AI
堆友AI网页版在线使用入口,支持多风格AI绘画、视频生成、AI商品图、创意融合和设计创作等场景。
下载
第二步:上传并匹配预处理
在ControlNet中,“预处理器”选择canny,“模型”选control_sd15_canny.pth;上传边缘图后,调整下方“低阈值/高阈值”滑块,使线条粗细均匀、断点最少——【阈值过低会引入杂线,过高则丢失细节,建议初始值设为64/128】。
第三步:验证边缘效果
点击“预处理并发送到文生图”,右侧预览窗应显示清晰连续的黑白线条图;若出现大片灰斑或断裂,返回调阈值或重做原图。
用Depth深度图控制空间层次与透视
Depth控制的核心是区分远近:白色=近,黑色=远,灰阶过渡决定中景位置。
直接上传实拍图时,选预处理器depth_midas,模型选control_sd15_depth.pth;系统自动估算场景深度并生成灰度图。
若需强控制(如强制人物在前、山体在后),可在上传后点击“预处理并发送到文生图”,再用画图软件打开生成的深度图——用白色画笔加粗人物区域,黑色画笔加深背景,保存覆盖原图。
注意:深度图修改后必须重新上传,不能仅替换本地文件;否则ControlNet仍读取旧缓存。
组合使用双ControlNet实现构图+姿态同步控制
① 在ControlNet面板底部点击“添加ControlNet单元”,新增第二个控制区。
② 第一单元设为openpose控制姿态,第二单元设为canny控制整体轮廓;两个单元必须分别上传对应类型图——不可共用同一张图。
③ 分别设置权重:姿态单元权重调至1.2~1.5(确保动作不变形),边缘单元权重设为0.8~1.0(避免线条过度硬化)。
④ 生成前检查两个单元的“启用”均已勾选,且预处理器与模型一一匹配;任一单元错配会导致整图崩坏。
