
玩 AI 生图的朋友经常问我一个问题:为什么我抄了别人的提示词,出来的图画风完全不一样,甚至连人物动作都变形?
很多人以为问题出在提示词不够长,于是到处收集几百字的小作文,往输入框里塞一堆“大师杰作”、“8k壁纸”。这样做完全反了。现代生图模型底层的文本编码器差异很大,用对待 Stable Diffusion 的方式去写 Midjourney 或 Flux,画面一定会崩。要真正控住画风和构图,关键在于理解不同工具的逻辑,并使用对应的控制参数。
主流工具特性横向对比
不同的工具擅长的事情差别很大。在开始调参之前,可以先看下面这个对比表格:
| 工具名称 | 核心文本编码器 | 画风控制最佳方式 | 构图控制精度 | 提示词语法偏好 | 适用场景 |
|---|---|---|---|---|---|
| Midjourney (v6.1) | CLIP + 自研多模态 | `–sref` 参数、风格代码、图片垫图 | 中等(依赖自然语言引导与局部重绘) | 短语、逗号分隔、自然语言均可 | 概念设计、商业插画、摄影质感 |
| Flux.1 (Dev/Schnell) | T5-XXL + CLIP-L | 自然语言精细描述、外挂风格 LoRA | 高(可精确识别物体空间相对位置) | 完整英文自然语言句子 | 复杂文字排版、精准场景、写实细节 |
| Stable Diffusion (SDXL/1.5) | 双 CLIP / CLIP-L | Checkpoint 大模型底模、LoRA 权重 | 极高(配合 ControlNet) | 标签词 (Tag)、权重括号、负面提示词 | 工业级量产、精准姿态控制、商业工作流 |
| DALL-E 3 | GPT-4 自动重写 | 详细的对话式描述、指定色彩体系 | 中低(完全依赖大语言模型理解) | 长段口语化描述 | 快速创意构思、简单海报草图 |
从表格里能看出一个核心结论:没有哪一套提示词模板可以通用所有工具。Midjourney 靠官方参数兜底,Flux 靠长句理解,而 Stable Diffusion 靠外部插件精准固定结构。
Midjourney:用参数锁死风格与角色
很多新手在 Midjourney 里描述画风喜欢写一大串艺术家名字,比如“in the style of Greg Rutkowski, Alphonse Mucha”。在 v6 和 v6.1 版本里,这种写法经常导致画面脏乱。Midjourney 官方早就给出了专门的风格控制接口,也就是 `–sref` (Style Reference)。
如果你想让生成的系列图片保持完全一致的画风,按照下面三个步骤操作:
1.第一步:准备风格参考图。在网页版直接上传图片,或者在 Discord 里把参考图发给机器人,右键复制图片直链地址。
2.第二步:在提示词末尾加上 `–sref` 参数。例如:`/imagine prompt: a girl drinking coffee in a cafe –sref https://image-url.jpg`。
3.第三步:调整风格权重 `–sw`。`–sw` 的取值范围是 0 到 1000,默认值是 100。如果你觉得参考图的画风把提示词里的内容带偏了,把参数降低到 `–sw 50`;如果你想死死锁住参考图的色调和笔触,可以调高到 `–sw 250`。避坑提示:超过 300 后画面容易出现死板的伪影,日常调图不要盲目拉满。
除了风格,控角色一致性要用 `–cref` (Character Reference)。它配合 `–cw` (Character Weight) 一起用。`–cw 100` 会同时复制角色的脸型、发型和衣服;如果你只想保留长相但给角色换新衣服,必须把参数改为 `–cw 0`。
而且 Midjourney 还支持直接混合多种风格。你可以输入 `–sref URL1 URL2 –sw 150`,甚至能给不同风格分配权重,比如 `–sref URL1::2 URL2::1`。这样做能让你把水彩的笔触和赛博朋克的霓虹配色揉在一起,比用文字硬憋提示词快得多。
Flux.1:扔掉垃圾修饰词,用四段式长句
Flux.1 发布后,很多人还在输入框里打 `masterpiece, highly detailed, best quality, trending on artstation`。
在 Flux 里面写这些词毫无作用,纯属浪费 token。
因为 Flux 使用了强大的 T5-XXL 文本编码器,它是按照人类语言逻辑来理解句子的,不是去数标签词。如果你堆叠无意义的形容词,T5 反而会降低对核心主体的注意力,导致漏掉关键元素。
用 Flux 控图,最有效的是四段式自然语言结构:
1.主体:谁在做什么,外貌特征是什么。
2.环境与构图:在哪里,背景有什么,景别是特写、中景还是远景。
3.光影与材质:是侧逆光、漫射光还是霓虹光,材质是粗糙亚麻还是反光金属。
4.色彩与画风:画面整体色调偏向暖色还是冷灰,具体属于胶片颗粒风还是复古美漫风。
比如想生成一张复古工业风的海报,这样做更好:
“A retro poster depicting an old mechanical watch sitting on a dark wooden table. Close-up shot with soft side lighting highlighting the metal gears. Muted brown and copper tones, vintage film texture, screen print aesthetic.”
如果你需要更极限的风格化,不要试图单靠文字去拗,建议在 ComfyUI 里给 Flux 挂载一个针对特定风格训练好的 LoRA,并将 LoRA 权重控制在 0.6 到 0.8 之间。权重太高会导致画面过拟合发焦,太低则不出风格。
Stable Diffusion:标签权重与 ControlNet 组合拳
如果你用的是本地部署的 WebUI 或者 ComfyUI,控制画风和结构的自由度是最高的,但也是最容易踩坑的。
1. 提示词权重与括号陷阱
Stable Diffusion 识别提示词靠括号来增减权重。在主流的 AUTOMATIC1111 语法中,`(word:1.2)` 表示增加 20% 权重,`[word]` 表示降低权重。
避坑提示:单个词的权重绝对不要超过 1.4。很多新手为了让某个元素出现,一路把权重加到 1.6 甚至 2.0,结果画面直接色块崩坏、肢体畸变。如果一个词加到 1.3 模型还不理解,说明大模型底模里根本没有这个概念,继续加权重只会毁掉整张图。正确的做法是换同义词,或者去下对应的 LoRA。
2. ControlNet 分工控制法
光靠提示词永远无法百分之百控住画面构图。想要精确控制画面中人物的姿势、线条和空间位置,必须借助 ControlNet。常见控制模型的使用分工如下:
•OpenPose(姿态检测):只想固定人物动作,画风完全随意改变。先提取参考图的人物骨骼,再给生图流程提供动作骨架。
•Canny(边缘检测):适合线稿上色、产品设计。它会严格按照线条轮廓填充内容,控制权重建议设在 0.7 左右,设成 1.0 会导致生成的画面死板无细节。
•Depth(深度图):控制大场景的空间前后纵深,比如前景有人、中景有建筑、远景有山脉。它保留三维空间关系,但允许模型自由发挥表面纹理。
在 ComfyUI 工作流中,将 OpenPose 与 LoRA 串联是目前控制商业插画出图最稳的方案:先用姿态模型锁住动态,再用风格 LoRA 统一整套视觉语言。
保证控图稳定性的三步实操流程
不管是做单张图还是做成套的连载绘本,不要指望一次性生成完美图片。按照下面的流程来做,能帮你省下大量抽卡时间:
1.第一步:先跑白模与构图,不加复杂画风。先把画面主体、比例和空间定下来。如果用 SD,在这个阶段配合 ControlNet 调整姿势;如果用 Midjourney,先用最简单的提示词确认相机角度。
2.第二步:单变量测试,注入画风。固定 Seed(随机种子),然后加入 `–sref` 图片链接或者挂载画风 LoRA。因为种子固定了,你可以清晰看动画风参数改动对画面产生的影响,方便微调权重。
3.第三步:局部重绘修正细节。千万不要因为手部有一点瑕疵就把整张好图删掉重抽。用 Inpaint(局部重绘)功能,圈出需要修改的局部区域,调低重绘幅度(建议在 0.35 到 0.5 之间),只让模型修补错误区域,保留主体结构不变。
做好这三步,画风跑偏和画面失控的问题基本就能解决大半。搞懂模型的理解方式,把控图参数交到对的位置,出图的确定性就会大大提高。
原创文章,作者:七点互动,如若转载,请注明出处:https://ai.qidianhudong.com/aikonw/3537.html