AI绘画:Stable Diffusion从入门到精通_许建锋_AZW3_MOBI_EPUB_PDF_电子书(无页码)_许建锋

内容节选

5.2LoRA的类型和功能 LoRA的类型和功能可以分为定制人物、设定风格、控制光影、管理场景和特定模型。 5.2.1 定制人物 用LoRA定制特定的人物,这是LoRA目前应用最广泛的功能。接下来举例说明,应用的LoRA微调模型为KoreanDollLikeness(韩国女孩)。 步骤01 先用文生图生成女孩肖像。输入相关提示词。 正向提示词:(Photo, 8K, masterpiece, highly detailed, Highest quality:1.4), 1 girl, ponytail, long yellow dress。 对应的含义:(照片,8K,杰作,画面精细,最高画质:1.4),1个女孩,马尾辫,黄色长裙。 反向提示词:(worst quality, low quality, lowres:1.3), error, cropped, jpeg artifacts, out of frame, watermark, signature, ((nsfw))。 对应的含义:(最差的质量,低质量,低分辨率:1.3),错误,裁剪,JPEG伪影,超出画面范围,水印,签名,(不适宜工作场所)。 步骤02 主模型选用ChilloutMix,生成图像的分辨率设置为768×768像素,采样方法设置为DPM++SDE Karras,勾选“面部修复”选项(写实作品需要勾选)。 方形的图像大概率会生成一个半身肖像,每次生成的人脸都是不固定的,有很大的随机性,如图5-3所示。 图5-3 先用文生图生成女孩肖像 我们用不同的方法演示LoRA的使用,第一个方法使用提示词的方式来应用LoRA,后面会使用插件的方式来应用LoRA,因为用插件更方便。 步骤01 单击“生成”按钮下的 (显示/隐藏扩展模型)按钮,软件会弹出安装在本地的模型窗口,切换到Lora选项卡,随后下方会显示LoRA的各个已复制的微调模型,如图5-4所示。 图5-4 LoRA微调模型 步骤02 选择了KoreanDollLikeness微调模型,选择后在提示词中会出现,其中的1表示权重是1,我们可以修改这个权重值。选择好KoreanDollLikeness后,每次生成的图像都会指定为韩国女孩的面容,如图5-5所示。 图5-5 生成的图像被指定为韩国女孩的面容 通过使用提示词的方式来应用LoRA比较直观,他人能很清晰地看到所使用的LoRA提示词;而使用插件则不会留下提示词的痕迹。不过,使用多个LoRA微调模型可能会导致提示词变得很长。 5.2.2 设定风格 LoRA模型既可以单独使用,也可以组合使用。 1)单独使用LoRA模型 我们通过使用插件的方式来演示如何应用单个LoRA微调模型,应用的LoRA模型为小人书。 步骤01 从Civitai网站上搜索“小人书”并下载“小人书”模型,它是一个传统的连环画风格图像模型,偏向于中国风,如图5-6所示。 图5-6 “小人书”模型 步骤02 依旧使用上一小节的提示词,先删除,然后打开面板中的“可选附加网络(LoRA插件)”列表,可以看到能同时应用5个LoRA插件,勾选“启用”选项,再选择“小人书”模型,权重设置保持为默认的1,如图5-7所示。 步骤03 生成图像,图像风格转变为手绘连环画,如图5-8所示。 ▲图5-7 插件设置 图5-8 生成插画效果的图像 2)组合使用LoRA模型 在插件中,可以使用多个LoRA组合,通过不同的权重搭配形成混合效果。可以将它理解为在主模型上增加了新层,然后在新层上进行修改,各种权重代表着透明度,能够改变主模型的外形和风格。 步骤01 先测试另外一个LoRA模型blindbox,它是一个可爱的3D人物模型,如图5-9所示。 图5-9 blindbox模型 步骤02 在LoRA选项列表中,把“小人书”模型更改成blindbox模型,再生成图像,结果如图5-10所示。 图5-10 选用blindbox模型生成的图像 步骤03 我们尝试让两个模型进行组合(也可以成为风格的融合),勾选第二个LoRA附加模型为“小人书”模型,把两个模型的权重都设置成0.65,如图5-11所示。 图5-11 附加模型与权重的设置 步骤04 生成图像,就可以得到2.5D效果的图像,如图5-12所示。 图5-12 组合两个LoRA微调模型后生成的图像 多个LoRA微调模型的组合,是非常具备艺术价值的用法,让各个微调模型按权重进行融合,调节几个LoRA微调模型的不同权重值,能够形成丰富的变化。如果画面中出现伪阴影等错误,则需要降低权重。 5.2.3 控制光影 在绘图中,影调控制是指对图像的亮度和对比度进行调整,以使......

  1. 信息
  2. 内容简介
  3. 作者简介
  4. 序言
  5. 前言
  6. 第1章 人工智能绘画概论
  7. 1.1 人工智能绘画的历史
  8. 1.2 人工智能绘画的算法和原理
  9. 1.3 人工智能绘画的工具
  10. 1.4 Stable Diffusion简介
  11. 1.5 思考与练习
  12. 第2章 Stable Diffusion基础
  13. 2.1 Stable Diffusion的安装
  14. 2.2 Stable Diffusion的界面布局
  15. 2.3 Stable Diffusion的工作流程
  16. 2.4 思考与练习
  17. 第3章 文生图
  18. 3.1 提示词的类型
  19. 3.2 提示词的语法
  20. 3.3 提示词的权重与符号
  21. 3.4 反向提示词的功能
  22. 3.5 案例:旗袍女生
  23. 3.6 思考与练习
  24. 第4章 图生图
  25. 4.1 图生图参数
  26. 4.2 图生图的常用功能
  27. 4.3 案例制作:暗调光影
  28. 4.4 思考与练习
  29. 第5章 LoRA微调模型
  30. 5.1 LoRA是什么
  31. 5.2 LoRA的类型和功能
  32. 5.3 LyCORIS模型
  33. 5.4 LoRA的分层处理
  34. 5.5 案例制作:水墨效果
  35. 5.6 思考与练习
  36. 第6章 ControlNet的应用
  37. 6.1 了解ControlNet
  38. 6.2 ControlNet的类型和功能
  39. 6.3 案例操作:ControlNet组合应用
  40. 6.4 思考与练习
  41. 第7章 Stable Diffusion视频
  42. 7.1 图生图结合ControlNet风格迁移
  43. 7.2 数字人口型动画SadTalker
  44. 7.3 Deforum插件动画
  45. 7.4 补帧工具EbSynth
  46. 7.5 SD-CN-Animation
  47. 7.6 Runway公司的Gen-2
  48. 7.7 思考与练习
  49. 第8章 综合案例
  50. 8.1 查找素材
  51. 8.2 下载模型
  52. 8.3 文生图调节基础图像
  53. 8.4 图生图控制影调
  54. 8.5 ControlNet控制轮廓
  55. 8.6 用脚本提高分辨率
  56. 8.7 思考与练习
  57. 后记