Extension ControlNet

Installation

https://github.com/Mikubill/sd-webui-controlnet

Model

path: \stable-diffusion-webui\extensions\sd-webui-additional-networks\models

canny - ตรวจจับขอบภาพ เหมาะสำหรับไว้ทำภาพ Anime
depth - depth map เหมาะสำหรับสร้างภาพที่มีความลึกหลายระดับ
hed - คล้าย canny ตรวจจับขอบภาพ เหมาะไว้ทำภาพแนว photorealistic
mlsd - เน้นจับขอบภาพแบบเส้นตรง เหมาะสำหรับไว้ copy โครงบ้าน
normal - normal map จับความลึกแบบ 3 มิติ
openpose - เอาตัวก้าง ๆ มาทำเป็นโมเดล โดยตัวก้าง ๆ สามารถ gen เองง่าย ๆ หรือใช้ PoseMaker

Parameters

Weight - อิทธิพลของตัว ControlNet ที่อิงต่อแบบ ถ้าค่ามากก็จะเหมือนแบบ ถ้าค่าน้อยก็จะยิ่งสุ่มไปตรงกับ prompt มากขึ้น
Guidance Strength

ตัวอย่าง Weight x Guidance Strenght

ภาพต้นแบบ

Prompt ที่กำหนดไว้คือ

((masterpiece,best quality)),1girl, long hair, red hair, solo, dress, red eyes,
looking at viewer, long sleeves,white dress, gloves, hair order, black jacket,
smile, floating hair,

ยิ่ง Weight น้อย ก็จะยิ่งตรงกับ Prompt สังเกตได้จาก ผมและชุดรวมถึงเสื้อแขนยาวที่ยาวขึ้นเรื่อย ๆ

xyz_grid-0004-328615902-((masterpiece,best quality)),1girl, long hair, red hair, solo, dress, red eyes, looking at viewer, long sleeves,white dress, glo.png

Workflow

เตรียมภาพที่จะใช้เป็นแบบใน img2img

Poser

https://huggingface.co/spaces/jonigata/PoseMaker