윈디하나의 누리사랑방. 이런 저런 얘기

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - LCM(Latent Consistency Model)

이미지 생성시간을 획기적으로 줄일 수 있는 방법중 하나로 LCM 을 사용하는 방법이 있다.

1. LCM 을 지원하는 체크포인트를 사용하거나, 사용하는 체크포인트를 LCM 을 사용할 수 있도록 해주는 LCM LoRA 를 설치한다.
2. LCM 샘플러를 사용한다.
3. CFG Scale 을 1 ~ 2, Sampling Steps 를 3 ~ 8 으로 설정한다. (사용하고 있는 체크포인트에 따라 다르다)

쉽게 말하면 사용하고 있는 체크포인트에 ① LCM LoRA 를 사용하고 ② LCM 샘플러를 사용하면 ③ 스탭을 3 ~ 8 정도만 사용해도 양질의 이미지가 생성된다는 의미다.

- LCM LoRA

현재 SD 1.5 용과 SDXL 용이 나와있다. SD 1.5 용은 https://huggingface.co/latent-consistency/lcm-lora-sdv1-5 에서 받을 수 있다. (SDXL 용은 어차피 SDXL Turbo 가 있으니 굳이 사용할 필요 없다고 생각한다)

CivitAI 에서 사용자들이 만들어놓은 LCM LoRA 를 받을 수 있다. 미묘하게 다르다.

- LCM 샘플러

https://github.com/light-and-ray/sd-webui-lcm-sampler 를 설치한다. SDUI 에서 Extensions 탭 - Install from URL 에서 URL 을 직접 입력해 설치할 수 있다.

- 사용한 예

※ 미사용시
프롬프트: (best quality, masterpiece:1.5), (1girl:1.5), (full body:1.5), (large breasts:1.0), (thin waist:1.1), (dress)
설정: 샘플러=DPM++ 2M SDE Heun Karras, 스탭=38, CFG Scale=7, 크기=512 x 768
생성시간: 9초

사용자 삽입 이미지


※ LCM 사용시
프롬프트: (best quality, masterpiece:1.5), (1girl:1.5), (full body:1.5), (large breasts:1.0), (thin waist:1.1), (dress)  <lora:PAseer-SD15-LCM Quick:1>
설정: 샘플러=LCM Test, 스탭=8, CFG Scale=1
생성시간: 2초

사용자 삽입 이미지


뭔가 연구 좀 더 하면 좋아보이긴 하다. 어찌보면 대단하기도 하고.