윈디하나의 블로그

윈디하나의 누리사랑방. 이런 저런 얘기

1 개 검색됨 : 2023/07/26 에 대한 결과

Stable Diffusion - webUI 에서의 SDXL 지원

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - webUI 에서의 SDXL 지원

어제  stable-diffusion-webui 의 1.5 버전이 배포되었다. 주된 변경점은 SDXL 지원이다. 예전글에 쓴적이 있는데 몇가지 특징을 적어줘서 블로그에 옮긴다.

출처: https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/11757

1. 가장 큰 변경점이 사전의 크기가 대폭 늘어났다는 거다.

SD1: Tensor(2x77x768)
SDXL: {'crossattn': Tensor(2x77x2048), 'vector': Tensor(2x2048)}

이라고 한다. (파라메터 늘어났다는 의미이고 이걸 텐서로 표현하면 위와 같이 된다는 거 같다)

2. SDXL 을 돌릴때 1024 x 1024 이미지 생성시 VRAM 을 약 12GB 정도 소비했다고 한다. --medvram 옵션을 주었을때 그렇다는거다.
   하지만 8GB 만 사용하도록 제한을 두어도 이미지가 생성된다고 한다. 즉 8GB 정도면 실행가능하다는 의미다.
  (개발자는 nVidia RTX 3090 24GB 를 사용하는 것으로 알려져 있다)

3. textual inversion 은 작동하지 않는다. (SDXL 용으로 개발해야 할듯)

4. LoRA 도 SDXL 으로 개발된거 빼고는 작동 안한다.

5. 난수 생성기를 CPU 로 설정하고 Stability-AI 에 올라와있는 프롬프트대로 생성시 거의 같게 생성된다고 한다.

6. 여러가지 Attention 최적화 기법이 작동한다고 한다. (xFormers 적용 된다는 의미인듯 하다)

7. --no-half-vae 옵션이 반드시 필요하다고 한다.

8. DDIM, PLMS, UniPC 샘플러가 작동하지 않는다고 한다. (SDXL 용으로 개발해야 할듯)

9. 현재 webUI 에서는 refiner  지원하지 않는다.

----


SDXL 소개: Stable Diffusion - SDXL
SDXL 후기: Stable Diffusion XL 1.0 출시