윈디하나의 블로그

윈디하나의 누리사랑방. 이런 저런 얘기

Stable Diffusion - Upscaler 4x

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Upscaler 4x

4x- 로 시작하는 업스케일러를 별도로 받아 사용할 수 있다. ESRGAN 계열의 업스케일러다.  4x-UltraSharp 는 여전히 많이 사용되는 업스케일러이기도 하다.

Model Database 에 있는 링크를 통해 받을 수 있다. 모델을 받아 stable-diffusion-webui/models/ESRGAN 디렉토리에 복사하고 SDUI 를 껏다 다시 켜면 사용할 수 있다.

사용자 삽입 이미지

Original


사용자 삽입 이미지

4x-AnimeSharp


사용자 삽입 이미지

4x-UltraMix_Balanced


사용자 삽입 이미지

4x-UltraMix_Restore


사용자 삽입 이미지

4x-UltraMix_Smooth


사용자 삽입 이미지

4x-UltraSharp

민법 제2조 (신의성실)

글쓴시간
분류 시사,사회
요즘 사회적으로 이슈되는게 있습니다. 특수교사, 장애를 가진 아이, 그리고 그 부모.

사용자 삽입 이미지

많은걸 생각하게 하지만 이미 충분히 비판받고있다고 생각되고, 앞으로도 그럴거 같아 제가 하고픈 이야기는 안하려 합니다. 사건이 마무리되거나 잊혀질때쯤에 생각나면 글을 공개할 생각입니다.

- 글을 읽다가 도대채 무었을 잘못했느냐에 대한 질문에 대한 답으로 이걸 예로 든 댓글을 봤네요. 전 법을 잘 모르지만 왠지모르게 글에 공감되어 옮겨 적습니다.

민법

제2조(신의성실)

①권리의 행사와 의무의 이행은 신의에 좇아 성실히 하여야 한다.

②권리는 남용하지 못한다.


요즘엔 교육과 홍보가 잘 되어있어서 어떠한 권리가 있다는건 잘 알고 있는데, 그 권리에 대한 보이지 않는 의무에 대해서는 잘 모르는 경우를 제법 보았습니다. 꽤 공감되네요.

Stable Diffusion - Upscaler ESRGAN, R-ESRGAN

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Upscaler ESRGAN, R-ESRGAN

SD 에서 사용할 수 있는 업스케일러를 테스트했다. 예전에 테스트해본결과 "R-ESRGAN General 4xV3"을 주로 사용하게 되었는데, 그걸 정리한거다.

SD webUI 에서는 Extra 탭에서 사용할 수 있다. 프롬프트 없이 가능하고 빠른데다 x4 나 도 x8 도 가능하기 때문에, 게다가 배치작업 (특정 디렉토리의 모든 이미지를 업스케일링 하는 작업)도 가능하기 때문에 자주 사용한다.

사용자 삽입 이미지

Original



사용자 삽입 이미지

ESRGAN 4x


사용자 삽입 이미지

R-ESRGAN 2x+


사용자 삽입 이미지

R-ESRGAN 4x Anime6B


사용자 삽입 이미지

R-ESRGAN 4x+


사용자 삽입 이미지

R-ESRGAN AnimeVideo


사용자 삽입 이미지

R-ESRGAN General 4xV3


사용자 삽입 이미지

R-ESRGAN General WDN 4xV3

Stable Diffusion XL 1.0 출시

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion XL 1.0 출시

출시되었습니다.

- 공식 체크포인트 파일은 아래에서 받을 수 있습니다.

BASE:    sd_xl_base_1.0.safetensors
REFINER: sd_xl_refiner_1.0.safetensors
VAE:     sdxl_vae.safetensors

문제는 위의 공식 버전은 FP16 을 사용할 경우 VAE 적용에서 문제생긴다네요. 그래서 VAE 를 다르게 적용해 합본한 파일을 받아 사용해야 합니다. 결과적으로  아래의 통합 파일을 받아서 사용해야 합니다.

- StabilityAI 에서 VAE를 통합한 파일을 다시 배포했습니다. 아래에서 받을 수 있습니다.  WebUI 에서는 아래걸 받아 VAE 없이 사용하면 됩니다.

BASE + VAE: sd_xl_base_1.0_0.9vae.safetensors
REFINER + VAE: sd_xl_refiner_1.0_0.9vae.safetensors




사용자 삽입 이미지

보름쯤 전에 배포된 0.9 버전보다 더 좋아졌다고 하네요. (그래프 값의 합은 100% 입니다)



사용해보니 메모리. VRAM 과 시스템 메모리 사용양이 많습니다. VRAM 12GB, 시스템 메모리 32GB 도 버겁다는 말이 있네요.

현재 사용하고 있는 제 시스템 사양이 VRAM 12GB, 시스템 메모리 12GB 인데, 체크포인트 로딩하는데 1470초 걸렸습니다. HDD 라 더 걸리는것 같지만 근본적으로 메모리가 부족합니다. 시스템 메모리 64GB 만들어야 할거 같네요.

로딩 이후에는 시스템 메모리 4.5GB, VRAM 8.3 GB 사용하고 있습니다. 이미지 생성시에는 12GB, 12GB 다 차네요. 역시 메모리가 부족합니다. SDXL 생성에 걸린시간은 40초 정도로 SD 1.5 의 20초보다 2배 정도 더 걸립니다.

아래는 SDXL 으로 생성한 그림입니다. 기본이 이정도 퀄리티라면 역시 SDXL으로 바꾸긴 해야겠네요. SD 1.5 오리지널보다 훨씬 많이 디테일이 좋고 프롬프트가 이미지에 잘 반영됩니다. CivitAI 찾아보니 이미 DreamShaper 라는 체크포인트는 SDXL 용으로 Alpha 버전이 올라와 있네요. SD 2 나올때보다 더 폭발적인 반응입니다. 앞으로 SD1.5 에서 SDXL 으로 많이 바꿀거라 생각합니다.

사용자 삽입 이미지

사용자 삽입 이미지

Stable Diffusion - webUI 에서의 SDXL 지원

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - webUI 에서의 SDXL 지원

어제  stable-diffusion-webui 의 1.5 버전이 배포되었다. 주된 변경점은 SDXL 지원이다. 예전글에 쓴적이 있는데 몇가지 특징을 적어줘서 블로그에 옮긴다.

출처: https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/11757

1. 가장 큰 변경점이 사전의 크기가 대폭 늘어났다는 거다.

SD1: Tensor(2x77x768)
SDXL: {'crossattn': Tensor(2x77x2048), 'vector': Tensor(2x2048)}

이라고 한다. (파라메터 늘어났다는 의미이고 이걸 텐서로 표현하면 위와 같이 된다는 거 같다)

2. SDXL 을 돌릴때 1024 x 1024 이미지 생성시 VRAM 을 약 12GB 정도 소비했다고 한다. --medvram 옵션을 주었을때 그렇다는거다.
   하지만 8GB 만 사용하도록 제한을 두어도 이미지가 생성된다고 한다. 즉 8GB 정도면 실행가능하다는 의미다.
  (개발자는 nVidia RTX 3090 24GB 를 사용하는 것으로 알려져 있다)

3. textual inversion 은 작동하지 않는다. (SDXL 용으로 개발해야 할듯)

4. LoRA 도 SDXL 으로 개발된거 빼고는 작동 안한다.

5. 난수 생성기를 CPU 로 설정하고 Stability-AI 에 올라와있는 프롬프트대로 생성시 거의 같게 생성된다고 한다.

6. 여러가지 Attention 최적화 기법이 작동한다고 한다. (xFormers 적용 된다는 의미인듯 하다)

7. --no-half-vae 옵션이 반드시 필요하다고 한다.

8. DDIM, PLMS, UniPC 샘플러가 작동하지 않는다고 한다. (SDXL 용으로 개발해야 할듯)

9. 현재 webUI 에서는 refiner  지원하지 않는다.

----


SDXL 소개: Stable Diffusion - SDXL
SDXL 후기: Stable Diffusion XL 1.0 출시