윈디하나의 누리사랑방. 이런 저런 얘기

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 전통 의상 #1 (Part2)

긴 의상들만 모아서 게시한다. 긴 치마 의상은 거의 중국식 의상이기도 하다. 그만큼 AI 쪽에서는 중국의 역할(?)을 무시 못한다. CivitAI 에 자주 중국 의상 LoRA 가 업로드되는거 보면 왠지 부럽기도 하다.

의상은 역시 한복도 아니고 기모노도 아니고 장삼도 아닌 애매한 그림이 나온다. 그래도 맘에 들어서 게시한다.

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지



글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 전통 의상 #1

전통의상 틱한 뭔가를 만들어 보았다. 대한민국의 전통의상인 한복은 아니다. 결정적으로 옷 고름의 위치가 다르기 때문. 뭔가 한복과 기모노와 장삼이 섞인 느낌. 그래도 맘에 드는게 있어 업로드 한다.

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지





글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Upscaler

기타 업스케일러. Nearest 업스케일러를 아주 가끔 사용하긴 하지만, 거의 사용하지 않는다.

사용자 삽입 이미지

Original


사용자 삽입 이미지

Lanczos


사용자 삽입 이미지

LDSR


사용자 삽입 이미지

Nearest


사용자 삽입 이미지

ScuNET GAN


사용자 삽입 이미지

ScuNET PSNR


사용자 삽입 이미지

SwinIR_4x

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Upscaler 4x

4x- 로 시작하는 업스케일러를 별도로 받아 사용할 수 있다. ESRGAN 계열의 업스케일러다.  4x-UltraSharp 는 여전히 많이 사용되는 업스케일러이기도 하다.

Model Database 에 있는 링크를 통해 받을 수 있다. 모델을 받아 stable-diffusion-webui/models/ESRGAN 디렉토리에 복사하고 SDUI 를 껏다 다시 켜면 사용할 수 있다.

사용자 삽입 이미지

Original


사용자 삽입 이미지

4x-AnimeSharp


사용자 삽입 이미지

4x-UltraMix_Balanced


사용자 삽입 이미지

4x-UltraMix_Restore


사용자 삽입 이미지

4x-UltraMix_Smooth


사용자 삽입 이미지

4x-UltraSharp

글쓴시간
분류 시사,사회
요즘 사회적으로 이슈되는게 있습니다. 특수교사, 장애를 가진 아이, 그리고 그 부모.

사용자 삽입 이미지

많은걸 생각하게 하지만 이미 충분히 비판받고있다고 생각되고, 앞으로도 그럴거 같아 제가 하고픈 이야기는 안하려 합니다. 사건이 마무리되거나 잊혀질때쯤에 생각나면 글을 공개할 생각입니다.

- 글을 읽다가 도대채 무었을 잘못했느냐에 대한 질문에 대한 답으로 이걸 예로 든 댓글을 봤네요. 전 법을 잘 모르지만 왠지모르게 글에 공감되어 옮겨 적습니다.

민법

제2조(신의성실)

①권리의 행사와 의무의 이행은 신의에 좇아 성실히 하여야 한다.

②권리는 남용하지 못한다.


요즘엔 교육과 홍보가 잘 되어있어서 어떠한 권리가 있다는건 잘 알고 있는데, 그 권리에 대한 보이지 않는 의무에 대해서는 잘 모르는 경우를 제법 보았습니다. 꽤 공감되네요.
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Upscaler ESRGAN, R-ESRGAN

SD 에서 사용할 수 있는 업스케일러를 테스트했다. 예전에 테스트해본결과 "R-ESRGAN General 4xV3"을 주로 사용하게 되었는데, 그걸 정리한거다.

SD webUI 에서는 Extra 탭에서 사용할 수 있다. 프롬프트 없이 가능하고 빠른데다 x4 나 도 x8 도 가능하기 때문에, 게다가 배치작업 (특정 디렉토리의 모든 이미지를 업스케일링 하는 작업)도 가능하기 때문에 자주 사용한다.

사용자 삽입 이미지

Original



사용자 삽입 이미지

ESRGAN 4x


사용자 삽입 이미지

R-ESRGAN 2x+


사용자 삽입 이미지

R-ESRGAN 4x Anime6B


사용자 삽입 이미지

R-ESRGAN 4x+


사용자 삽입 이미지

R-ESRGAN AnimeVideo


사용자 삽입 이미지

R-ESRGAN General 4xV3


사용자 삽입 이미지

R-ESRGAN General WDN 4xV3

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion XL 1.0 출시

출시되었습니다.

- 공식 체크포인트 파일은 아래에서 받을 수 있습니다.

BASE:    sd_xl_base_1.0.safetensors
REFINER: sd_xl_refiner_1.0.safetensors
VAE:     sdxl_vae.safetensors

문제는 위의 공식 버전은 FP16 을 사용할 경우 VAE 적용에서 문제생긴다네요. 그래서 VAE 를 다르게 적용해 합본한 파일을 받아 사용해야 합니다. 결과적으로  아래의 통합 파일을 받아서 사용해야 합니다.

- StabilityAI 에서 VAE를 통합한 파일을 다시 배포했습니다. 아래에서 받을 수 있습니다.  WebUI 에서는 아래걸 받아 VAE 없이 사용하면 됩니다.

BASE + VAE: sd_xl_base_1.0_0.9vae.safetensors
REFINER + VAE: sd_xl_refiner_1.0_0.9vae.safetensors




사용자 삽입 이미지

보름쯤 전에 배포된 0.9 버전보다 더 좋아졌다고 하네요. (그래프 값의 합은 100% 입니다)



사용해보니 메모리. VRAM 과 시스템 메모리 사용양이 많습니다. VRAM 12GB, 시스템 메모리 32GB 도 버겁다는 말이 있네요.

현재 사용하고 있는 제 시스템 사양이 VRAM 12GB, 시스템 메모리 12GB 인데, 체크포인트 로딩하는데 1470초 걸렸습니다. HDD 라 더 걸리는것 같지만 근본적으로 메모리가 부족합니다. 시스템 메모리 64GB 만들어야 할거 같네요.

로딩 이후에는 시스템 메모리 4.5GB, VRAM 8.3 GB 사용하고 있습니다. 이미지 생성시에는 12GB, 12GB 다 차네요. 역시 메모리가 부족합니다. SDXL 생성에 걸린시간은 40초 정도로 SD 1.5 의 20초보다 2배 정도 더 걸립니다.

아래는 SDXL 으로 생성한 그림입니다. 기본이 이정도 퀄리티라면 역시 SDXL으로 바꾸긴 해야겠네요. SD 1.5 오리지널보다 훨씬 많이 디테일이 좋고 프롬프트가 이미지에 잘 반영됩니다. CivitAI 찾아보니 이미 DreamShaper 라는 체크포인트는 SDXL 용으로 Alpha 버전이 올라와 있네요. SD 2 나올때보다 더 폭발적인 반응입니다. 앞으로 SD1.5 에서 SDXL 으로 많이 바꿀거라 생각합니다.

사용자 삽입 이미지

사용자 삽입 이미지
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - webUI 에서의 SDXL 지원

어제  stable-diffusion-webui 의 1.5 버전이 배포되었다. 주된 변경점은 SDXL 지원이다. 예전글에 쓴적이 있는데 몇가지 특징을 적어줘서 블로그에 옮긴다.

출처: https://github.com/AUTOMATIC1111/stable-diffusion-webui/pull/11757

1. 가장 큰 변경점이 사전의 크기가 대폭 늘어났다는 거다.

SD1: Tensor(2x77x768)
SDXL: {'crossattn': Tensor(2x77x2048), 'vector': Tensor(2x2048)}

이라고 한다. (파라메터 늘어났다는 의미이고 이걸 텐서로 표현하면 위와 같이 된다는 거 같다)

2. SDXL 을 돌릴때 1024 x 1024 이미지 생성시 VRAM 을 약 12GB 정도 소비했다고 한다. --medvram 옵션을 주었을때 그렇다는거다.
   하지만 8GB 만 사용하도록 제한을 두어도 이미지가 생성된다고 한다. 즉 8GB 정도면 실행가능하다는 의미다.
  (개발자는 nVidia RTX 3090 24GB 를 사용하는 것으로 알려져 있다)

3. textual inversion 은 작동하지 않는다. (SDXL 용으로 개발해야 할듯)

4. LoRA 도 SDXL 으로 개발된거 빼고는 작동 안한다.

5. 난수 생성기를 CPU 로 설정하고 Stability-AI 에 올라와있는 프롬프트대로 생성시 거의 같게 생성된다고 한다.

6. 여러가지 Attention 최적화 기법이 작동한다고 한다. (xFormers 적용 된다는 의미인듯 하다)

7. --no-half-vae 옵션이 반드시 필요하다고 한다.

8. DDIM, PLMS, UniPC 샘플러가 작동하지 않는다고 한다. (SDXL 용으로 개발해야 할듯)

9. 현재 webUI 에서는 refiner  지원하지 않는다.

----


SDXL 소개: Stable Diffusion - SDXL
SDXL 후기: Stable Diffusion XL 1.0 출시
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 은하수 #1

"[LoHa] Vines あおふじ青藤 Style (With multires noise version)" 이라는 LoRA 가 올라왔길래 사용해보았다. 맘에 들어 게시한다. 윈도 배경 이미지로 쓰고 있다.

참고로

Vines, あおふじ, 青藤(청도)은 "넝굴식물" 의 의미. 다 같은 말이다.이 LoRA 가지고 넝굴식물과 같은 이미지를 만들 수 있다. 여기에 은하수를 더한 이미지가 이 글에 게시한 이미지다.

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 카툰 #1

"cartoon_portrait_v2" 라는 LoRA 를 사용해서 생성한 그림.

샘플 이미지에 나온 그림들을 보고 생성한그림들이 맘에 들어서 더 작성해 보았다.

사용자 삽입 이미지

사용자 삽입 이미지

아래 이미지들은 내가 즐겨쓰는 프롬프트를 사용해 만든것.

재미있는건 텍스트로 업스케일링이 안되어서, 이미지에서 업스케일링 했다. 그것도 0.1 강도로 말이다. 그외의 방법으로는 뭔가 검은 그림으로 생성되어서 (즉 오류발생해서) 사용할 수 없었다. LoRA 는 잘 적용되었는데 말이다. 아니면 LoRA 가 SD 1.5 체크포인트를 가지고 만들어서 그런걸지도 모르겠다. (확인 안해봤다)

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지