윈디하나의 누리사랑방. 이런 저런 얘기

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 미녀 #6 Part3

구도가 조금 안 맞았지만 그래도 맘에 들어 올려본다. 총 200장 생성에 24장 정도 올렸다. 12% 올린건데, 프롬프트를 좀 더 세밀하게 주면 50% 이상도 올릴 수 있을거 같다. 그만큼 요즘엔 퀄리티 있는 사진들이 잘 뽑인다.

사용자 삽입 이미지



사용자 삽입 이미지


사용자 삽입 이미지


사용자 삽입 이미지


사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지


사용자 삽입 이미지

글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 미녀 #6 Part2

체크포인트와 LoRA 를 바꾸면서 좋아진게 바로 배경 흐림 효과가 꽤 그럴듯하게 나온다는 거다. 그래서 이미지가 더 좋아보이는지도 모르겠다. 물론 확대해보면 별로지만, 그래도 이정도인게 어딘가 싶다.

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지


사용자 삽입 이미지
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - 미녀 #6 Part1

이것저것 조합해보다가 생성한 미녀 이미지. 오랜만에 미녀 이미지 만들어보았다. 최신 LoRA 와 최근에 나온  체크포인트를 사용해서 다시 만들었다. 원래는 이런 이미지를 생성할 생각이 없다가 아래와 같은 이미지가 우연히 생성되어서 바로 시작했다.

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지


사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지

사용자 삽입 이미지
글쓴시간
분류 기술,IT/스테이블 디퓨전
Stable Diffusion - Stable Diffusion 3

사용자 삽입 이미지

아직 SDXL 도 제대로 못 쓴다고 생각하고 있지만, 벌써 SD3 에 대한 소식이 들려오고 있습니다. 현재 미리보기 버전을 제공하고 있네요.

몇가지 특징을 보자면

1. 파라메터가 가변적: 8억 ~ 80억
2. 디퓨전에 트랜스포머 아키텍처를 합함.
3. 플로매칭 기능

1 번은 최소 8억개인 SD1.5 와 유사하다고 생각되는데, SD1.5와 호환될지는 모르겠네요.
2 번은  transformer 를 diffusion 모델과 합했다는 의미인거 같네요. 최근에 나온 비디오 생성 AI인 Sora 가 이렇게 했다죠. 이렇게 하면 초 고해상도의 이미지를 생성할 수 있을걸로 생각합니다.
3 번은 
Continuous Normalizing Flows (CNFs)를 사용했다는건데 잘 모르겠습니다.

그외에 이상한 그림 생성 못하게 한다는거 같습니다만, SDXL 을 보면 트레이닝을 처음부터 다시 해버리면 그것도 안되는거라서요. 어쨌든 기본 레벨에서는 생성 안되게 한다는거 같고 이렇게 되면 SD3 이미지 생성 서비스 만들기 쉬워지겠네요. (프롬프트 제한 안걸어도 되니까 말이죠)

또한 여러개의 묘사를 모아서 정의한것도 잘 인식한다고 합니다. 현재 SD 에서는 아직까지 1girl 을 주로 사용하는데요, 2girls 프롬프트를 주어봤자 비슷한 그림이 나오기 때문입니다만, SD3 부터는 이게 하나하나 묘사를 하면 제대로 생성한다는거 같네요.

----

https://stability.ai/news/stable-diffusion-3
글쓴시간
분류 기술,IT
윈도11 의 코어 격리 및 메모리 무결성 기능

이 기능은 가상화 기반 보안을 사용하는 장치에서, 메모리 무결성을 지키기 위한 기능이다. 아래와 같이 활성화할 수 있다.

설정 → 개인 정보  및 보안 → Windows 보안 → 장치 보안 → 코어 격리 세부 정보 → 메모리 무결성

사용자 삽입 이미지

쉽게 말해 악의적인 코드가 실행되는걸 방지하기 위해 가상화 기능을 사용한다. 가상화 기능을 사용하면 각각의 프로세스를 완벽하게 분리할 수 있다. 그냥 아예 다른 운영체제인것처럼 작동할 수 있으니 말이다. 이를 VBS (Virtualization-Based Security)라고 부른다. 이를 구현하려면 커널 안에 VSM(Virtual Secure Module)을 두고 이 모듈 위에 각각의 커널을 올린다. 여기에 더해 HVCI(Hypervisor-Enforced Code Integrity)를 사용해 서명된 프로그램만 실행하도록 하면 원하지 않는 코드가 실행될 수는 없을 것이다.

이 기능을 구현하는데에는 최소 가상화기능이 지원되는 CPU만 있으면 되지만, 더 빨리 실행되기 위해서는 IOMMU(Input/Output Memory Management Unit), SLAT(Second Level Address Translation)를 지원해야 하고, HVCI 를 고성능으로 지원하려면 MBEC (Mode-Based Execute Control)기능을 CPU 에서 지원해야 한다. MBEC 는 인텔에서는 MBEC(Mode-based execute control for EPT), AMD는 GMET(Guest Mode Execute Trap)이라고 부른다. MBEC 를 지원하는 CPU가 Intel Kaby Lake, AMD Zen 2 부터다.

CPU가 MBEC 를 지원하지 않아도 HVCI 기능을 지원할 수 있지만 눈에띄게 느려진다. HVCI 를 끄고 사용하면 괜찮아진다. 이게 Intel Kaby Lake 미만, AMD Zen 2 미만의 CPU는 윈도11에서 지원하지 않는다고 말하는 이유중 하나다.

VBS 의 모든 기능 활성화하려면 Kaby Lake 및 이를 지원하는 마더보드에서는 최신 바이오스를 사용해야 하고, 최신 드라이버를 사용해야 한다. 바꿔말하면 Kaby Lake 에는 VBS 의 모든 기능이 안되는 경우가 있다는 의미다. VBS 를 제대로 지원하기 위한 사양은 아래에 나와있다.

https://learn.microsoft.com/en-us/windows-hardware/design/device-experiences/oem-vbs

----
https://note.com/visit_6654/n/nf04dd3fe7cd0
https://note.com/visit_6654/n/n3652faf50464

https://learn.microsoft.com/en-us/windows/security/hardware-security/enable-virtualization-based-protection-of-code-integrity