윈디하나의 블로그

글쓴시간 2024/10/20 21:00

nVidia Geforce RTX 4060TI 16GB - GPU-Z

당근에서 구매. 45만냥. 현재 신품 최저가는 60만원이다. 제조일은 24년 2주차다. 2027년 2주차까지 A/S 기간이다.

품명은 GeForce RTX 4060 TI VENTUS 2X BLACK 16G OC 이다. 제조사는 MSI. 4060 TI 의 16GB 버전은 현재 MSI 에서만 판매하고 있다. 그만큼 수요가 없긴 하다. OC 가 들어갔으니 뭔가 오버클럭 되어있는 셈.

기존 2060 12G 는 다른 PC에 달고 이걸로 달았다. 생각보다 많이 작은거에 놀랐다. 발열도 기존보다는 더 낮은 느낌.

GPU-Z 는 아래와 같다.

센서는 지난 2060에 비해 많아졌다.

글쓴이 윈디하나

응답

RSS / ATOM 피드를 통해 답글을 트랙할 수 있음

No Trackback
No Comment

글쓴시간 2024/10/04 18:00

분류 기술,IT/스테이블 디퓨전

FLUX.1 Dev 사용하기

※ 원칙적(?)으로는 아래와 같이 사용할 수 있다.

1. https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main (공식 리포지토리)
   flux1-dev.safetensors 및 ae.safetensors 파일 다운로드

2. https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
   clip_l.safetensors 및 t5xxl_fp16.safetensors 파일 다운로드
   -> 공식 리포지토리의 text_encoder, text_encoder_2 아래에 있는 파일과 같은 파일이다.

3. 다운로드 받은 파일을 stable-diffusion-webui-forge 의 디렉토리로 옮김

flux1-dev.safetensors  -> models/Stable-diffusion/
ae.safetensors         -> models/VAE/
clip_l.safetensors     -> models/text_encoder/
t5xxl_fp16.safetensors -> models/text_encoder/

3. stable-diffusion-webui-forge 실행 후, 아래와 같이 세팅
UI: flux
CheckPoint: flux1-dev
VAE / TextEncoder: clip_l.safetensors, t5xxl_fp16.safetensors, ae.safetensors

4. GERERATE 버튼 클릭!

- 이렇게 실행하려면 최소한 24GB VRAM 을 가진 nVidia GPU 와 64GB 의 시스템 메모리가 필요하다.

- 일부 파일은 여기서 받음: https://huggingface.co/camenduru/FLUX.1-dev/tree/main

※ FP8, NF4으로 구성

속도를 빠르게 하고 메모리 사용량을 줄이기 위한 목적으로 FP8 이나 NF4 를 사용한 모델을 사용할 수 있다. 이걸로 해야 필자의 사양(RTX 2060 12GB, MEMORY 64GB)에서 실행된다.

t5xxl_fp16.safetensors -> t5xxl_fp8_e4m3fn.safetensors https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main
flux1-dev.safetensors -> flux1-dev-fp8.safetensors https://huggingface.co/Kijai/flux-fp8/tree/main
flux1-dev.safetensors -> flux1-dev-bnb-nf4-v2.safetensors https://huggingface.co/lllyasviel/flux1-dev-bnb-nf4/tree/main

아니면 아래의 All-in-one 타입 을 사용할 수 있다.

https://huggingface.co/Comfy-Org/flux1-dev/tree/main FP8

※ 메모리 구성

전용 GPU 메모리(Dedicated GPU Memory): GPU 의 VRAM 용량
공유 GPU 메모리(Shared GPU Memory): GPU 에 의해 공유되는 시스템 메모리. 사용 가능한 용량은 시스템 메모리의 절반

- 스왑 메모리 위치
-- CPU: 모델을 GPU 메모리 및 시스템 메모리에 위치
-- Shared: 모델을 GPU 메모리 및 공유 GPU 메모리에 위치. 좀 더 빠른 대신 실행 이슈(크러시)가 발생할 수 있다.

- GPU Weights (MB): GPU 에 적재할 모델의 크기. 크면 클수록 좋지만, 이미지 생성시에도 GPU 메모리를 필요로 하기 때문에 적당히 조절해야 한다.

- 스왑 메쏘드
-- Queue: 모델 적재 -> 연산 -> 다른 모델 적재 -> 연산의 순서로 차례대로 진행된다.
-- Async: 모델 적재 -> 연산 및 다른 모델 적재 -> 연산 및 다른모델 적재 의 순서로 동시에 처리된다. Queue 보다 빠르지만, 모델에 따라 갑자기 매우 느려질때가 있다. Async 와 Queue 를 비교해보고 빠른걸 선택하자.

CivitAI 에 공개된 이미지 프롬프트를 보고 따라한 그림. FLUX 로 생성했다. https://civitai.com/images/31943195

https://github.com/lllyasviel/stable-diffusion-webui-forge/discussions/981

글쓴이 윈디하나

응답

RSS / ATOM 피드를 통해 답글을 트랙할 수 있음

No Trackback
No Comment

글쓴시간 2024/09/10 22:00

분류 이야기

인공 일반 지능(AGI)에 대한 단상

인공 일반 지능(Artificial General Intelligence, AGI)에 대해 사람들과 이야기 하다보면, AGI 가 인간보다 더 월등하다는 식으로 생각하고 있다는 생각이 들곤 한다. 하지만 내 결론은 AGI 는 평범한 인간보다 "많이 알고 있다"이지 인간보다 월등하다는 아니다. 즉 많은 것을 알고 있는 현자에 비유될 수 있는 것이지 인류를 초월한 지능은 아니라는거다. 물론 많이 알고 있기 때문에 사고실험을 거쳐 인류가 미처 발견하지 못한 법칙을 우연히 발견해 낼 수는 있다. 하지만 그렇다고 인류보다 초월하다고 말하긴 어렵다. 시간 지나면 어차피 인류도 발견할 법칙이니 말이다.

Stable Diffusion 를 사용해 많은 이미지를 생성하면서, 정말 기괴한 이미지들을 많이 생성하고 봐 왔지만, 그건 어차피 사람도 생성할 수 있는 수준이다. 단지 사람은 디지털이 아니기 때문에 그런 이미지를 그릴 이유도 없다는 것 뿐이다. 어차피 학습된 후에 추론하는것이기 때문에 학습된 것 이상으로는 안 나온다.

정말 미래의 인공지능이 인류를 초월한다면, 차라리 인류가 풀지 못할 (앞으로도 풀 가능성이 보이지 않는) 문제를 물어보고 싶다.