[스테이블 디퓨전] 로라(LORA), 임베딩(embedding), VAE 은 뭔가요?
로라(LORA)란?
로라(LORA)는 학습된 모델파일에 새로운 피사체를 학습 시키는 기법이다.
맞는 표현일지 모르지만, 기본적인 모델 파일을 기반으로 화장을 어찌할지 일종의 새로운 이미지로 형성해주는 보조 모델형태로 이해하면 될듯.
따라서 로라를 적용하기 위해서는 적어도 어느정도 뼈대가 되는 모델파일과 같이 사용해야 최고의 결과물이 나온다.
로라(LORA)파일은 모델 파일과 같이 확장자가 ckpt이거나 safetensors로 되어 있어서 모델 파일과 구분이 쉽지 않은데, 그냥 통상적으로 1기가가 넘는건 모델 파일, 1기가 밑의 용량은 로라 파일로 생각하면 된다.
로라 파일은 아래 경로에 넣으면 스테이블 디퓨전이 인식한다.
C:\stable-diffusion-webui\models\Lora
임베딩(embedding), hyper network 란?
모델 파일은 아니고, 그렇다고 로라 파일도 아닌데 임베딩이라든지 hyper network라고 하는 파일들을 가끔 볼것 이다.
애네들도 기본 원리는 로라와 같다.
기본적인 모델 파일 기반위에 다른 피사체의 형태로 꾸며주는 역활을 담당한다.
그럼 로라랑 틀린게 뭐냐?
임베딩은 모델에 영향을 주지 않은 채 프롬프트를 추가 학습하는 방법으로 추가적인 특징 하나 정도를 만들어 주는 작은 변화를 나타낸다.
따라서 여러개의 임베딩 효과를 줄수 있고, 용량도 가볍고 여러가지 모델에 잘 사용이 가능하다.
hyper network도 마찬가지로 용량이 작으면서 모델에 따라 큰 포이트가 나타나지 않을수 있어서 요즘에는 임베딩과 hyper network대신 로라를 많이 사용하는 추세이다.
임베딩(embedding)은 아래 경로에 넣으면 되고 확장자가 bin이나 pt 형태이다
C:\stable-diffusion-webui\embeddings
hyper network는 아래 경로에 넣으면 되고 확장자가 PT이다
C:\stable-diffusion-webui\models\hypernetworks
vae 란?
VAE는 이미지를 보정해주는 역활을 한다.
즉, 퀄리티를 높혀주는 역활을 하는데, 여러개의 VAE를 사용하기 보다는 대표적인 2가지만 사용하면 된다.
실사용 VAE
vae-ft-mse-840000-ema-pruned.ckpt · stabilityai/sd-vae-ft-mse-original at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
아래 VAE 미적용 이미지와 적용한 이미지를 보면 디테일의 차이를 확인 할 수 있다
애니메이션용 VAE
https://huggingface.co/hakurei/waifu-diffusion-v1-4/blob/main/vae/kl-f8-anime2.ckpt
vae/kl-f8-anime2.ckpt · hakurei/waifu-diffusion-v1-4 at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
아래 VAE 미적용 이미지와 적용한 이미지를 보면 디테일의 차이를 확인 할 수 있다
특히 애니쪽에서는 색감의 차이가 분명하다
대표적인 로라(LORA) 다운받기
로라(LORA)는 용량이 모델 파일에 비해 크지 않고 한 모델에 여러개의 로라 파일을 적용할 수 있으므로 맘에 드는 로라 파일은 많이 다운 받아 여러가지 테스트 해볼것을 권장한다.
내 개인적으로 요즘 많이 쓰는 로라 파일은 아래와 같다.
로라 파일은 아래 civitai에 가서 맘에 드는것을 다운받는것을 추천한다.
Civitai | Stable Diffusion models, embeddings, LoRAs and more
Civitai is a platform for Stable Diffusion AI Art models. Browse a collection of thousands of models from a growing number of creators. Join an engaged community in reviewing models and sharing images with prompts to get you started.
사이트 우측에서 로라 파일만 검색해 맘에 드는것을 다운받을 수 있다.
로라(LORA) 프롬프트 사용방법
로라(LORA) 사용법은 아래와 같다.
예를 들어 아래와 같은 프롬프트라면
(masterpiece:1.4), (best quality:1.4), higres, cinematic lighting, detailed lighting, looking at viewer, 1 girl, 8k, UHD, intricate details, detailed face, extreamly detailed CG, perfect eyes, detailed eyes, realistic eyes, detailed skin, long hair, dark hair, cardigan, (lora:koreanDollLikeness_v15:0.5), (ulzzang-6500-v1.1:0.5), upper body, black background
위 빨간색이 로라 파일 호출 명령어이다.
끝에 0.5는 적용되는 영향력의 정도이다.
