webui 한국어버젼 CLIP prompt - korean deep danbooru 개량 예정
either website - domain 구입 - aws web hosting - api
website2 - gradio제공 domain사용 -backend- ,user authentication,postsql, or complex routing functionalities.
ex) instagram 5 million user 시절 아키텍쳐
diffusion model architecture
- 스테이블 디퓨전
- 그냥 이미지를 cnn layer unet 으로 upsample downsample 하던 것을
- latent space에 noise를 추가하고 denoise함으로써 학습시키는 것으로 만듦
SDXL turbo
stable diffusion model에서 unet을 2개로 늘림 base 역할의 unet, refiner역할의 unet 사용
cascade
-------------extension----------------
realesrgan - enhanced super resolution GAN
gfpgan - generative facial prior GAN
codeformer - 얼굴 복원
IP adapter
hypernetwork - parameter업데이트 방식
residual block 과 유사하지만 residual connection은 특정 feature의 벡터가 다음 트랜스포머 블록에 추가되지만 hypernetwork는 가공 전의 transformer 블록으로 다시 돌아가 추가된다는 차이가 있다
backbone controlnet
hypernetwork 최적화 도움 도구 feed forward layer*
textual inversion stable diffusion model 파인튜닝
LoRA train - 적은수의 파라미터 효율성
xlmr
text classification 다국적 encoder
clip - Contrastive Image-Language Pretraining embedding architecture
- 텍스트, 이미지 데이터 cross attention
-variatial autoencoder | VAE - latent space 가 핵심, 이미지의 고차원 joint distribution
VQGAN
Vector Quantized GAN
번외
OPENAI SORA
diffusion transformer (DiT)
-> 비디오의 압축된 latent space
-> 시공간 patch를 사용해 트랜스포머 token으로 사용
-> sd와 같이 노이즈를 masking한뒤 노이즈 없는 이미지로의 예측으로 train
이 과정에서 transformer가 사용?
