스테이블 디퓨전이 오픈된지 7주만에 커뮤니티 상에서는 이를 기반으로 한 놀랍고도 신기한 프로젝트가 쏟아지고 있는데요. 코랩 소스코드까지 오픈되어 실제로 테스트해볼 수 있는 14개 프로젝트에 대해서 소개드리고자 합니다. 본 글은 @StableDiffusion 계정에서 게시한 아래 트윗을 기반으로 작성되었습니다.
https://twitter.com/StableDiffusion/status/1580840619114582016
1. Deforum Stable Diffusion
작성자 : @deforum_art
스테이블 디퓨전에 보간, 기하변환(회전, 이동, 확대/축소 등) 그리고 와핑 처리를 접목해서 애니메이션을 만듭니다. (관련 글 보기 : https://aifactory.space/forum/discussion/30)
코랩 구동 시 주의사항
- 저장소로 구글 드라이브랑 연동하기 때문에 구글 드라이브 계정을 하나 준비합니다.
- 아래 설정으로 해봅니다.
- animation_mode: 2D
- max_frames: 50
- animation_prompts
- 0: "a beautiful background, detailed, 4k, trending on Artstation",
- 10: "a beautiful banana, detailed, 4k, trending on Artstation",
- 20: "a beautiful coconut, detailed, 4k, trending on Artstation",
- 30: “a beautiful durian, detailed, 4k, trending on Artstation”
- 40: “a beautiful durian, detailed, 4k, trending on Artstation”
- angle: 0:(10)
- translation_x: 0:(0)
- translation_z: 0:(10)
산토리니 해변에서 지중해 커피 한 잔 마시는 것을 상상하며… 한 번 만들어봤는데, 짧은 frame에 angle 값을 적게 설정해서 그런 지 어지럽네요.
코랩 따라하기 링크
2. Video Killed the Radio Star ...Diffusion
작성자 : @DigThatData
유투브 동영상의 음성에서 가사를 추출한 뒤, 이 가사(텍스트)로 이미지를 생성하여 다시 애니메이션으로 만드는 예제입니다. 애니메이션을 만들 때는 생성한 이미지를 기준으로 프레임별로 살짝 변형을 줍니다.
테스트는 "Nathan Evans - Wellerman Sea Shanty Lyrics (https://www.youtube.com/shorts/xdvHyvDMKlk)"으로 해봤습니다. 아래는 이 유투브 동영상을 입력하여 생성한 애니메이션입니다. 유투브의 노래랑 같이 들으시기를 추천드립니다.
3. Doohickey Diffusion
작성자 : @aicrumb
This is a feature-rich Colab notebook with CLIP guidance, perceptual guidance, Perlin initial noise, and other features.
4. Prompt Parrot
작성자 : @KyrickYoung
This notebook fine-tunes a language model on a small dataset of prompts, then produces new prompts to generate with Stable Diffusion!
5. Stable Diffusion Interpolation
작성자 : @ygantigravity, @pharmapsychotic
This notebook generates neat interpolations between two different prompts with Stable Diffusion.
6. Easy Diffusion
작성자 : WASasquatch
This super nifty notebook has tons of features, such as image upscaling and processing, interrogation with CLIP, and more!
7. Stable-DreamFusion
작성자 : ashawkey
Make 3D objects with Stable Diffusion! Based on the DreamFusion paper from Google.
8. Stable Conceptualizer
작성자 : @HuggingFace
This notebook allows you to generate images with new concepts through Textual Inversion. A link to another notebook to train your own concepts is provided as well.
9. Stable Diffusion DreamBooth
작성자 : @HuggingFace
Similar to the previous notebook but for DreamBooth-finetuned models instead.
10. Stable Craiyon
작성자 : @GeeveGeorge, @CraiyonAI
Stable Diffusion to get some great results by leveraging the benefits of both models.
11. Stable Diffusion Videos
작성자 : @_nateraw
This notebook generates videos by interpolating between prompts and even based on audio!
12. Seamless Texture Inpainting
작성자 : @metasemantic
This notebook uses Stable Diffusion inpainting to generate seamless textures... a very interesting computer graphics application!
13. Stable Worlds
작성자 : @NaxAlpha
Generate immersive panoramas using Stable Diffusion!
14. Grokking Stable Diffusion
작성자 : @johnowhitaker
This notebook is a great deep dive into how Stable Diffusion works, and more importantly, how you can use that knowledge to do cool stuff with Stable Diffusion!