텍스트로 이미지를 생성하는 모델 중 잘 알려진 스테이블 디퓨전 관련된 게시물을 보면 아래와 같이 애니메이션처럼 부드럽게 변하는 예시가 종종 보입니다. 잘보면, 단순히 보간을 하는 것이 아니라 기하변환(회전, 이동, 확대/축소 등)이 되는 것을 살펴볼 수 있는데요, 이는 스테이블 디퓨전에 보간, 기하변환 그리고 와핑 처리를 접목해서 애니메이션을 만듭니다. 아래 이미지는 디포럼 스테이블 디퓨전에서 제공하는 코랩 예제를 그대로 따라해본 결과입니다.
설정값
위 예시 그림에 대한 주요 설정값입니다. (최대한 있는 그대로 사용)
- animation_mode: 3D
- zoom: 1.04
- translation_x: 10*sin(2*3.14*t/10)
- prompts
- 0: "a beautiful apple, trending on Artstation",
- 20: "a beautiful banana, trending on Artstation",
- 30: "a beautiful coconut, trending on Artstation",
- 40: "a beautiful durian, trending on Artstation",
요약하면 아름다운(?) 사과 > 바나나 > 코코넛 > 두리안까지 보간할 때, 1.04배 축소와 x축으로 왔다갔다(sin 때문에) 하게 애니메이션 한 것입니다. 이외에도 다양한 옵션이 있으니 직접 한 번 해보시길 권장드립니다.
참고
- 사이트 : https://deforum.github.io/
- 노트북 (Deforum Stable Diffusion v0.5) : https://colab.research.google.com/github/deforum/stable-diffusion/blob/main/Deforum_Stable_Diffusion.ipynb
- Deforum Cheat Sheet 가이드 문서 : https://docs.google.com/document/d/13vVTpPZb9fUPzRFtqTXcAmBqm10tE6l039lF1LyItKg/edit