디스캐닝 모델 체험

▶️ 본 태스크는 경희대 배성호 교수 연구실에서 개발한 DescanDiffusion 모델을 체험해볼 수 있는 공간입니다.
📨 모델을 체험해보고 관심이 생기신 분들은 아래 이메일 주소로 연락 부탁 드립니다! 😃

📨 shbae@khu.ac.kr (배성호 교수), jhcha08@naver.com (차정훈 연구원)

▶️ 해당 모델은 프린트 된 종이(텍스트 및 그림 포함)를 원본 이미지로 복원할 수 있습니다.

▶️ ‘플레이 탭’에서 모델을 체험해보세요.
1) 회원가입 → 로그인 → 상단의 체험하기 클릭 후, → ‘플레이 탭’ 클릭!

2) ‘플레이 탭’ 내, 아래와 같이 모델을 체험해보실 수 있습니다:)

➀ : 디스캔하고 싶은 이미지를 업로드해주세요.

➁ : 파라미터를 조정할 수 있습니다.

➂ : 이미지를 업로드 후, Submit 버튼을 누르시면 디스캔된 이미지를 보실 수 있습니다.

➃ : 모델을 체험해볼 수 있는 예시 이미지입니다. 원하는 이미지를 클릭해서 모델을 체험해보세요😃

▶️ 아래와 같이 결과를 바로 확인해볼 수 있습니다:)

✔️ 우리의 모델은 아래와 같이 특장점이 있습니다.

약 18,000여 장의 방대한 실제 스캔된 이미지와 원본 이미지 쌍으로 학습되어, 일반화 성능이 타 모델 대비 좋습니다.
외부 이물질이 그대로 스캔되어 나타난 External noise,
스캐너 또는 프린터의 광학적 상호작용으로 인해 나타난 Internal noise,
스캔 시에 뒷면이 비치는 현상인 bleed-through 현상, 종이 매체 자체의 질감이 그대로 스캔되어버리는 Texture distortion,
점 형태로 잉크를 쏘아 색상을 나타내는 방식에 의해 발생하는 halftone pattern, 오랜 기간의 종이 매체 보존으로 인해 나타나는 color transition 등,
스캔된 이미지에서만 나타나는 degradation을 집중적으로 해결합니다.
위와 같은 degradation은 스캔 이미지에서 복합적으로 얽혀 나타나는데, 이를 두 단계로 해결합니다.
첫번째 단계인 Global color correction 파트의 color encoder에서 color-related degradation (color transition) 을 해결하고,
두번째 단계인 local generative refinement 파트의 conditional DDPM에서 non-color-related degradation (color transition 이외의 degradation) 을 해결합니다.
나아가 더 나은 일반화 성능을 위해, 위 degradation들을 simulate 하여 원본 이미지에 합성 후, 그것을 훈련에 사용합니다.

✔️ Qualitative Comparisons

✔️ 성능지표 (DescanDiffusion, + → Ours)

---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

----------------------------reference----------------------------
✨ 코드: https://github.com/jhcha08/Descanning
🏆 논문: https://arxiv.org/abs/2402.05350