이미지 편집을 위한 개체 제거 및 인페인팅

1. 서비스 명칭

2. 서비스 배경 및 목적

해당 서비스를 기획하게 된 배경과 서비스의 목적에 대해서 명료하게 기재합니다.

기존 S.W를 이용한 개체 제거 방법의 경우 고가의 외산 S.W(포토샵 등)과 이를 운용하기 위한 전문 인력이 필요
최근 빠르게 발전하고 있는 인공지능을 이용한 인페인팅 모델 개발을 통해 기존 S.W와 대등하거나 능가할 수 있는 품질의 개체 제거 기술 학습 가능
데이터 기반 학습을 이용하여 이용자의 케이스에 가장 최적화된 개체 제거 기술 제공

3. 인공지능 서비스 유사 사례 분석

해당 서비스와 유사한 해외 및 국내 사례에 대해서 조사 및 분석한 내용을 기재합니다.

AI를 이용한 인페인팅 모델 튜토리얼들이 유튜브로 다수 공유되고 있음:
- AI based Free Background Object Removal - Lama Cleaner Python Package - YouTube
nvidia 사이트에서 제공되는 인페인팅 모델
- Inpainting Demo (nvidia.com)

4. 인공지능 모델의 입출력

입력과 출력 형식 및 스펙에 대해서 기술합니다.

입력: 개체와 배경이 혼합된 이미지, 개체 마스크
- 이미지 : 해상도: 480 x 270, 파일형식: jpeg
- 마스크 : 세그멘테이션 좌표를 이미지로 변환, 해상도와 파일 형식 동일
출력: 개체가 제거된 이미지

5. 데이터셋 구축방안

모델에 학습하기 위한 데이터셋 샘플을 수집 및 처리 방안에 대해 기술합니다.

AIHub에 실내 활동, 실외 풍경 영상 등 인페인팅 학습을 위한 데이터가 게재되어 있으나, 동영상으로부터 데이터를 추출하여 그림자 등 품질 저하 문제 발생
AIHub에 구축된 데이터 중 실내 촬영 영상 등 일정 품질 이상의 데이터를 뽑고, 후처리하여 사용 (https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=487)
AIHub 후처리 코드 제공 (학습셋, 시험셋 - 랜덤시드 고정)
AIHub 모델 학습 시 사용한 후처리 코드 활용 (https://github.com/Forty-lock/Inpainting_AIHub/blob/main/make_data.py)

6. 데이터셋 구성 목표

데이터셋 샘플 목표 수와 비율(클래스 분류인 경우)에 대해서 기술합니다.

7. 인공지능 모델 평가 방법

인공지능 모델을 정량 평가할 수 있는 방안에 대해서 기술합니다.

8. 인공지능 모델 성능 목표

인공지능 모델 성능 목표를 기재합니다. (베이스라인 성능 대체)

9. 서비스 구축계획 및 사용 시나리오

서비스를 구축하기 위한 소프트웨어 및 하드웨어 구성, 사용 시나리오를 기술합니다.

10. 서비스 기대효과

본 서비스에 대한 사회적 혹은 경제적 기대효과에 대해 기술합니다.