1. 서비스 명칭
이미지 편집을 위한 개체 제거 및 인페인팅 모델 개발
2. 서비스 배경 및 목적
해당 서비스를 기획하게 된 배경과 서비스의 목적에 대해서 명료하게 기재합니다.
기존 S.W를 이용한 개체 제거 방법의 경우 고가의 외산 S.W(포토샵 등)과 이를 운용하기 위한 전문 인력이 필요
최근 빠르게 발전하고 있는 인공지능을 이용한 인페인팅 모델 개발을 통해 기존 S.W와 대등하거나 능가할 수 있는 품질의 개체 제거 기술 학습 가능
데이터 기반 학습을 이용하여 이용자의 케이스에 가장 최적화된 개체 제거 기술 제공
3. 인공지능 서비스 유사 사례 분석
해당 서비스와 유사한 해외 및 국내 사례에 대해서 조사 및 분석한 내용을 기재합니다.
AI를 이용한 인페인팅 모델 튜토리얼들이 유튜브로 다수 공유되고 있음:
nvidia 사이트에서 제공되는 인페인팅 모델
4. 인공지능 모델의 입출력
입력과 출력 형식 및 스펙에 대해서 기술합니다.
입력: 개체와 배경이 혼합된 이미지, 개체 마스크
이미지 : 해상도: 480 x 270, 파일형식: jpeg
마스크 : 세그멘테이션 좌표를 이미지로 변환, 해상도와 파일 형식 동일
출력: 개체가 제거된 이미지
5. 데이터셋 구축방안
모델에 학습하기 위한 데이터셋 샘플을 수집 및 처리 방안에 대해 기술합니다.
AIHub에 실내 활동, 실외 풍경 영상 등 인페인팅 학습을 위한 데이터가 게재되어 있으나, 동영상으로부터 데이터를 추출하여 그림자 등 품질 저하 문제 발생
AIHub에 구축된 데이터 중 실내 촬영 영상 등 일정 품질 이상의 데이터를 뽑고, 후처리하여 사용 (https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=487)
AIHub 후처리 코드 제공 (학습셋, 시험셋 - 랜덤시드 고정)
AIHub 모델 학습 시 사용한 후처리 코드 활용 (https://github.com/Forty-lock/Inpainting_AIHub/blob/main/make_data.py)
6. 데이터셋 구성 목표
데이터셋 샘플 목표 수와 비율(클래스 분류인 경우)에 대해서 기술합니다.
학습셋: 14,681장
시험셋: 1,260장
7. 인공지능 모델 평가 방법
인공지능 모델을 정량 평가할 수 있는 방안에 대해서 기술합니다.
PSNR Loss : 아래의 식을 이용하여 계산 (단, Error가 0일 경우 임의로 설정한 최댓값인 100을 출력)
8. 인공지능 모델 성능 목표
인공지능 모델 성능 목표를 기재합니다. (베이스라인 성능 대체)
PSNR 40dB 이상
9. 서비스 구축계획 및 사용 시나리오
서비스를 구축하기 위한 소프트웨어 및 하드웨어 구성, 사용 시나리오를 기술합니다.
그라디오로 웹 인터페이스 구성 (입력 : 이미지 파일과 세그멘테이션 마스크, 출력 : 마스킹된 부분이 제거된 이미지)
10. 서비스 기대효과
본 서비스에 대한 사회적 혹은 경제적 기대효과에 대해 기술합니다.
일반 사용자는 스마트폰/개인 카메라의 영상 내 불필요한 개체를 지우고 자연스러운 영상을 얻는 것과 같은 새로운 사용자 경험 서비스 제공
방송 영상과 같은 전문가 영역에서도 고가의 외산 S.W 및 전문인력 없이 쉽고 빠르게 인공지능 모델을 통해 동일 수준의 영상편집
