서비스 배경 및 목적

딥러닝 기술이 빠르게 발전함에 따라 점점 사람의 눈으로는 구별하기 어려운 딥페이크 영상이 생성되고 있다. 딥페이크가 악용되어 사회적인 피해를 줄 것을 대비하여 딥페이크 영상을 탐지하는 것에 대한 중요성이 커지고 있다. 하지만 기존 딥페이크 탐지를 위한 대규모 데이터셋은 외국인 중심으로 구성되어 있다는 한계점이 있다. 따라서 한국인 중심 데이터를 사용하여 딥페이크 탐지 모델을 학습시킴으로써 국내에서 활용 가능한 딥페이크 탐지 모델을 개발하고자 하였다.

2. 인공지능 서비스 유사 사례 분석

인텔, 실시간 딥페이크 탐지 기술 공개(http://www.itdaily.kr/news/articleView.html?idxno=211219)
KAIST, 위조 사진 가려내는 딥페이크 탐지 앱(KaiCatch) 개발(https://www.sciencetimes.co.kr/news/kaist-%EC%9C%84%EC%A1%B0-%EC%82%AC%EC%A7%84-%EA%B0%80%EB%A0%A4%EB%82%B4%EB%8A%94-%EB%94%A5%ED%8E%98%EC%9D%B4%ED%81%AC-%ED%83%90%EC%A7%80-%EC%95%B1-%EA%B0%9C%EB%B0%9C/)
딥페이크 탐지에 자주 사용되는 모델: Xception, EfficientNet b시리즈

3. 인공지능 모델의 입출력

입력: Face Crop된 사람의
출력: 딥페이크 영상 - 1, 원본 영상 - 0

4. 데이터셋 구축 방안

AIhub 딥페이크 변조 영상(https://www.aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=55)을 사용하여 딥페이크 탐지를 위한 데이터셋 구축

다양한 방법으로 생성된 딥페이크 영상 포함

DeepFaceLab : 가장 대중적인 모델이며, 평균적인 완성도가 가장 높은 Face Swapping 모델
DeepFakes/FaceSwap: 최초의 딥페이크 모델들 중 하나이자 결과물이 안정적인 Face Swapping 모델
Face Swapping GAN : 비교적 최근에 공개된 생성적 적대 신경망

탐지 방해의 가능성을 고려하여 노이즈가 포함된 영상 추가
한국인 얼굴 중심의 관련 데이터 구축

AI hub에서 제공하는 데이터는 각 90초 이상의 (초 당 30프레임) FHD (1920 X 1080) 영상이었으나, 용량과 편의성을 위하여 한 영상당 5개의 프레임을 랜덤하게 선택한 이후, 해당 프레임에서 Face Detect 모델인 RetinaFace를 활용하여 Face Bounding Box를 찾고 Crop하여 저장한 이미지를 제공함.

5. 데이터셋 구성 목표

학습셋 : 98228장 (베이스라인에서는 학습셋 : 검증셋 = 8 : 2)
시험셋 : 9982장
학습셋의 클래스별 비율 - 3:1
시험셋의 클래스별 비율 - 1:1(딥페이크 영상, 원본 영상)

6. 인공지능 모델 평가 방법

정확도(accuracy) = 맞춘 샘플 개수 / 전체 샘플 개수

7. 인공지능 모델 성능 목표

정확도 = 95%

8. 서비스 구축 계획 및 사용 시나리오

그라디오로 웹 인터페이스 구성안 (입력: 이미지 업로드, 출력: 딥페이크 영상일 가능성)

9. 서비스 기대 효과

딥러닝 기반의 생성기술이 빠르게 발전하고 있는 만큼 누구나 쉽게 딥페이크 영상을 생성할 수 있게 되었다. 하지만 온라인에서 생성되고 있는 딥페이크 영상의 대부분이 음란물이고, 유명인의 경우 악의적으로 조작된 영상이 무분별하게 생성되어 피해를 볼 수 있는 가능성이 크다. 따라서 소셜 미디어 플랫폼은 자체적으로 해당 기술을 활용하여 해로운 딥페이크 영상이 업로드되는 것을 막을 수 있으며, 뉴스 매체는 조작된 영상을 보도하는 것을 방지할 수 있다. 또한 비영리 단체들은 해당 기술을 공개하여 모든 사람이 쉽게 딥페이크 탐지 기술을 사용할 수 있도록 하여 피해를 줄일 수 있다.

gradio 영상