딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회

※ 상단의 [코드 다운로드]를 클릭하여 베이스라인 코드 파일을 다운로드 해주시기 바랍니다. ※

🗂️ 베이스라인 코드 파일 구성

📁 deepfake_submit.zip
├── 📃 task.ipynb  # [제출용] 최종 추론 및 결과 제출 스크립트
├── 📁 model/  - 추론 모델 폴더
        ├── 📁 deep-fake-detector-v2-model/  # 베이스라인 모델 폴더

※ 현재 환경에서 베이스라인 모델은 결과 생성에 약 70분 정도가 소요됩니다.

✅  채점 방법

   •  경진대회의 개요 페이지의 ✔️평가 방법 목차에 기재된대로, 비공개 테스트 데이터셋으로 자동 채점합니다. 

   •  참가자가 aifactory 라이브러리를 통해 모델을 제출하면, 제출된 모델은 비공개 데이터셋에 대하여 추론을 수행합니다.

   •  전체 데이터에 대한 추론 결과를 submission.csv 파일로 저장하면, 이를 기반으로 Macro F1-score를 계산해 최종 점수를 산출합니다.

📑 submission.csv 규칙

   •  submission.csv는 filename과 label 컬럼으로 구성돼야 합니다.

   •   filename은 추론한 파일의 이름(확장자 포함), label은 추론 결과입니다. (real:0, fake:1)

   •  filename은 문자열, label은 정수 자료형이어야 합니다.

   •  추론하는 데이터의 순서는 무작위로 섞여도 상관 없습니다.

📌 추론 자동화 제출 가이드라인

평가는 추론 자동화 환경에서 진행되며, task.ipynb 파일 내에서 파이썬 aifactory 라이브러리를 사용하여 모델을 제출하면 자동으로 채점이 수행됩니다.

• 제출하는 task.ipynb는 다음처럼 구성돼야 합니다.

1. 제출용 aifactory 라이브러리 및 추가 필요 라이브러리 설치

       •   채점 및 제출을 위한 aifactory 라이브러리 및 모델 추론에 필요한 라이브러리를 !pip install 터미널 명령어를 사용하여 직접 설치합니다.

2. 추론 코드 작성

       •   모델 로드, 데이터 전처리, 예측 등 실제 추론을 수행하는 모든 코드를 작성합니다.

3. aifactory 라이브러리의 aifactory.score.submit() 함수를 호출하여 모델을 제출

       •   마이 페이지에서 발급받은 key 값을 함수의 인자로 정확히 입력해야 합니다.

       •   다음은 모델 제출 코드 예시입니다:

import aifactory.score as aif

aif.submit(model_name="my_model_name",
    key="MY-KEY"
)

📌 추론 자동화 제출 규칙

   •  제출용 노트북 파일 이름은 반드시 task.ipynb 로 설정하세요.

   •  필요한 라이브러리는 task.ipynb 노트북의 셀에서 !pip install 명령으로 설치하세요.

   •  추론 결과는 안내된 형식에 맞게 구성하여 현재 경로에 submission.csv로 저장해야 합니다.

   •  추론에 사용될 평가 데이터셋의 입력 데이터는 “./data/” 경로에 포함되어 있습니다.

   •  평가 데이터셋은 해당 경로에 이미지(JPG, PNG)와 동영상(MP4) 파일이 별도의 하위 폴더 없이 혼합되어 있습니다.

./data/
    ├── {이미지 데이터1}.jpg
    ├── {이미지 데이터2}.png
    ├── {동영상 데이터1}.mp4
    ├── {이미지 데이터3}.png
    ├── {동영상 데이터2}.mp4
    …

📌 추론 자동화 제출 관련 안내 사항

   •  제출시 task.ipynb가 위치한 폴더 및 모든 하위폴더를 압축하여 전송하게 됩니다.

   •  모델 및 기타 필요한 소스코드의 위치는 task.ipynb의 하위 경로에 두어야 하며, 소스코드 내에서 하위 상대경로("./")로 불러올 것을 권장합니다.
     예) 모델 경로: “./model/best.pth”

   •  task.ipynb의 하위 경로에 불필요한 파일, .git 숨김폴더, 개인정보를 포함한 파일 등을 포함시키지 마십시오. 불필요하게 파일 크기가 커지면서 환경 구성 시간이 늦어질 수 있습니다.

   •  보다 상세한 구성 방법은 task.ipynb 내의 설명을 참고하세요.

• ※ 각 모델의 추론 수행 시간은 최대 3시간까지 허용되며, 이를 초과할 경우 자동으로 종료됩니다.

• ※ 추론 환경은 pip 설치를 비롯한 라이브러리 설치 단계 이후에는 네트워크가 폐쇄되는 점 참고 부탁드립니다.

                       📢     CUDA 버전 지원 안내     📢                       

이번 경진대회에서는 3개의 CUDA 버전을 지원합니다. 
지원하는 추론 실행 환경은 다음과 같습니다.

   •  참가자는 자신의 모델의 라이브러리 의존성에 맞는 CUDA 환경을 선택하여 모델을 제출하면 됩니다.  

   •  각 CUDA 환경에는 기본적으로 위 표에 따른 버전의 torch가 설치되어 있으나, 참가자는 제출하는 CUDA 버전과 호환되는 torch 라이브러리를 task.ipynb에서 !pip install 하여 사용하여도 무관합니다.

   •  참가자는 제출하고자 하는 CUDA 환경에 대한 Competition key를 사용하여 모델을 제출하여야 합니다.

   •  추론 환경별 기본 라이브러리 세팅은 다음과 같습니다.
      - 기본 설정을 사용하셔도 되고, 필요한 라이브러리를 추가 설치하여 사용하셔도 됩니다.

🔑 제출용 Key 가져오기

1. 페이지 우상단의 아이콘으로 내 정보를 연 다음

2. [마이페이지]를 클릭합니다.

3. [활동히스토리]를 클릭, Competition 에서 제출하고자 하는 대회의 이름을 찾고

4. [키복사] 버튼을 클릭합니다.

※  “딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회“ Competition에만 참가 신청을 해도 이미지처럼 각 CUDA 버전에 따라 총 3개의 Key가 생성됩니다. 
※  3개의 Competition 중 자신의 모델의 의존성에 대응하는 환경을 선택하여 Key를 설정하세요.

5. 복사한 key를 제출할 task.ipynb의 aif.submit 함수 내의 key 인자값으로 붙여넣으면 됩니다.

🔔 추론자동화 작동 원리 및 참고 사항

    1. aif.submit() 함수를 실행하면, 현재 노트북(task.ipynb)이 위치한 폴더 및 하위 경로의 모든 파일들이 압축되어 추론 서버로 전송됩니다.

    2.  서버는 제출된 파일을 받아 잠시 대기열을 거친 후, 보안 클라우드에 자원을 할당합니다. 추론은 이 할당된 자원 내의 컨테이너 환경에서 실행됩니다.

    3. 추론이 완료되어 점수가 산출되거나 과정 중 오류가 발생하면, 그 결과는 리더보드로 전송됩니다.

※  자원 할당, 컨테이너 구성, 추론 수행에는 다소 시간이 소요됩니다.

🔔  디버깅 및 문제 해결

 제출한 모델에서 오류가 발생한 경우, 리더보드의 [제출이력]에서 해당 제출에 대한 [에러보기]를 통해 Traceback 메세지를 확인할 수 있습니다.

   •  간혹 Traceback이 불확실하거나, 문의를 요청하는 메세지가 반환되는 경우 QnA 게시판을 통해 문의 바랍니다.

   •   제공되는 추론 환경 사양은 CPU 8 core, RAM 48GB, L4 GPU의 CUDA 지원 환경입니다. 추론 환경에서 지원하는 CUDA 및 Torch 버전은 위 📢CUDA 버전 지원 안내📢 항목을 확인하세요.

       - 대기열이 길어지는 경우 L4 대신 T4가 할당될 수 있습니다.

   •   제공되는 스토리지에는 수GB 정도의 여유 공간이 있습니다. 본 태스크 수행에 무리가 없는 수준이지만, 간혹 불필요한 파일들(.git의 히스토리 레코드 등)을 과도하게 포함하여 모델을 제출하는 경우 용량 초과로 인하여 환경이 강제 종료될 수 있습니다.

   • “점수를 산출할 수 없었습니다. 가이드에 따라 제출해 주세요.” 
      -  OOM(Out-of-Memory) 또는 Disk Space 초과가 주된 원인입니다.
      -  DataLoader에서 사용되는 CPU 워커 수를 8이하로 조정하거나, 배치 크기 조정을 먼저 시도해보시기 바랍니다.
   •   문제 발생 시 에러 메시지를 먼저 확인해보시고, 해당 메시지만으로 해결 및 디버깅이 어려울 시 QnA로 문의 부탁드립니다.