※ 상단의 [코드 다운로드]를 클릭하여 베이스라인 코드 파일을 다운로드 해주시기 바랍니다. ※

🗂️ 베이스라인 코드 파일 구성

📁 deepfake_submit.zip
├── 📃 task.ipynb  # [제출용] 최종 추론 및 결과 제출 스크립트
├── 📁 model/  - 추론 모델 폴더
        ├── 📁 deep-fake-detector-v2-model/  # 베이스라인 모델 폴더

※ 현재 환경에서 베이스라인 모델은 결과 생성에 약 70분 정도가 소요됩니다.

✅ 채점 방법

• 경진대회의 개요 페이지의 ✔️평가 방법 목차에 기재된대로, 비공개 테스트 데이터셋으로 자동 채점합니다.

• 참가자가 aifactory 라이브러리를 통해 모델을 제출하면, 제출된 모델은 비공개 데이터셋에 대하여 추론을 수행합니다.

• 전체 데이터에 대한 추론 결과를 submission.csv 파일로 저장하면, 이를 기반으로 Macro F1-score를 계산해 최종 점수를 산출합니다.

📑 submission.csv 규칙

• submission.csv는 filename과 label 컬럼으로 구성돼야 합니다.

• filename은 추론한 파일의 이름(확장자 포함), label은 추론 결과입니다. (real:0, fake:1)

• filename은 문자열, label은 정수 자료형이어야 합니다.

• 추론하는 데이터의 순서는 무작위로 섞여도 상관 없습니다.

filename	label
{이미지 데이터1}.jpg	0
{동영상 데이터1}.mp4	1
…	…

📌 추론 자동화 제출 가이드라인

평가는 추론 자동화 환경에서 진행되며, task.ipynb 파일 내에서 파이썬 aifactory 라이브러리를 사용하여 모델을 제출하면 자동으로 채점이 수행됩니다.

제출하는 task.ipynb는 다음처럼 구성돼야 합니다.

1. 제출용 aifactory 라이브러리 및 추가 필요 라이브러리 설치

• 채점 및 제출을 위한 aifactory 라이브러리 및 모델 추론에 필요한 라이브러리를 !pip install 터미널 명령어를 사용하여 직접 설치합니다.

2. 추론 코드 작성

• 모델 로드, 데이터 전처리, 예측 등 실제 추론을 수행하는 모든 코드를 작성합니다.

3. aifactory 라이브러리의 aifactory.score.submit() 함수를 호출하여 모델을 제출

• 마이 페이지에서 발급받은 key 값을 함수의 인자로 정확히 입력해야 합니다.

• 다음은 모델 제출 코드 예시입니다:

import aifactory.score as aif

aif.submit(model_name="my_model_name",
    key="MY-KEY"
)

📌 추론 자동화 제출 규칙

• 제출용 노트북 파일 이름은 반드시 task.ipynb 로 설정하세요.

• 필요한 라이브러리는 task.ipynb 노트북의 셀에서 !pip install 명령으로 설치하세요.

• 추론 결과는 안내된 형식에 맞게 구성하여 현재 경로에 submission.csv로 저장해야 합니다.

• 추론에 사용될 평가 데이터셋의 입력 데이터는 “./data/” 경로에 포함되어 있습니다.

• 평가 데이터셋은 해당 경로에 이미지(JPG, PNG)와 동영상(MP4) 파일이 별도의 하위 폴더 없이 혼합되어 있습니다.

./data/
    ├── {이미지 데이터1}.jpg
    ├── {이미지 데이터2}.png
    ├── {동영상 데이터1}.mp4
    ├── {이미지 데이터3}.png
    ├── {동영상 데이터2}.mp4
    …

📌 추론 자동화 제출 관련 안내 사항

• 제출시 task.ipynb가 위치한 폴더 및 모든 하위폴더를 압축하여 전송하게 됩니다.

• 모델 및 기타 필요한 소스코드의 위치는 task.ipynb의 하위 경로에 두어야 하며, 소스코드 내에서 하위 상대경로("./")로 불러올 것을 권장합니다.
예) 모델 경로: “./model/best.pth”

• task.ipynb의 하위 경로에 불필요한 파일, .git 숨김폴더, 개인정보를 포함한 파일 등을 포함시키지 마십시오. 불필요하게 파일 크기가 커지면서 환경 구성 시간이 늦어질 수 있습니다.

• 보다 상세한 구성 방법은 task.ipynb 내의 설명을 참고하세요.

※ 각 모델의 추론 수행 시간은 최대 3시간까지 허용되며, 이를 초과할 경우 자동으로 종료됩니다.
※ 추론 환경은 pip 설치를 비롯한 라이브러리 설치 단계 이후에는 네트워크가 폐쇄되는 점 참고 부탁드립니다.

📢 CUDA 버전 지원 안내 📢

이번 경진대회에서는 3개의 CUDA 버전을 지원합니다.
지원하는 추론 실행 환경은 다음과 같습니다.

Python	CUDA	torch
3.8	10.2	1.6.0
3.9	11.8	1.8.0
3.10	12.6	2.7.1

• 참가자는 자신의 모델의 라이브러리 의존성에 맞는 CUDA 환경을 선택하여 모델을 제출하면 됩니다.

• 각 CUDA 환경에는 기본적으로 위 표에 따른 버전의 torch가 설치되어 있으나, 참가자는 제출하는 CUDA 버전과 호환되는 torch 라이브러리를 task.ipynb에서 !pip install 하여 사용하여도 무관합니다.

• 참가자는 제출하고자 하는 CUDA 환경에 대한 Competition key를 사용하여 모델을 제출하여야 합니다.

Competition 이름	CUDA version
딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회	11.8
딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회 CUDA 12.6	12.6
딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회 CUDA 10.2	10.2

• 추론 환경별 기본 라이브러리 세팅은 다음과 같습니다.
- 기본 설정을 사용하셔도 되고, 필요한 라이브러리를 추가 설치하여 사용하셔도 됩니다.

CUDA 11.8

CUDA 12.6

CUDA 10.2

torch==1.8.0+cu111
torchvision==0.9.0+cu111

numpy==1.23.5
scipy==1.11.4
scikit-learn==1.3.2

opencv-python-headless==4.9.0.80
pandas==2.0.3
Pillow

torch==2.7.1
torchvision==0.22.1
numpy==1.26.4
scipy==1.11.4
scikit-learn==1.3.2
opencv-python-headless==4.10.0.82
pandas
Pillow

torch==1.6.0
torchvision==0.7.0
numpy==1.23.5
scipy==1.10.1
scikit-learn==1.1.3
opencv-python-headless==4.9.0.80
pandas==1.5.3
Pillow

🔑 제출용 Key 가져오기

1. 페이지 우상단의 아이콘으로 내 정보를 연 다음

2. [마이페이지]를 클릭합니다.

3. [활동히스토리]를 클릭, Competition 에서 제출하고자 하는 대회의 이름을 찾고

4. [키복사] 버튼을 클릭합니다.

※ “딥페이크 범죄 대응을 위한 AI 탐지 모델 경진대회“ Competition에만 참가 신청을 해도 이미지처럼 각 CUDA 버전에 따라 총 3개의 Key가 생성됩니다.
※ 3개의 Competition 중 자신의 모델의 의존성에 대응하는 환경을 선택하여 Key를 설정하세요.

5. 복사한 key를 제출할 task.ipynb의 aif.submit 함수 내의 key 인자값으로 붙여넣으면 됩니다.

🔔 추론자동화 작동 원리 및 참고 사항

1. aif.submit() 함수를 실행하면, 현재 노트북(task.ipynb)이 위치한 폴더 및 하위 경로의 모든 파일들이 압축되어 추론 서버로 전송됩니다.

2. 서버는 제출된 파일을 받아 잠시 대기열을 거친 후, 보안 클라우드에 자원을 할당합니다. 추론은 이 할당된 자원 내의 컨테이너 환경에서 실행됩니다.

3. 추론이 완료되어 점수가 산출되거나 과정 중 오류가 발생하면, 그 결과는 리더보드로 전송됩니다.

※ 자원 할당, 컨테이너 구성, 추론 수행에는 다소 시간이 소요됩니다.

🔔 디버깅 및 문제 해결

제출한 모델에서 오류가 발생한 경우, 리더보드의 [제출이력]에서 해당 제출에 대한 [에러보기]를 통해 Traceback 메세지를 확인할 수 있습니다.

• 간혹 Traceback이 불확실하거나, 문의를 요청하는 메세지가 반환되는 경우 QnA 게시판을 통해 문의 바랍니다.

• 제공되는 추론 환경 사양은 CPU 8 core, RAM 48GB, L4 GPU의 CUDA 지원 환경입니다. 추론 환경에서 지원하는 CUDA 및 Torch 버전은 위 📢CUDA 버전 지원 안내📢 항목을 확인하세요.

- 대기열이 길어지는 경우 L4 대신 T4가 할당될 수 있습니다.

• 제공되는 스토리지에는 수GB 정도의 여유 공간이 있습니다. 본 태스크 수행에 무리가 없는 수준이지만, 간혹 불필요한 파일들(.git의 히스토리 레코드 등)을 과도하게 포함하여 모델을 제출하는 경우 용량 초과로 인하여 환경이 강제 종료될 수 있습니다.

• “점수를 산출할 수 없었습니다. 가이드에 따라 제출해 주세요.”
- OOM(Out-of-Memory) 또는 Disk Space 초과가 주된 원인입니다.
- DataLoader에서 사용되는 CPU 워커 수를 8이하로 조정하거나, 배치 크기 조정을 먼저 시도해보시기 바랍니다.
• 문제 발생 시 에러 메시지를 먼저 확인해보시고, 해당 메시지만으로 해결 및 디버깅이 어려울 시 QnA로 문의 부탁드립니다.