[공지] 주최측 요청에 의해 3rd랩 종료하였습니다. 추가적인 대회여부는 주최측과 협의 후 공지할 예정입니다. 감사합니다.

※ metric 계산 수식에 변경이 있습니다. [6.1 평가방법] 확인바랍니다.

1. 배경

• 호수, 하천 및 해양의 수리 및 수질 예측을 위해 다양한 수리·수질 모델이 국내에서 활용되고 있으며, 최근에는 컴퓨터 하드웨어의 발전으로 인해 1, 2차원 모델보다 3차원 모델을 사용하고 있습니다.
• 3차원 수리·수질 모델은 1, 2차원 모델보다 많은 격자(x, y, z 방향)와 격자 간 수리·수질 계산이 복잡하기 때문에 계산 시간이 크게 증가하며, 이러한 이유로 인해 수리·수질 모델의 매개변수 조정에 현실적인 한계가 있습니다.
• 이번 경진대회는 단일 대상지(호수, 하천, 해양)의 다양한 매개변수 조합(100~1,000개 이상)이 반영된 3차원 수리·수질 모델을 수행하여 생성된 격자 내 수질을 학습하는 ML 알고리즘을 확보하여, 매개변수 변화에 대응하는 격자 내 수질을 3차원 수리·수질 모델이 아닌 ML 알고리즘으로 대체하는 것을 목적으로 합니다.

<그림 1. 3차원 수리·수질 모델 구성도>

• 격자의 위치정보는 i(x 방향), j(y 방향), k(z 방향)로 구분되며, 매개변수는 시간에 따른 변화는 없으나 격자 위치에 따라 서로 다른 값을 가집니다.
• 각 격자의 매개변수에 대응하는 수질은 총 16개이며, 각 수질은 시간에 따른 변화 및 수질간의 상관관계가 존재합니다.

<그림 2. 격자 구성도>

• ML 알고리즘은 매개변수 변화와 시간의 흐름에 따른 격자의 수질을 추정하는 것이 목적이며, 격자 내 수질은 시간에 따른 변화 및 수질 간 상관관계가 포함되어야 합니다.

2. 주최/주관 및 참가 대상

• 주최 : (주)휴먼플래닛
• 주관 : AIFactory
• 참가 대상 : 수리·수질 예측 알고리즘 개발에 관심 있는 일반인, 학생, 기업 등 누구나 (단, 14세 이상)

3. 데이터 제공

• https://aifactory.space 의 회원가입을 완료한 회원이 본 대회 참가를 할 경우에만 데이터 제공
• 회원가입 시 오류가 확인될 경우 가입 무효화 후 오류 메시지 팝업창 제시
• "대회 규칙"에 대한 동의가 있어야만 대회 참가 가능

4. 일정 (UTC+ 9(한국) 기준)

• 플랫폼 태스크 등록 및 경연대회 홍보: 2020.08.10
• 프리랩 : 2020.08.10 ~ 2020.08.16
• 경연대회 : 2020.08.17 ~ 목표달성 시
  • 1st랩 : 2020.08.17 ~ 1st랩 목표달성 시 (Checkpoint 순위 산정주기 기준)
  • 2nd랩 : 1st랩 목표달성 시 ~ 2nd랩 목표달성 시 (Checkpoint 순위 산정주기 기준)
  • 3rd랩 : 2nd랩 목표달성 시 ~ 3rd랩 목표달성 시 (Checkpoint 순위 산정주기 기준)

※ 대회의 원활한 진행을 위해 일정은 변경될 수 있음. 
※ 1st랩 스코어는 5.25(월), 10:00, 2nd랩 스코어는 1st랩 종료 후, 3rd랩 스코어는 2nd랩 종료 후 지정될 예정임. 

 

5. 상금/수여팀

• 랩은 총 3회를 진행하며, 총 상금 1,000만원을 지급합니다.
• 상금 및 수여팀은 다음과 같습니다.

• 체크 포인트 (Check Point Time)
  • 1st, 2nd, 3rd랩은 대회 기간 중 참가자가 제출한 답안지와 주관사가 보유한 정답지의 %27비교 & 검증%27을 1시간 단위로 수행함.

※ 참가자는 3개의 랩 중 참가를 원하는 모든 랩에 참가할 수 있음.
※ 참가자가 팀인 경우 팀의 대표에게 지급함.
※ 대회 종료 후 목표점수를 달성한 참가자가 한 명인 경우 해당 참가자에게만 상금을 지급하며, 목표점수를 달성한 참가자가 없을 경우 대회를 연장할 수 있음.

 

6. 평가

※ 본 경진대회의 경우 별도의 Private Score 없이 Public Score로 평가됨.

6.1 평가 방법

• 제출해야 할 파일은 주어진 전체 ID값을 예측한 prediction.csv 파일임.
• mape로 계산하며 각각의 변수들의 mape값을 평균을 스코어로 계산함.
• mape : 실제값 대비 오차의 절대값들의 평균 * 100
  
  • M: mape 값
  • A: 정답
  • F: 예측값
  • t: 시점
  • n: 총 시계열 길이
• 분모가 되는 At값의 경우 0이 되어 연산 오류가 발생하는 경우를 고려해 임의의 작은 값(epsilon)을 삽입함.
  • 실사용 모델에서 요구되는 정밀도 수준이 10^(-4)인 점을 고려하여 참가자 제출 결과를 10^(-4)에서 반올림하고, epsilon 역시 1×10^(-4)로 변경하되, epsilon 값이 커진 점을 고려하여 실제 Y_true가 0인 경우에만 epsilon을 반영하도록 점수 산정 metric을 아래와 같이 수정함.

def mape(y_true, y_pred):
     y_true = np.round(y_true, 4)
    y_pred = np.round(y_pred, 4)
    epsilon = (y_true == 0) * 0.0001
    return np.mean(np.abs(y_true - y_pred) / (y_true + epsilon))

* 위 점수 산정 metric은 미분 불가능하다는 특성이 있으므로, 학습이 아니라 산정에만 사용됨.

6.2 평가 과정

• ‘Public Score’는 리더보드 운영 기간 중에 확인 가능함.
• 랩별 종료일 이전에 목표점수 도달 시 리더보드 운영을 종료하고, Score 1순위 참가자는 AIFactory로 정해진 코드 양식에 맞는 코드파일과 제공되는 양식에 맞는 설명자료를 제출함.
• 평가는 다음과 같은 과정으로 이루어짐.
  • A. 공개 랭킹 (Public Score): 대회 중 Test 데이터로 채점함.
  • B. 종합 최종 랭킹 (Final Private Score): 랩별 대회기간 안에 정해진 코드 양식에 맞는 코드파일과 제공되는 양식에 맞는 설명자료를 제출한 상위 참가자 팀들을 대상으로 코드 검사 및 모델의 학습 과정 재현을 수행하여 부정행위 여부를 판가름한 뒤 반영한 결과.
• 평가 기준

• 랩별 목표 스코어

7. 대회 규칙 (중요)

※ 아래 내용에 대해서 동의 후 대회 참가할 수 있음.

7.1 외부 데이터 사용 관련

• 외부 공공 데이터 사용이 가능하나, 코드 제출 시 함께 제출
• 공공 데이터 외의 외부 데이터는 법적인 제약이 없는 경우에만 사용 가능
• 외부 데이터를 크롤링할 경우, 크롤링 코드도 함께 제출

7.2 팀 참가 관련

• 한 팀의 인원 제한은 없음.
• 팀 대표 1인만 대회참가 신청
• 제출은 반드시 팀 대표 1인의 아이디로 제출
• 팀이 수상하는 경우 팀 대표에게만 상금 지급