[2023 제3회 K-water AI 경진대회] 어종(魚種) 식별 및 분류 알고리즘 개발

✅ 안내

[11/16] 연습용 리더보드 추가 오픈 안내

• 모델성능을 개선하고자 대회 이후에도 리더보드 제출을 희망하시는 참가자분들이 많아, 연습용 리더보드를 추가적으로 오픈하기로 하였습니다.

• 연습용 리더보드 오픈기간 : 11/14 11:40 ~ 11/30 17:00

• 해당 기간에 제출된 스코어 및 기록은 대회 결과에는 반영되지 않으니 참고 부탁드립니다.
   

[10/30] 채점 관련 오류 사항 발견 및 수정 조치

• 채점 관련 오류 사항을 발견하여 즉각 수정 조치 완료하였습니다.

• public 계산오류만 있고 나머지 total은 정상적으로 기록되고 있었습니다.

• 10월 30일 오후 10시 14분 이전 제출하신 제출물을 다시 한 번 제출을 수행해 주시면 감사하겠습니다.  
  - 10월 30일 오후 10시 14분 이전 제출물은 순위에 반영되지 않으며, 혼선을 방지하기 위해 리더보드에서 삭제됩니다.

1. 대회주제

• 낙동강 하굿둑 물고기 영상에서 어종을 식별하고 분류하는 AI 모델 개발

[ 평가 지표 ]

• 본 대회의 평가에는 Macro F1 Score가 사용됩니다.

  • mAP가 아니라 F1이므로 참가자분들은 불필요한 중복 예측이 없도록 Non-Max Suppression 혹은 그에 준하는 정리 과정을 적용한 결과물을 제출하셔야 합니다.

각 항목별 개념은 다음과 같습니다.

• F1 Score 계산 방식

  • 위치와 클래스가 정확히 맞으면 TP

  • 둘 중 하나라도 틀리면 FP

  • 예측이 만들어지지 않은 레이블은 FN

• Score 산출 과정 설명
  1. 먼저 한 이미지 내의 모든 정답과 모든 예측 사이에 IoU를 계산합니다.
  2. 각 예측은 자신과 IoU가 0.1 이상인 정답 가운데 IoU가 가장 큰 정답에 사용합니다.
     - 하나의 예측이 복수 정답에 할당될 수 없습니다.
  3. 각 정답은 위 할당 조건을 통과한 하나, 여럿, 또는 0개의 예측이 사용합니다.
     - 정답에 하나의 예측이 할당된 경우, 클래스도 맞으면 정답 클래스에 TP, 틀리면 FP로 간주합니다.
     - 정답에 여러 예측이 할당될 경우 IoU가 가장 큰 예측 하나를 진짜로 간주, 클래스도 맞으면 정답 클래스에 TP, 틀리면 FP 로 간주합니다.
       - 나머지 할당되었으나 IoU가 가장 크지 않은 예측들은 각각의 예측 클래스에 FP로 간주합니다.
     - 정답이 있으나 아무 예측도 할당되지 않은 경우 해당 정답 클래스에 FN로 간주합니다.
     - 아무 정답도 없는 구역에 생성된 예측은 해당 예측 클래스에 FP로 간주합니다.
  4. 위 단계를 통해 최종적으로 Macro F1 score 점수를 계산합니다.

2. 주최 / 주관

• 주최 : 한국수자원공사(K-water)

• 주관 : 인공지능팩토리

3. 참가자격

• 인공지능을 통한 문제해결에 관심있는 14세 이상 개인 및 팀

• 팀 구성 

  • 팀 대표자는 상금 수령 가능한 국내 계좌를 보유하고 있어야 함

  • 내∙외국인 모두 참여 가능

  • 개인이 두 개 이상의 팀에 중복으로 참여 불가, 한 팀의 구성인원은 4명까지로 제한 

4. 대회일정

• 위 일정은 주최사 사정에 따라 일부 변동될 수 있으며, 변경 시 본 페이지를 통해 안내드립니다.

• 대회 관련 공지사항 및 안내는 참가신청하신 계정의 이메일(인공지능팩토리 아이디)으로 발송되오니, 상단 ‘내정보’에서 정확한 메일주소로 기재하셨는지 꼭 확인 부탁드립니다.

5. 대회 진행 과정

1. 참가접수 

   • 상단 ‘참여하기’ 버튼을 눌러 입력항목 작성 완료 후 제출 버튼을 클릭하여 접수 진행합니다.

     • 접수 마감일시 : 11월 8일(수) 17:00

   • 상단 ‘참여하기’ 버튼 을 눌러 입력폼만 작성하면 접수가 완료됩니다. 

   • 팀으로 참여할 경우, 모든 참가자가 참가신청 후, 상단의 [팀] 메뉴를 통해 접수마감일시까지 팀빌딩을 완료합니다. (1인팀인 경우 불필요)

2. 대회 

   • 대회 시작일부터 데이터 확인 및 리더보드 제출이 가능합니다.

   • 마감시간 이후로는 제출이 불가능하며 아래 ‘대회규칙’에서 제출 제한 등 관련 내용을 꼭 꼼꼼히 확인 하시기 바랍니다.

   • 평가방법 : (정량평가) public:private =1:1 비율이며, 대회 종료 후 리더보드 상 total score가 노출됩니다. 해당 스코어를 기준으로 상위 3개팀을 선발하며, 해당 팀은 검증을 모두 통과해야만 입상자로 인정됩니다.

3. 검증

   • 리더보드 제출이 종료되면 입상후보팀의 ‘팀대표자 이메일’로 별도의 검증자료 요청메일이 발송됩니다.

   • 요청드린 기한 내 꼭 검증자료를 보내주시기 바라며, 시드 고정 등 검증 관련 규칙사항도 꼼꼼히 확인 후 제출부탁드립니다.

4. 결과발표

   • ‘공지’ 탭을 통해 수상팀 명단을 발표합니다.

   • 결과발표일시는 주최사 사정에 의해 일부 변동될 수 있습니다.

5. 시상식 

   • 오프라인(@대전) 으로 시상식이 진행됩니다.

   • 입상팀 중 최소 1명은 시상식에 필수적으로 참가하셔야 합니다.

6. 상금 및 특전

상금 총 1,000만원

• 상금 수령 시 제세공과금 본인 부담

7. 저작물 소유권 

• 공모전에 제출된 응모작에 대한 권리는 응모자에게 있으며, 입상작에 한해 저작물에 대한 이용권을 한국수자원공사가 가지게 됩니다.

• 한국수자원공사의 이용권에 동의하지 않을 시 수상에서 제외될 수 있으며, 이용권의 범위는 ‘비상업적 이용 가능’, ‘변형 등 2차적 저작물 작성 가능’ 등을 포함하고 있습니다.

• 본 경진대회의 주최자는 응모작들 중 입상하지 않은 응모작에 대해서는 어떠한 권리도 취득할 수 없습니다.

• 공모전 응모자는 응모작의 반환을 요구할 수 있으며, 이 때 주최 측은 작품 반환 후 응모작과 관련된 자료 일체를 즉시 폐기합니다. 반환과 관련한 추가 비용이 발생하는 경우 저작자가 부담한다.

• 공모전에 응모된 응모작과 관련하여 주최 측과 참가자 사이에 분쟁이 발생할 경우, 주최 측과 참가자는 우선적으로 대화와 협상을 통하여 분쟁을 해결하도록 최선을 다해야 합니다.

• 본 대회에서 제공되는 저작물은 주최사 및 주관사의 자산이며 해당 정보는 본 대회의 참가 목적으로만 사용해야 하고, 그 외 용도로 타인에게 양도 및 대여, 재배포, 2차적 저작 및 상업적 용도로 이용할 수 없습니다.

• 그밖의 산출물에 대한 권리 등 법적 권리에 관한 사항은 문체부 ‘창작물 공모전 가이드라인’을 준용합니다.

• 표절 및 저작권 관련한 부분은 관련 법규 및 규정을 준수합니다.

8. 대회규칙 및 검증 관련 안내

※ 아래 내용에 대해서 동의 후 대회 참가할 수 있으며, 아래 사항이 만족 되지 않을 경우 입상이 취소될 수 있음

1. 데이터 및 모델

• 외부데이터 사용 불가능

• 사전학습모델(pre-trained) 은 라이센스에 문제가 없다면 활용 가능

• 앙상블 가능

• data augmentation 및 추가 라벨링 가능

• Test셋은 학습에 활용 불가

2. 팀 참가

• 한 팀의 인원 제한은 최대 4명

• 팀이 수상하는 경우 팀 대표에게만 상금 지급

• 시상식에는 입상팀 중 최소 1명 필참

3. 제출

• 제출횟수 제한 : 팀당 1일 5회

• 추론 시간 제한 : 1시간 이내

• 재제출 시간 제한 : 1시간

4. 저작물 제출 및 검증

• 입상 후보팀으로 선정되는 경우 아래 3개 저작물을 cs@aifactory.page 로 일괄 제출 

• 코드와 주석의 인코딩은 모두 UTF-8을 사용

  1. 작성 코드 : *.ipynb

     • 최종 1회 제출

     • 학습용 소스와 추론용 소스를 별도의 파일로 분리하는 것을 권장

     • 검증자료 제출 시 사용한 python 버전, OS버전 필수 기재 (권장 버전 : python 3.9)

     • 특히, 특수 패키지를 사용하는 경우 반드시 python 패키지 명시

     • 제출 시 랜덤 시드를 고정하지 않을 경우, 결과가 일괄적으로 산출되지 않을 수 있으므로 반드시 고정하여 제출 필수. (랜덤 시드 미고정시 입상대상에서 제외될 수 있음.)

  2. 모델 가중치(weight) 파일 또는 저장된 모델 : 

     • 딥러닝 계열로 weight가 파일로 저장되는 경우 저장된 weight

     • 그 밖의 경우는 pickle/ joblib 등의 라이브러리를 이용해 dump한 모델

  3. 모델 설명서 : *.docx (양식 보기)

     • 최종 1회 제출

• 입상자가 제출한 코드는 공지된 검증 기간 내 구동 및 성능에 대한 재현성 검증이 되어야 합니다.

  1. 모든 코드는 오류 없이 실행되어야 함.

  2. 별도 필요한 라이브러리가 있을 경우 소스코드 내에 설치하는 코드가 있어야 함.

  3. 원활한 코드 구동 및 성능 재현성 검증을 위해 필요한 최소한의 주석 혹은 가이드가 제공되어야 함.

📨 문의

한국수자원공사 K-water연구원 AI연구센터

• 메일 : kwjoo@kwater.or.kr
   

인공지능팩토리 운영사무국

• 메일 : cs@aifactory.page

• 인공지능팩토리 사이트에 로그인 하시면 본 페이지 상단의 Q&A 탭에서도 질문을 남기실 수 있습니다.