■ (7/31) confidence 임계치 관련
Confidence 0.1 미만의 추론 결과는 채점 시 평가 대상에서 제외하는 것으로 안내 드렸으나
채점 스트립트의 Confidence 임계치가 0.01로 설정되어 있었습니다.
이에 리더보드 입상 후보자 분들을 대상으로 재채점 하였으며, 문제 2의 경우 순위 변동이 없었음을 확인하였습니다.
(해당 스코어는 Public Score 기준이며, Private Score 적용 시에는 기존 안내드린대로 최종 순위는 변동될 수 있습니다.)
참가자 분께 혼선을 드린 점에 대해 진심으로 사과의 말씀 드리며
앞으로 더욱 정확하고 공정한 대회를 진행할 수 있도록 운영진 모두가 노력하겠습니다.
■ (7/26) 입상후보자 선정 안내
7/26일 기준으로 입상 후보자 분들에게 검증 제출물 요청을 드렸습니다.
메일을 받으신 입상후보팀의 팀 대표께서는 상세 안내를 확인하시고 저작물 검증을 위해 팀의 최고점 모델 코드와 weight 파일을 첨부하여 cs@aifactory.page 로 회신주시기 바랍니다.
(마감일 : 07월 27일 (목) 20:00)
원활한 대회를 위해 마감 기간을 지켜 주시기 바랍니다. 마감 기한 이후 제출 시에는 참가팀에 패널티가 발생할 수 있습니다.
■ (7/20) 점수 0점 관련
일부 제출 파일의 채점 결과가 0으로 계산되는 문제가 수정되었습니다.
채점 시 검출 객체의 Confidence를 내림차순 정렬하여 임계 구간 별로 Precision, Recall을 계산해 나가는 과정에서,
검출된 객체가 있는 최초 Confidence 임계 구간에서의 Precision 점수가 0이 되는 경우 계산이 종료되어 다음 임계 구간의 점수부터는 계산되지 않는 문제가 있었습니다.
따라서, 기존의 0점으로 처리 되셨던 분들의 점수를 재계산하여 리더보드에 반영하였으며 0.087816 점수 밑으로 순위 변동이 있을 수 있으니 참고 부탁드립니다.
■ (7/3)
팀 병합 기간이 연장 되었습니다. 연장된 팀 병합기간은 23. 7. 3.(월) 20:00 까지 입니다.
팀 구성을 통한 활발하고 즐거운 대회 참여를 응원합니다. 💃🕺
[6/19] 대회 안내사항이 업로드되었습니다! 아래 링크에서 상세 내용을 확인해주시기 바랍니다.
본 과제에서는 위성영상 이미지를 학습하여 컨테이너(객체)를 탐지해야 합니다.
데이터에 대한 상세한 설명은 [데이터] 탭을 참조하시면 됩니다.
[데이터] 와 [베이스라인]의 상세내용은 경진대회 시작 시, 공개 됩니다.
평가 방법은 AP(Average Precision) 메트릭, IoU(Intersection over Union) > 0.5 를 기준으로 평가됩니다.
오차 행렬
Precision: 모델이 True라고 예측한 객체가 실제 정답이 True인 것의 비율을 나타냅니다.
Recall: 모든 평가 데이터에서 모델이 True로 정확히 예측한 비율을 나타냅니다.
AP는 Precision-Recall 곡선을 빨간색 점선과 같이 단조적으로 감소하는 형태로 보정하여 아래 면적으로 계산됩니다.
IoU (Intersection over Union): 정답과 예측 bbox의 겹치는 정도를 나타냅니다.
본 대회에서는 IoU > 0.5(초과)를 기준으로 제대로 검출된 케이스(TP)와 그렇지 않은 케이스(FP)를 구분합니다.
입상 대상자는 아래 저작물을 제출해야 합니다.
모델 학습 코드 : 구글 Colab에서 작동하는 train.ipynb 및 필요한 파일(외부 파일 등) 공유
모델 추론 코드 : 구글 Colab에서 작동하는 test.ipynb 및 필요한 파일(모델 가중치 등) 공유
모델 설명서 : 아래 양식에 맞게 작성 후 입상후보팀에게 안내되는 메일에 회신으로 전달
코드와 주석의 인코딩은 모두 UTF-8을 사용하여야 합니다.
입상 대상이 되는 상위 제출 결과물은 재현성 검증 과정을 거쳐 순위를 확정짓게 됩니다.
재현성 검증은 다음 세 단계를 거쳐 이루어집니다.
재추론 검증
제출된 모델에서 주어진 데이터를 이용하여 결과가 정상 생성되는지 여부를 확인할 수 있도록 재추론합니다.
원칙적으로 재추론을 통해 생성된 결과는 참가자가 실제 제출한 결과와 동일해야 합니다.
재학습 검증
제출된 모델이 허가된 데이터만을 사용하여 학습되었는지, 학습된 모델은 제출된 결과를 재현할 수 있는지의 여부를 재학습을 통해 검증합니다.
소스코드 분석
소스코드 표절, 미허가 데이터 사용, 모델 조건 불충족 여부 등을 소스코드 분석을 통해 검증합니다.
재현성 검증에 문제가 발생하거나 소스코드 표절을 비롯한 치팅이 확인되는 경우 원칙적으로 해당 제출 결과는 무효처리됩니다.
제출 시 랜덤 시드를 고정하지 않을 경우, 결과가 일괄적으로 산출되지 않을 수 있으므로 반드시 고정하여 제출해 주세요. 랜덤 시드 미고정시 평가에 불이익을 받을 수 있습니다.
상단 우측의 ‘참여하기’ 버튼을 클릭하시고 참여정보를 입력하신 뒤 ‘제출’을 완료하시면 참가신청이 접수됩니다.
참가 신청 접수 기간 : `23. 6. 15.(목) ~ `23. 7. 2.(일) 20:00 까지
참가대상: 위성영상 기반의 객체탐지 AI 모델 개발에 관심 있는 만 14세 이상 시민 누구나
참가형태 :
- 팀(1인 이상 최대 4인)
✽팀 빌딩은 참가신청 이후에 태스크 내에서 진행하실 수 있습니다)
리더보드 종료 후, 각 문제 순위별로 점수가 부여됩니다.
동점자가 발생할 경우, 제출 순서를 기준으로 입상자를 선정합니다.
점수는 공개 평가 데이터와 비공개 평가 데이터를 활용해 Public : Private = 7: 3의 비율로 분할하여 평가되며, 대회 기간중에는 Public Score만 노출됩니다. 대회 종료 시 Public과 Private이 모두 반영된 Total Score가 산출되며 이를 기준으로 각 문제의 순위가 결정됩니다.
대회의 취지에 따라 딥러닝/머신러닝 및 기타 자동화된 알고리즘/모델을 이용한 문제 해결만이 정당한 결과로 인정되는 점 참고바랍니다.
수상자에게 상장 및 상금 제공
구분 | 선정팀 (문제2) | 상금 |
|---|---|---|
대상 | 1팀 | 200만원(팀별) |
최우수상 | 1팀 | 100만원(팀별) |
우수상 | 2팀 | 50만원(팀별) |
※ 본 대회는 http://aifactory.space 의 회원가입을 완료한 회원이 아래 규칙에 대해 동의한 경우에만 참가 가능합니다.
※ 대회 참여 중 규칙에 위배되는 상황이 발생한 경우, 입상이 취소될 수 있습니다.
스코어 관련
이번 대회는 Public 스코어와 Private 스코어 합산점수로 최종 순위가 결정됩니다
합산 점수 계산시 Public : Private의 = 7:3 비율로 가중 평균 사용
대회기간 중에는 Public 스코어만 리더보드 상에 표출
대회 종료시점 이후 Public 및 Private의 합산점수 및 그에 따른 최종 순위 선정
팀 참가 관련
팀(1인 이상 최대 4인)
✽팀 빌딩은 참가신청 이후에 [팀] 탭에서 진행하실 수 있습니다
대회 제출 관련
해당 문제는 제출 관련 제한사항이 있습니다. 이전 제출 시점 기준으로 1시간 지난 시점부터 재제출이 가능하오니 이 점 참고 부탁드립니다.
본 대회에서는 외부 데이터의 사용이 가능합니다. 단, 외부 데이터를 사용 할 경우, 출처를 표기해야하며, 해당 외부 데이터를 읽어와 전처리 하는 코드가 포함 되어야합니다.
본 대회에서는 pre-trained 모델을 사용하지 않는 것을 원칙으로 하고 있습니다.
공모전에 제출된 응모작에 대한 권리는 응모자에게 있습니다.
응모작에 대해 공동 소유 등의 권리 변동이 필요하거나 공모전 요강에 공고된 범위를 넘어 응모작을 이용할 경우, 저작자와 별도로 합의하여 정합니다.
공모전 응모자는 응모작의 반환을 요구할 수 있으며, 이 때 주최 측은 작품 반환 후 응모작과 관련된 자료 일체를 즉시 폐기합니다
공모전에 응모된 아이디어와 관련하여 주최 측과 아이디어 제안자 사이에 분쟁이 발생할 경우, 주최 측과 아이디어 제안자는 우선적으로 대화와 협상을 통하여 분쟁을 해결하도록 최선을 다해야 합니다.
데이터셋 파일 및 데이터에 대한 설명 등 제공된 일체의 정보는 주최사 및 주관사의 자산이며 해당 정보는 본 대회의 참가 목적으로만 사용해야 하고, 그 외 용도로 타 인에게 양도 및 대여, 재배포, 2차적 저작 및 상업적 용도로 이용할 수 없습니다.
그밖의 산출물에 대한 권리 등 법적 권리에 관한 사항은 문체부 '창작물 공모전 가이드라인'을 준용합니다.
표절 및 저작권 관련한 부분은 관련 법규 및 규정을 준수합니다.
(접수기간)
`23. 6. 15.(목) ~ `23. 7. 2.(일) 20:00 까지
(온라인설명회)
`23. 7. 4.(화) 17:00 ~
(대회기간)
`23. 7. 5.(수) 15:00 ~ `23. 7. 25.(화) 24:00 까지
(심사기간)
`23. 7. 26.(수) ~ `23. 8. 8.(화)
(수상자공지)
`23. 8. 9.(수) 17:00 이후
참가자의 개별 메일로 수상 내용이 발송됩니다.
(시상식)
‘23. 8. 16.(수)(예정)
시상 장소는 추후 공지
*상기일정은 원활한 대회운영을 위해 일부 조정될 수 있습니다.
인공지능팩토리 운영자 메일 : cs@aifactory.page
공모전 Q&A
* 각 공모전 Q&A를 활용하시면 빠르고 상세한 답변을 받아 보실 수 있습니다🕵🏻
