📝 [문제 및 데이터] 입자 형태 분석 모델 개발 해커톤

💁🏻‍♂️ [대회 안내] 입자 형태 분석 모델 개발 해커톤

입자 검출 정보를 기반으로 입자들의 형태 변화를 계량적 지표로 산출 가능한 모델 개발

🟧 공지사항

• 🙌🏼 (8/8) 이번 입자 형태 분석 모델 개발 해커톤이 18:00를 기준으로 대회가 종료되었습니다! 🙌🏼
  참여해주신 모든 분들 수고 많으셨으며, 각 팀께서는 리더보드 탭에서 Total 스코어 및 public 스코어를 각각 확인하실 수 있으니 참고 부탁드립니다 

• (7/15) 기존에 제공된 베이스라인과 관련한 문의사항이 접수되어 이를 해결하고자 7/15 기준으로 전체 baseline이 한 번에 실행될 수 있도록 수정 되었습니다.

• (7/28) mmcw 버전이 업데이트된 것을 확인하여 베이스라인 수정 후 업데이트 조치하였습니다.

🎈 대회 주제

유체상에 떠다니는 입자를 촬영한 화상을 바탕으로 각 입자와 그 형상을 최대한 잘 검출해내는 Instance Segmentation 모델을 만드는 것이 이번 대회의 목표입니다. 

입자들의 형상은 균일하지 않고 유체상에서 촬영된 결과물인 만큼 표면으로부터의 거리에 따라 선명도 또한 차이가 있으며, 서로 겹쳐져 있는 경우도 존재합니다. 

이러한 도전적인 조건 속에서 객체와 형상을 잘 잡아내는 것이 이번 과제의 핵심입니다!

🗓 진행 일정

이번 대회의 일정은 아래와 같습니다 :

• 참가자 접수 (대회 기간 참가자 상시 모집) : 6/27 (월) ~ 8/8 (월)

• 대회 기간 : 7/7 (목) 8:00 ~ 8/8 (월) 18:00

• 결과물 검증 기간 : 8/9 (화) ~ 8/18 (목) *리더보드 순위를 기준으로 입상 후보팀에 한하여 개별 연락 후 진행됩니다

• 입상자 결과 발표 : 8/19 (금) *별도의 시상식 없음

원활한 대회 운영을 위하여 상기 일정은 변동될 수 있으며, 변경 시 공지사항을 통해 안내드립니다 

💯 평가 지표

본 대회의 평가에는 IoU를 반영한 커스텀 F1-Score가 활용됩니다. 수식은 다음과 같습니다.

각 항목별 개념은 다음과 같습니다.

• TP: 정답 오브젝트 가운데 예측 결과가 있는 오브젝트의 수

  • 각 오브젝트마다 최소 IoU(=0.1)를 넘은 예측 결과들을 해당 오브젝트에 대한 예측으로 할당합니다.

  • 할당된 예측 가운데 해당 오브젝트와의 IoU가 가장 큰 예측 결과를 해당 오브젝트에 대한 최종 예측으로 정합니다.

  • 최종 예측과 오브젝트 사이의 IoU값을 해당 오브젝트에 대한 예측 IoU값으로 사용합니다.

  • IoU가 최소(0.1)를 넘는 예측 결과가 없는 오브젝트는 TP에 가산되지 않습니다. (FN)

• IOU_TP: TP인 오브젝트들 각각마다 IoU가 최대인 예측 결과 1개와의 IoU 값입니다.

• FP: 예측 결과 가운데 ‘특정한 오브젝트와 IoU가 최소 기준(=0.1) 이상이지만 할당되지 않은’ 예측 결과 수를 잘못된 예측으로 FP에 가산합니다. 예를 들어 하나의 오브젝트에 대하여 두 개의 예측 결과가 할당되는 경우, IoU가 최대인 결과는 TP로 들어가지만 그렇지 않은 결과는 FP로 들어갑니다. FP를 줄이기 위해서는 Non-Max Suppression 혹은 그와 유사한 필터링을 통하여 불필요한 중복 예측을 줄여야 합니다.

• FN: 오브젝트 가운데 최소(0.1)를 넘는 예측 결과가 없는 오브젝트는 예측이 이루어지지 않은 오브젝트로 간주하여 FN으로 분류합니다.

• ※ 모든 예측 결과는 IoU가 가장 큰 하나의 오브젝트에만 할당됩니다. 따라서 하나의 오브젝트가 여러 예측 결과를 할당받을 수는 있지만 하나의 예측 결과가 여러 오브젝트에 할당되는 일은 없습니다.

• ※ 아무 오브젝트에도 할당되지 않은(min IoU_obj < 0.1) 예측 결과는 점수 계산에 포함되지 않습니다.

실제 사용되는 커스텀 스코어 코드는 다음과 같습니다. 참고 바랍니다. (다운로드)
 

import json
import numpy as np
import pycocotools.mask as mask

def f1_with_iou(gt, pr, th=0.01): # 실제 사용시에는 th=0.1 입력
    tp_iou = []
    tp = []
    fp = []
    fn = []
    
    for img in gt['images']:
        gt_img = [i for i in gt['annotations'] if i['image_id'] == img['id']]
        pr_img = [i for i in pr['annotations'] if i['image_id'] == img['id']]
        # 해당 GT에 대한 예측이 있는 경우
        if len(pr_img) > 0:
            ious = [mask.iou([i['segmentation']], [j['segmentation']], [0]) for i in gt_img for j in pr_img]
            ioumat = np.array(ious).reshape(len(gt_img), -1) # gt_dim:0, pr_dim:1
            
            # pr을 iou가 최대인 gt에 할당
            np.argmax(ioumat, axis=0)
            ioumat = ioumat * (ioumat.max(axis=0, keepdims=True) == ioumat)
            
            # TP_IoU / FP / FN
            max_vals = np.amax(ioumat, axis=1)
            tp_iou.extend([i for i in max_vals if i != 0])
            tp.append(sum(max_vals != 0))
            fp.extend([sum(i > th) -1 for i in ioumat if sum(i > th) >= 2])
            fn.append(sum(max_vals == 0))
        # 해당 GT에 대한 예측이 없는 경우 모든 object를 FN에 추가
        else: 
            fn.append(len(gt_img))
    
    tp_iou = np.sum(tp_iou)
    tp = np.sum(tp)
    fp = np.sum(fp)
    fn = np.sum(fn)
    
    precision = tp_iou / (tp + fp)
    recall = tp_iou / (tp + fn)
    f1_score = (2 * precision * recall) / (precision + recall)
    
    return f1_score

✏️ 대회 규칙 및 기타

• 이번 대회는 Public 스코어와 Private 스코어 합산점수로 최종 순위가 결정됩니다

  • Public 및 private의 비율은 1:1

  • 대회기간 중에는 public 스코어만 리더보드 상에 표출

  • 대회 종료시점 이후 public 및 private의 합산점수 및 그에 따른 최종 순위 공개

• 제출 결과로부터 평가스코어를 생성하는 데에는 약 2~3분 정도가 소요되며, 마감일에 제출이 몰리는 경우 그보다 더 소요될 수 있습니다.

• 제출 스코어는 마감 시간 전에 제출이 완료된 결과 스코어가 인정이 됩니다. (마감 이후에 평가 연산 결과가 나오더라도 마감 시간까지 제출한 경우 인정)

• 그 외 규칙 전반은 대회 안내 페이지에 기재된 규정 및 규칙을 따릅니다.