모델 추론 결과를 제출하여 점수 확인 및 리더보드에 내 점수를 올리면 방법에 대해서 알아보겠습니다. 모델을 평가하는 방식은 여러가지가 있으나 가장 쉽고 일반적으로 사용하는 방법이 벤치마크셋을 이용한 평가방식입니다. 벤치마크셋은 비교 평가를 하기 위한 데이터셋을 말하는 데요. 시험셋이라고 생각하시면 됩니다. 지도학습인 경우 시험셋이 데이터와 라벨 즉 문제(X)와 정답(Y)로 구성이 되어 있는데요. 이 중 시험셋의 정답(Y)을 플랫폼에 등록해놓고, 개발자가 제출한 답과 비교하여 채점하는 방식입니다. OMR 카드에 답을 기록한 후 제출하면 채점하는 방식과 유사하다고 보시면 됩니다. 이렇게 푼답과 정답을 비교하면 점수를 확인할 수 있으며, 점수들을 모아서 점수판(리더보드)에 기록하면 같은 문제를 푼 사람들의 점수들을 순위와 함께 한 눈에 보실 수 있습니다. 리더보드를 통해 자신 모델의 수준을 확인할 수 있기 때문에 고도화 시키는 데 방향을 잡을 수도 있고 선의의 경쟁도 할 수 있습니다. 아래는 이러한 과정을 도식화 한 것입니다. 데이터셋을 훈련셋과 시험셋으로 분리한 뒤, 훈련셋을 모델 개발자에게 제공하여 모델을 개발할 수 있도록 하고, 또한 시험셋의 문제(X)를 제공하여, 학습된 모델의 추론 결과 생성할 수 있도록 합니다. 추론 결과를 플랫폼에 제출하면 평가가 자동으로 이뤄집니다.
그럼 실습을 통해 만든 모델의 평가 점수를 알아볼까요?
- 우측 상단에 있는 [수강하기] 버튼을 클릭합니다.
- [수강하기] 옆에 있는 [제출] 버튼을 클릭하면 제출하기 창이 띄워집니다.
- 제출하기 창에서 [파일 찾기] 버튼을 통해 내 컴퓨터내에 있는 파일을 선택하거나, 파일을 선택하여 이 창에 드래그앤드롭을 시킬 수 있습니다.
- 파일을 선택했다면 오른쪽 하단에 있는 [업로드] 버튼을 클릭하여 추론 결과 파일을 업로드 합니다.
제출 이력에 방금 제출한 파일에 대한 채점 성공 여부와 채점을 하였다면 점수가 표기 됩니다. 리더보드 탭을 클릭하면, 다른 사람들이 올린 점수도 함께 보실 수 있습니다.
