슬레이어 모집 마감일: 4월 18일 (화) → ❗️모집 마감일이 4월 25일 (화)로 연기되었습니다
슬레이어 선발 결과 발표 : 4월 19일 (수) → ❗️결과 발표일이 4월 26일 (수)로 연기되었습니다
리워드 지급기간 : 모든 분야 테스트 종료 후 별도 안내
3개 분야 개별 분야별 테스트 기간이 다르니 아래 일정을 잘 확인해주세요!
이미지 모델 분야
상세 내용 공개일시 : 4월 27일 (목) 00시
이미지 모델 분야 퀘스트 상세내용 확인하기 (4/27 공개)
제출 테스트 및 피드백 글 작성 기간 : 4월 27일 (목) 00:00 ~ 4월 30일 (일) 23:59
자연어 모델 분야
상세 내용 공개일시 : 5월 4일 (목) 00시
자연어 모델 분야 퀘스트 상세 내용 확인하기 (5/4 공개)
제출 테스트 및 피드백 글 작성 기간 : 5월 4일 (목) 00:00 ~ 5월 7일 (일) 23:59
시계열 모델 분야
상세 내용 공개일시 : 5월 11일 (목) 00시
시계열 모델 분야 퀘스트 상세 내용 확인하기 (5/11 공개)
제출 테스트 및 피드백 글 작성 기간 : 5월 11일 (목) 00:00 ~ 5월 14일 (일) 23:59
*위 일정은 운영상황에 따라 변동될 수 있으며, 변동 시 본 페이지 및 지원자 이메일로 안내드립니다.
👾 내용 소개
[베타 테스트 : AIF BUG SLAY] 오--픈 !
인공지능팩토리가 자체적으로 개발한 추론 자동화 기능을 테스트 해주실 분을 모집합니다!
Q. .. 그런데 추론 자동화가 뭔가요?
A. 경진대회에서의 추론 자동화는 인공지능팩토리가 참가자의 인공지능 모델을 그대로 받아 이를 추론하고 평가할 수 있게 하는 기술입니다.
이전까지 인공지능 대회를 개최할 때 AIF는 참가자에게 학습셋 데이터와 함께 평가셋의 x값에 해당하는 데이터를 제공 했는데요, 그러면 참가자는 학습 데이터셋으로 모델을 개발한 후 자신의 모델에 평가셋 x값 데이터를 넣어서 나오는 결과값 y를 AIF에 제출했습니다.
이후 그 결과값 y는 AIF가 보유하고 있는 (=정답에 해당하는) y값과 비교되어 채점된 후 그 점수가 리더보드에 기록 되었는데요, ‘정답지 y값과 가장 유사한 y값을 도출한 참가자의 모델 성능이 더 좋다’ 라고 판단해온 것이죠.
추론 자동화 개발 전, 참가자는 평가 데이터셋의 x값을 넣어서 나온 y값(=Model Result)으로 모델 성능을 평가 받았습니다.
그러나 이렇게 평가셋 x값 데이터를 제공하는 경우, 아무리 x값만 제공된다 할지라도 정답지의 일부가 노출된다는 지적을 피하긴 어려웠습니다 (물론 저희 AIF의 엄격한 재현검증 방식으로 이러한 문제들을 예방 해왔지만요!). 또한 대회에서 제공된 평가셋 데이터에 대해서만 모델 성능이 좋게 나타나는 과적합(오버피팅) 현상이 일어날 가능성이 높았고 참가자가 여러 번의 시도를 통해 실제 정답을 유추해 볼 수도 있는 등 아쉬운 부분이 있었습니다 🥲
– BUT, IT'S DIFFERENT NOW! --
이런 아쉬운 부분을 보완하고자 AIF의 데이터사이언스팀과 소프트웨어엔지니어링팀이 긴밀히 협력하여 자체 추론 자동화 기술을 개발했고 그 결과, 평가셋 데이터를 일절 공개하지 않고 참가자가 개발한 모델 그대로를 받아 추론하여 모델의 성능을 채점할 수 있게 되었답니다 👏🏻
추론 자동화 개발 후, 참가자는 개발한 모델 그대로를 제출해서 모델 성능을 평가 받습니다!
Q. 오호, 흥미롭네요. 그럼 이번 베타 테스트에 참가한 사람은 뭘 하게 되나요?
A. 이번 [베타 테스트 : AIF BUG SLAY] 에 참가하시는 분들은 아래 두 step으로 추론 자동화 기술을 테스트 하시게 됩니다 :
Step1 | AI 모델개발 및 제출 테스트 하기
3개 모델 개발 분야 중 1개를 선택하셔서 베타 테스트에 참가합니다.
실제 AI모델 개발 경진대회와 유사하게, 간단한 AI모델을 개발하고 제출하여 정상적으로 채점 되는지 테스트합니다.
