< PHASE I : 제출 가이드 관련 질문 >
Q1. (필수, 최소 100자 이상)
제공받은 제출 가이드 내용을 이해하기에 어땠습니까?
- 내용이 이해하기 쉬웠다면 어떤 부분 때문에 쉽게 느껴졌는지,
- 이해하기 어려웠다면 구체적으로 어떤 부분이 어려웠는지 작성 부탁드립니다.
A1. 이해하기 쉽게 설명되어 있었으며, 설명과 함께 예시 코드가 작성되어 있어 빠른 제출이 가능했습니다.
다만, 완벽하게 실행하기까지 다소 시간이 소요되었으며, 제출을 완전히 시도해볼 수 있는 온전한 전체 코드가 가이드로 제공되었으면 더 편리한 이해가 가능할 것 같습니다.
Q2. (필수, 최소 50자 이상)
제출 가이드 내용 중 수정 또는 보완이 필요한 부분이 있다고 생각하십니까?
- 만일 있다고 생각하실 경우 어떤 부분에서 수정 또는 보완이 필요하다 생각하셨나요?
- 만일 없다고 생각하실 경우 어떤 부분이 특히 잘 작성되었는지 내용 공유 부탁드립니다.
A2. A1에서 적은것과 같이 일부분이 생략된 코드가 아닌 웨이트를 포함한 전체 코드를 베이스라인으로 함께 제공한다면 빠른 적응이 가능할 것 같습니다.
Q3. (선택, 자유 작성)
위 질문 외 제공받은 제출 가이드와 관련한 슬레이어 님의 의견이 있다면 자유롭게 남겨주세요.
A3. 데이터 로드, 모델 학습의 전과정을 담은 baseline을 제출 가이드에 포함하면 좋을 것 같습니다.
< PHASE II : 모델 개발 단계 관련 질문 >
Q1. (필수, 최소 100자 이상)
모델을 개발하는 과정에서 (즉, 제출하기 전) 겪으신 불편함이 있었습니까?
- 만약 불편함이 있었다면 어느 단계에서 어떤 종류의 불편함을 겪으셨는지 작성 부탁드립니다.
- 만약 불편함이 없었다면 어떤 과정을 통해서 제출 단계 전까지 다다르셨는지 간단히 내용 공유 부탁드립니다.
A1. 모델 개발 과정에서는 추론에 걸리는 시간으로 인하여 모델 튜닝에 대한 피드백에 많은 시간이 소요되었습니다. 코랩 노트북 환경을 통해 실행/제출하였고, 오랜시간 소요되는 인퍼런스로 인하여 코랩의 GPU 런타임 할당 제한으로 인하여 제출이 어려웠던 적 또한 있습니다.
< PHASE III : 결과물 제출 단계 관련 질문 >
Q1. (필수, 최소 100자 이상)
개발하신 모델을 제출하는 과정에서 겪은 불편함이 있었습니까?
- 만약 불편함이 있었다면 어떤 종류의 불편함을 겪으셨는지 작성 부탁드립니다.
- 만약 불편함이 없었다면 잘 제출된 과정에 대한 설명을 간략하게 공유 부탁드립니다.
A1. 제출에 상당히 오랜 시간이 소요되었습니다. ipynb파일과 weight 파일을 zip하여 ai factory의 서버로 전송한 후 채점되는 방식으로 보이는데, zip과 전송에서 오래걸리는지 또는 인퍼런싱에서 오래걸리는지 확인이 불가하였고, 단순 제출 실수로 인하여도 약 5분 이상 소요 후 에러메시지를 리턴받을 수 있었습니다.
Q2. (필수, 자유 작성)
2-1. 모델을 제출하여 채점이 완료될 때까지 시간이 얼마나 걸리셨나요? (개발환경에 기재된 시간이 있다면 이를 그대로 기재 부탁드립니다)
2-2. 개발하신 모델을 제출하실 때 걸린 시간은 체감 상 얼마같이 느껴졌습니까?
A2. 잘 제출이 된 경우 15분 이상 소요되었고, 코드 오류로 인하여 제출이 실패한 경우에는 약 5분정도 걸렸습니다.
제출에 대한 피드백이 느리다 보니 제출에만 집중할 수 없어 제출에 대한 확인까지 걸리는 시간이 약 30분 이상 소요되었습니다.
Q3. (필수, 최소 100자 이상)
제출 과정에서 만난 에러/ 이슈/ 버그가 있었다면 그것은 어떤 내용이었는지,
또 이를 어떤 방법으로 해결 하셨는지에 대해 간략한 설명 부탁드립니다.
A3. Notebook 내에 작성되어 있는 다른 코드들이 실행되는 경우가 많았고, colab 개발 환경 상 실시간 저장이 되지 않아 저장 전 submit을 하게 되면 수정전 코드가 전송되어 에러가 발생한 경우가 많았습니다.
Q4. (필수, 자유 작성)
직접 제출까지 해보신 만큼, 슬레이어님께서 ‘제출 코드’를 수정할 수 있다면 어떤 코드를 어떻게 수정하고 싶으신지요?
*에디터 내 <코드 셀>을 작성할 수 있는 기능이 있으니 적극 활용 부탁드립니다!
A4. 제출한 코드에서 필수적인 예약 함수를 제외하고 주석 처리를 통하여 실행되지 않게 되었으면 한 환경에서 학습과 제출이 모두 실행되어 편리할 것 같습니다.
해당 내용이 쉽지 않다면 해당 함수를 text로 받아 submit에 정의된 함수만 전달되게 수정되었으면 좋겠습니다.
또한 weight 파일이 전송되는 동안 weight load 부분을 제외한 코드가 실행된다면 디버깅에 좀 더 도움이 될 것 같습니다.
< PHASE IV : 추론 자동화 기술 관련 질문 >
Q1. (필수, 최소 150자 이상)
추론 자동화 기술은 대회 참가자에게 평가셋 데이터의 x값을 제공하지 않고, 오직 참가자가 개발한 모델 만을 받아서
이를 곧 바로 채점해줄 수 있게 합니다. 슬레이어 님께서 향후 이러한 추론 자동화 기술이 적용된 대회에 참가 하신다고 가정할 경우,
대회 참가자의 입장에서는 어떤 생각이 들까요? 다르게 말하여, 대회 참가자의 입장에서 나올 수 있는 긍/부정적인 의견이 있을까요?
A1. 별도의 인퍼런싱 과정이 필요 없으므로 간단히 모델 개발과 예측 코드만 작성하면 되어 편리할 것 같습니다.
다만, 테스트 데이터에 직접 접근이 어려움에 따라 학습데이터와 추론 데이터 간 차이에 대한 보정이 어렵다는 점과, 제출 과정이 길어짐에 따라 모델 개선에서의 속도가 다소 느려질 수 있다고 생각됩니다.