----------------------------------------------------------------------------------------------------
< PHASE I : 제출 가이드 관련 질문 >
Q1. (필수, 최소 100자 이상)
제공받은 제출 가이드 내용을 이해하기에 어땠습니까?
- 내용이 이해하기 쉬웠다면 어떤 부분 때문에 쉽게 느껴졌는지,
- 이해하기 어려웠다면 구체적으로 어떤 부분이 어려웠는지 작성 부탁드립니다.
A1. 설명을 순서대로 해주셔서 진행 방향 자체는 이해했는데, 익숙한 내용이 아니라서 특정 부분들이 헷갈렸습니다. 라이브러리 임포트 유무나 (설치되어있는 파일에서 언급된 모든 라이브러리가 임포트가 되는건지, 제가 추가적으로 작성해야 하는지), task.ipynb 파일 자체를 구동시키는건지 아니면 메인만 넘어가서 넘어가는 3개 인자만 구동되는건지 혼동되었고, 데이터 파일이나 모델 호출 시에 관해서 경로 설정하는게 생소한 내용이라 그 부분이 조금 더 자세하게 예시로 나와있거나 하면 좋을 것 같습니다.
Q2. (필수, 최소 50자 이상)
제출 가이드 내용 중 수정 또는 보완이 필요한 부분이 있다고 생각하십니까?
- 만일 있다고 생각하실 경우 어떤 부분에서 수정 또는 보완이 필요하다 생각하셨나요?
- 만일 없다고 생각하실 경우 어떤 부분이 특히 잘 작성되었는지 내용 공유 부탁드립니다.
A2. 크게 있지는 않고, 언급한대로 경로 설정에 대해서 조금 더 구체적인 예시나 , submit() 부분에서 aif 채점 코드 예시를 주셨지만 딱 그것만 구동된느건지 task.ipynb도 같이 뭔가 실행이 되는건지 언급이 있으면 좋을 것 같습니다.
Q3. (선택, 자유 작성)
위 질문 외 제공받은 제출 가이드와 관련한 슬레이어 님의 의견이 있다면 자유롭게 남겨주세요.
A3. 없습니다.
< PHASE II : 모델 개발 단계 관련 질문 >
Q1. (필수, 최소 100자 이상)
개발하신 모델을 개발하는 과정에서 (즉, 제출하기 바로 직전) 겪으신 불편함이 있었습니까?
- 만약 불편함이 있었다면 어느 단계에서 어떤 종류의 불편함을 겪으셨는지 작성 부탁드립니다.
- 만약 불편함이 없었다면 어떤 과정을 통해서 제출 단계 전까지 다다르셨는지 간단히 내용 공유 부탁드립니다.
A1. 개발엔 크게 불편함이 없었고, 특이했던 점은 다른 베이스라인들과 다르게 개발 베이스가 아닌 제출 베이스여서 처음에는 모델을 어떻게 하는거지 싶었는데 제가 자체적으로 제작하고 내면 되는 것을 파악하고 나서는 제출 시에 모델을 그대로 옮겨서 로드만 잘하면 되니까 크게 문제될 점은 없었습니다. 근데 한 가지 기억나는 점은 가이드 중에 모델 학습 파일이 경로에 있으면 안되다는 내용이 있어서 그러면 어떻게 모델 학습을 학습하고, 학습 데이터를 가져올지 혼란스러웠다가 학습을 다른 데에서 해야 하는 구나 깨달았습니다.
< PHASE III : 결과물 제출 단계 관련 질문 >
Q1. (필수, 최소 100자 이상)
개발하신 모델을 제출하는 과정에서 겪은 불편함이 있었습니까?
- 만약 불편함이 있었다면 어떤 종류의 불편함을 겪으셨는지 작성 부탁드립니다.
- 만약 불편함이 없었다면 잘 제출된 과정에 대한 설명을 간략하게 공유 부탁드립니다.
A1. 우선, 개발후 넘길 때는 가이드대로 잘 작성해서 제출 main문 코드 실행까지는 괜찮았는데, 모델 로드 중에 문제가 생기거나 자잘한 오류 부분에 대해서 즉각적으로 확인할 수가 없었습니다. 특히 특정 코드 (제 경우 에서는 score.py 81 line에서 sleep문) 에서 계속 걸리면서, 오류를 확인하려면 직접 interrupt한 후 사이트에서 채점중이 끝날때까지 기다려서 확인하고 수정하는 작업이 반복되면서 디버깅이 지체되고 제출속도가 그만큼 느려지는 점이 불편했습니다.
Q2. (필수, 자유 작성)
2-1. 모델을 제출하여 채점이 완료될 때까지 시간이 얼마나 걸리셨나요? (개발환경에 기재된 시간이 있다면 이를 그대로 기재 부탁드립니다)
2-2. 개발하신 모델을 제출하실 때 걸린 시간은 체감 상 얼마같이 느껴졌습니까?
A2. main문을 구동하는 시간은 성공하면 colab 기준 약 7분이 걸렸는데, 에러가 뜨면 30분씩 돌아가도 멈추질 않아서 수동으로 멈추고 사이트에서 에러뜨길 기다려야해서 체감 상 상당히 긴 시간으로 느껴졌습니다.
Q3. (필수, 최소 100자 이상)
제출 과정에서 만난 에러/ 이슈/ 버그가 있었다면 그것은 어떤 내용이었는지,
또 이를 어떤 방법으로 해결 하셨는지에 대해 간략한 설명 부탁드립니다.
A3. 'cpu 구동 에러/라이브러리 임포트 에러/변수명 에러/submit() 함수 정의 안됨 에러/모델 로드 에러'의 오류들을 만났는데, 각자 해결방법이 명확한 이슈들이라 계속 돌아가는 메인문을 정지하고 조금 기다려서 사이트에서 에러를 확인하고 수정했습니다.
Q4. (필수, 자유 작성)
직접 제출까지 해보신 만큼, 슬레이어님께서 ‘제출 코드’를 수정할 수 있다면 어떤 코드를 어떻게 수정하고 싶으신지요?
*에디터 내 <코드 셀>을 작성할 수 있는 기능이 있으니 적극 활용 부탁드립니다!
A4. 디버깅을 즉각적으로 확인가능할 수 있도록 변경하고는 싶은데, 구체적으로 코드 수정에 대한 부분은 자세히는 모르겠습니다.
< PHASE IV : 추론 자동화 기술 관련 질문 >
Q1. (필수, 최소 150자 이상)
추론 자동화 기술은 대회 참가자에게 평가셋 데이터의 x값을 제공하지 않고, 오직 참가자가 개발한 모델 만을 받아서
이를 곧 바로 채점해줄 수 있게 합니다. 슬레이어 님께서 향후 이러한 추론 자동화 기술이 적용된 대회에 참가 하신다고 가정할 경우,
대회 참가자의 입장에서는 어떤 생각이 들까요? 다르게 말하여, 대회 참가자의 입장에서 나올 수 있는 긍/부정적인 의견이 있을까요?
A1. 대회에 참가해본 경험이 많지는 않지만, val셋을 주지 않고 모델만 제출하면 data leakage를 통한 치팅이나 오버피팅을 막을 수 있을 것 같아 잘되면 굉장히 좋을 것 같은데, 현재로써는 항상 코드에서 예상하지 못한 오류가 발생할 확률이 높은데 디버깅 부분에서 살짝 어려울 수도 있지 않을까 싶기도 합니다. 추론 자동화란 개념을 처음 알게되었지만, 대회에서 사용되면 참가자 입장에서도 편하고 좋을 것 같아 성공적으로 개발되어 대회에 사용되어진다면 굉장히 많은 기업에서도 사용하고 혁신적인 기술이 되지 않을까 싶습니다.