이미지에 상응하는 7가지 감정의 종류를 분류하는 Task이다. 해당 Task의 baseline으로 모델을 구축하여 학습을 하는데 주어진 baseline에서 conv2D, pooling, batchnorm 등을 추가하여 임의로 새로운 CNN 모델을 구축할 수 있었으며 임의로 새로 구축한 모델과 사전 학습된 모델을 load하여 사용한 것에서 성능을 비교할 수 있었다. 사전학습된 모델을 사용한 경우, fine-tuning으로 모델의 성능을 향상시키고자 하였다. 사용된 기법은 freeze로 학습되는 범위 및 특정 영역을 지정하고 dropout과 같은 normalize를 사용하여 성능을 향상한다. 또한, 파이퍼파라미터 튜닝으로 batch size, epoch, learning rate와 같은 값의 변경으로 모델의 성능을 비교할 수 있었다. data augmentation(rotation, flip, mix 등)을 사용하여 모델을 성능 추이를 비교할 수 있었다.하지만, baseline 자체의 성능에서 학습의 어려움이 있었고 성능 향상이 되지 못 한 것이 본 Task 수행에서 개선점이라 생각한다. 성능 향상을 위해 데이터에 대해서 보다 더 이해도를 높이고 모델 학습에 대한 고려를 해야 할 필요가 있다.

홍삼 X-ray 데이터에 상응하는 홍삼 품질을 상, 중, 하 3개의 클래스로 분류 하는 것이다.  해당 Task의 baseline으로 모델을 구축하여 학습을 하는데 주어진 baseline에서 conv2D, pooling, batchnorm 등을 추가하여 임의로 새로운 CNN 모델을 구축할 수 있었으며 임의로 새로 구축한 모델과 사전 학습된 모델을 load하여 사용한 것에서 성능을 비교할 수 있었다. 사전학습된 모델을 사용한 경우, fine-tuning으로 모델의 성능을 향상시키고자 하였다. 사용된 기법은 freeze로 학습되는 범위 및 특정 영역을 지정하고 fully connected layer에 dropout과 같은 normalize를 사용하여 성능을 향상한다. 또한, 파이퍼파라미터 튜닝으로 Batch size, epoch, learning rate와 같은 값의 변경으로 모델의 성능을 비교할 수 있었다.data augmentation(rotation, flip, mix 등)을 사용하여 모델을 성능을 비교할 수 있었다.해당 task의 데이터가 상대적으로 적기에 모델을 구축하는 방법에서 적확한 적용이 않은 것이 개선점이라 생각한다.

상위권에 비해 비교적 낮은 점수로 높은 등수를 하게 되었는데, 해결 과정을 공유합니다. 우선 해당 Task에 대한 이해가 먼저 필요한데,훈련 데이터에는 정상 데이터만 존재하고시험 데이터에는 정상과 이상데이터가 존재하는 경우입니다. 따라서 베이스라인의 경우 오토인코더를 활용해 입력과 출력이 같게 만들어, 만약 이 차이가 커진다면 이상 데이터로 판단하는 메커니즘을 활용했습니다. 따라서 훈련데이터를 활용해 정상 데이터의 임계 범위를 정할 수 있습니다. 보통 Q3-Q1을 IQR이라고 하고,Q3 + 1.5 * IQR을 이상치의 범위라고 보통 간주합니다.반대로도 작용할 수 있지만, Loss는 양의 값으로 증가하므로 양의 이상치만 판단했습니다.이 때 이상치도 많이 조절해봤습니다. 상위 99% 부터 75%까지 다 해봤지만 다이나믹한 성능향상은 없었습니다.무언가 메커니즘적으로 부족하다는 느낌을 많이 받았습니다.

2등을 하게 되어서 솔루션을 남깁니다. 저는 베이스라인이 XGBoost였지만, 칼럼의 수가 굉장히 많다는 것을 알고 비선형 문제로 해결하고 싶어 NN으로 해결하였습니다.   각 선형 레이어를 지나면서 relu 활성화함수를 이용하고,dropout을 이용해서 오버피팅을 방지했습니다loss는 크로스엔트로피를 사용하고, 옵티마이저는 아담을 사용했습니다. 비교적 쉬운 Task라고 생각하고, 칼럼의 수가 굉장히 많은데 이를 잘 반영하기 위해서 어떤 전략을 써야할 지 고민해볼만한 문제라고 생각합니다.

안녕하세요. 운좋게 1등을 한 것 같아 기분이 좋네요.저는 대부분의 Taks를 Pretrained 모델을 사용해서 해결했습니다. 기존 베이스라인은 모두 버리고, Classfication Task 이므로 ResNet50을 사용해서 문제를 해결하려고 하였습니다.하이퍼파라미터 튜닝을 진행하진 않았고, 모델의 파라미터를 계속 저장하면서 validataion loss가 제일 작은 값을 이용해서 inference를 진행했습니다.중간에 convert_to_rgb 함수를 이용해서 ResNet이 원하는 RGB 형태의 차원으로 Gray Scale의 화훼 이미지를 변환하는 작업만 수행하면 나머지는 쉽게 수행됩니다. validation의 중요성과, Pretrained model의 강력함을 알 수 있었던 Task였습니다…  

모델은 기존의 베이스라인에서 제공한 XGBoost를 사용하였습니다. 하이퍼파라미터만 조정을 하였습니다. model = XGBClassifier(    learning_rate=0.05,       # 학습률    n_estimators=10000,       # 부스팅 라운드 수    max_depth=8,              # 트리의 최대 깊이    min_child_weight=0.4,       # 최소 자식 가중치    gamma=0,                  # 노드 분할을 위한 최소 손실 감소량    eval_metric='mlogloss'    # 다중 클래스 분류의 경우 'mlogloss' 사용더 쉽게, 깊게 트리를 생성 할 수 있도록 설정하여 더 많은 정보를 학습할 수 있게 조정했습니다.  

학습 에포크를 45로 증가시켰고, 기존 베이스 라인 모델에서 레이어를 추가하여 더 많은 특징을 학습하게 했습니다.활성화 함수는 LeakyReLU를 ReLU 대신 사용하여 혹시나 발생할지도 모르는 Dying ReLU Problem을 고려해서 사용했습니다.BatchNormalization과 드롭아웃을 과적합을 방지하기 위해 추가하였습니다.  결과적으로는 성능이 약간 향상하였으나 정확도가 45%도 달성하지 못한 것을 보아서, 제대로된 학습이 이루어지지 않은 것 같습니다.  

모델 아키텍처베이스라인에 작성된 기존 모델에서 더 많은 특징 학습을 위해서 추가적인 컨볼루션레이어를 추가해주었습니다. Conv2d(32, , kernel_size=3, padding=1)BatchNorm2d를 사용하여 과적합을 막고 효율적인 학습이 이루어지도록 했습니다하이퍼파라미터 튜닝학습 에포크 수만 1에서 10로 증가시켜서 학습을 진행했습니다. 소감토론 게시판에 글을 올리신 다른 분들의 방법을 읽어보니 제 견문이 짧아서 단순하게 기존의 베이스라인을 수정해서 정확도를 높이려고 한게 아쉽다고 느꼈습니다. 

인공지능 모델로 재활용품 이미지를 분류하는 것을 목표로 한 Task이다. 재활용품 이미지에 상응하는 label을 분류 예측하는 것이다. Task에 대한 솔루션 수행 시, 모델 아키텍처에 대한 것은 베이스라인으로 주어진 사전 학습된 ResNet34에서 다른 CNN 기반 모델(VGG, ResNet18, ResNet50, ResNet121, DenseNet121 등)의 적용과 Fine-tuning을 통해 적용된 모델의 학습이 되는 부분을 조정하였다. 예를 들어, freeze 되는 부분의 위치 및 영역의 범위를 변경하고 FC Layer 부분에 Dropout과 같은 Normalize를 적용하여 모델의 성능을 비교 실험하였다. 또한, 하이퍼파라미터 튜닝으로 batch size, epoch, learning rate와 같은 값의 변경으로 모델의 성능을 비교할 수 있었다. Accuracy 이외의 다른 평가 지표를 사용하지 못 하였는데 추후 이 부분은 개선점이라 생각한다. 

모델 아키텍처모델 아키텍처의 경우 기존 베이스라인의 resnet34에서 resnet50의 predtrained된 모델로 변경하여 진행하였습니다. resnet50이 비교적으로 전체적인 task에서 효과적인 성능을 보인다는 것을 과거 경험을 기반으로 선정하여 변경하였으며, 실제로 resnet34를 통해 학습한 결과보다 더 높은 성능을 보였습니다. 하이퍼파라미터 튜닝기존 베이스라인의 learning rate의 경우 0.001로 비교적 빠르게 loss를 업데이트하도록 설계되어 있었습니다. 하지만 resnet50으로 layer를 수정하며, 모델이 더 잘 수렴하기 위해서는 learning rate를 0.0001로 변경하여 loss가 더 잘 수렴하도록 설계하여 학습을 진행하였습니다.pretrained 모델을 사용하였지만 새로운 데이터로 새롭게 학습하기 때문에, epoch를 20으로 늘려서 진행하였습니다.  소감과거의 경험을 기반으로 resnet50 모델이 전반적인 task에서 준수한 성능을 보인다는 것을 이번 테스크에서도 적용하여 실제로 뛰어난 성능을 달성하였습니다. 또한 learning rate 역시 모델 학습에 매우 중요한 요소라는 것을 이번 기회에 정확히 이해할 수 있었으며, 복잡한 모델의 많은 데이터일수록 learning rate를 적게 설정하여 모델이 천천히 학습하여 최적의 파라미터를 찾을 수 있도록 설계하는 것이 중요하다는 것을 이번 기회에 더 잘 알 수 있었습니다. 추가로 이러한 재활용품 분류 task는 현재 쓰레기 문제로 전세계에서 큰 문제로 동작하는데, 이러한 모델의 개발이 실제에도 이어져 사람에게 도움을 줄 수 있는 인공지능으로 동작할 수 있다는 기대에 더욱 관심있고, 흥미로운 테스크였습니다.이번 기회로 learning rate와 model의 선정의 중요성을 다시 한번 느끼게 되는 좋은 기회였습니다.