- 모델 아키텍처
태스크 베이스라인에서 제공된 XGBoost 모델을 사용하였습니다.
- 하이퍼파라미터 튜닝
GridSearchCV: 모델의 성능을 최적화하기 위해 GridSearchCV를 사용하여 n_estimators, max_depth, learning_rate 의 파라미터에 대한 최적의 조합을 찾습니다. 이 방법은 주어진 파라미터 그리드 내에서 모든 조합을 시도하여 가장 높은 검증 정확도를 갖는 파라미터 조합을 찾습니다.
- n_estimators: 부스팅 단계의 수로, 아래 코드에서는 100, 300, 500로 설정해주었습니다.
- max_depth: 각 트리의 최대 깊이로, 3, 5, 7로 설정해주었습니다.
- learning_rate: 학습률로, 각 부스팅 단계에서 학습률을 얼마나 조정할지 결정하는 값입니다. 여기서는 0.05, 0.1, 0.2를 설정해주었습니다.
- 데이터 전처리
정규화: StandardScaler를 사용하여 데이터를 정규화합니다.
- 소감
하이퍼파라미터 튜닝을 여러 번 시도 한 결과 n_estimators가 100일때, max_depth가 3일 때 가장 좋은 성능을 보였던 것으로 기억됩니다.
데이터 정규화를 해주었을 때 학습 속도가 더 빨라서 다양한 파라미터 값으로 실험해볼 수 있었습니다.