한국어 지식 데이터의 관계 분류
2023.11.01 - 2023.12.13
0
378
0
공유
0
공유
글쓰기
총 2개

솔루션

모델 아키텍처 1. 모델은 베이스라인과 같이 “kykim/bert-kor-base” 사용  2. 모델의 과적합 방지를 위해 Dropout 레이어 추가하이퍼 파라미터 조정 1. 배치사이즈는 16, 32를 사용 2. Learning rate 조정 3. 에포크 수 증가 결론  위의 두가지 방법으로 모델 성능이 크게 오르지 않았다. 모델 구조 변형 및 loss function을 조정한다면 성능이 더 오를 것으로 예상된다.

jude123
0

솔루션 – 한국어 지식 데이터의 관계 분류

네트워크의 backbone은 기존 베이스라인 코드와 같이 transformers 라이브러리의 “kykim/bert-kor-base”를 그대로 사용하였다.학습에 사용된 배치 사이즈는 기존 베이스라인 코드와 같이 16으로 설정하였다.Loss 또한 기존 베이스라인 코드와 같이 CrossEntropy loss를 사용하였다.기존 베이스라인 코드에서 변경된 사항은 아래와 같다.우선, 기존 베이스라인 코드에서 optimizer는 Adam과 learning rate로 3e-5를 사용한 것과 달리, learning rate 1e-5로 변경했다.다음으로, 기존 베이스라인 코드에서 총 epoch 수가 3으로 되어있던 것을 5로 변경하여 학습을 진행했다.

JJuOn
0