“챗GPT는 그리 간단히 이해할 수 있는 모델이 아닙니다.”
예전에는 주요 모델이 나오면 이를 습득하여 자기 분야 연구개발 적용하기 위해 모델 자체에 대한 공부나 정보공유가 일어났었지만, 챗GPT는 대규모 언어모델 수준이 어나덜레벨인데다가 누구가 쉽게 사용할 수 있도록 서비스가 이미 런칭되어 이라 모델 자체보다는 어떻게 활용할 것인가에 대해 정보공유가 많이 일어나고 있습니다.
여러 소개자료에선 간단하게 챗GPT 개념을 훑고 지나가지만 챗GPT 자체는 그리 간단하지가 않습니다. 이를 제대로 설명한 논문도 없고 데이터셋과 라벨링 가이드 또한 성능에 영향을 미치고 디테일한 솔루션은 오픈 안 될테니 더더욱 알기가 쉽지 않습니다. 그래도 “자연어” 처리에 익숙하지 않으신 분들(자연어를 무슨 물고기로 아시는 분 포함)이 ‘챗GPT를 공부해보겠어’라고 마음을 먹었다면 아래 순서대로 차근히 봐야될 것 같습니다. (뒤로 갈수록 갭도 크고 같이 알아야할 개념도 많고 오픈되지 않은 것도 많습니다!, 빠진 게 있다면 피드백 주세요)
- 입문 - 자연어처리 : 토크나이징 > 임베딩 > N-그램-MLP
- 초급 - 순환신경망 : RNN, LSTM, 시퀀스2시퀀스 - 어텐션
- 중급 - 언어모델 : 사전학습 언어모델 > 트랜스포머 > 버트 > GPT
- 고급 - 대화형 언어모델 : 강화학습 > InstructGPT > 챗GPT
‘점점 알아야할 것이 많아져서 굳이 처음부터 힘들게 공부해야해?’라고 생각할 순 있겠지만, 이 생각은 LSTM을 공부할 때, 어텐션을 공부할 때, 트랜스포머를 공부할 때 항상 느껴왔고 그때마다 공부했으니 뭐 이번에도 공부해야죠. ㅎㅎ