최근 거대 언어모델 기술의 발전으로 언어모델의 크기가 계속 커지고 있습니다. 따라서 딥러닝 병렬처리 알고리즘들이 중요해지고 있습니다. 본 세미나에서는 딥러닝 병렬처리 기법들에 대해 소개하고 이를 활용하여 개발된 Polyglot 언어모델에 대하여 소개합니다.

💁 세미나 안내 

• 날짜 : 2023년 5월 16일 화요일
• 시간 : 19:30 ~ 20:30
• 장소 : 온라인
• 접속링크 :  실시간 라이브

🧑‍🏫 세미나 내용

• 1차시: 딥러닝 병렬처리 알고리즘 소개
• 2차시: 폴리글롯 언어모델 및 거대 언어모델링 노하우
• 3차시: Megatron-LM을 이용한 언어모델 Pre-training 실습

🧑‍🚀 연사 소개

• 연사: 고현웅 (EleutherAI 리서치 디렉터)
• 카카오브레인 머신러닝 리서처
• 한국어 오픈소스 거대 언어모델 Polyglot 개발
• 병렬처리 라이브러리 OSLO 개발