🍀 세미나가 종료되어 발표자료 받으시려면 참가접수 후 데이터탭에서 발표자료 다운로드 받으실 수 있습니다.
최근 거대 언어모델 기술의 발전으로 언어모델의 크기가 계속 커지고 있습니다. 따라서 딥러닝 병렬처리 알고리즘들이 중요해지고 있습니다. 본 세미나에서는 딥러닝 병렬처리 기법들에 대해 소개하고 이를 활용하여 개발된 Polyglot 언어모델에 대하여 소개합니다.
💁 세미나 안내
- 날짜 : 2023년 5월 16일 화요일
- 시간 : 19:30 ~ 20:30
- 장소 : 온라인
- 접속링크 : 실시간 라이브
🧑🏫 세미나 내용
- 1차시: 딥러닝 병렬처리 알고리즘 소개
- 2차시: 폴리글롯 언어모델 및 거대 언어모델링 노하우
- 3차시: Megatron-LM을 이용한 언어모델 Pre-training 실습
🧑🚀 연사 소개
- 연사: 고현웅 (EleutherAI 리서치 디렉터)
- 카카오브레인 머신러닝 리서처
- 한국어 오픈소스 거대 언어모델 Polyglot 개발
- 병렬처리 라이브러리 OSLO 개발