1

케라스 코리아

팔로우

Getting Started with Gemma Tokenizer

AF 김태영
2024.02.27 16:34
452

gemma의 토큰나이저가 언어별로 어떻게 토큰나이징을 하는 지 테스트 해봤습니다. 토큰나이징이 어떻게 되는 지 확인하기 위해 이쁘게 출력해봤습니다.

 

코드 공유

1
0개의 댓글
로그인 후 이용해주세요!