Getting Started with Gemma Tokenizer

gemma의 토큰나이저가 언어별로 어떻게 토큰나이징을 하는 지 테스트 해봤습니다. 토큰나이징이 어떻게 되는 지 확인하기 위해 이쁘게 출력해봤습니다.