1
케라스 코리아
팔로우
Getting Started with Gemma Tokenizer
AF 김태영
2024.02.27 16:34
452
gemma
tokenizer
gemma의 토큰나이저가 언어별로 어떻게 토큰나이징을 하는 지 테스트 해봤습니다. 토큰나이징이 어떻게 되는 지 확인하기 위해 이쁘게 출력해봤습니다.
코드 공유
코드 다운로드
1
0
개의 댓글
로그인 후 이용해주세요!
댓글 작성