경진대회
세미나
게시글
AI 플레이
로그인
회원가입
1
케라스 코리아
팔로우
Getting Started with Gemma Tokenizer
AF 김태영
2024.02.27 16:34
506
gemma
tokenizer
gemma의 토큰나이저가 언어별로 어떻게 토큰나이징을 하는 지 테스트 해봤습니다. 토큰나이징이 어떻게 되는 지 확인하기 위해 이쁘게 출력해봤습니다.
코드 공유
코드 다운로드
1
0
개의 댓글
서식 있는 텍스트 편집기
굵게
기울임꼴
링크
불릿 목록
번호 목록
코드
코드 블럭 삽입
코드 블럭 삽입
실행 취소
다시 실행
로그인 후 이용해주세요!
댓글 작성