Metaの大規模言語モデル「LLaMa」に入力した文章がどのようなトークンとして認識しているかを確認できる「LLaMA-Tokenizer」

<#gigazine>

https://gigazine.net/news/20230614-llama-tokenizer/