1トークンに普通の形態素解析も選べるけど、sentencepueceが最近流行りかも
あ、LLMの一般的な話です。
すみません
Please Login to reply.
Sentencepiece、よくわかってないので確認してみます🤔
