ChatGPTの日本語ってなんで1文字ごと(以下？)にトークン分割してるんだろ。全然普通の形態素解析じゃないよねこれ
1トークンに普通の形態素解析も選べるけど、sentencepueceが最近流行りかも
Please Login to reply.
->sentencepiece
あ、LLMの一般的な話です。
すみません
Sentencepiece、よくわかってないので確認してみます🤔
