stabilityaiが採用したトークナイザー

novelai/nerdstash-tokenizer-v1

について調べましたhttps://twitter.com/investnosuke/status/1689533717495328768

はたして65535で足りるのかしら