不过目前我觉得 NIP-50 才是中继实现最难的一步, 特别是中文.
英文可以用空格分词 word, 很简单就搞定了, 但是中文不用 jieba 类的分词引擎把每个字都当作一个 token 一句话的 token 量就爆炸了, 但是用了分词引擎写入速度又会被大大削弱...
Discussion
写入速度不是太大的问题，搜索结果并不需要那么实时。搜索的问题是成本太高了，很难用爱发电
如果你用 rust 写的话，推荐一个分词器：https://github.com/meilisearch/charabia 组合了不同语言的主流分词器，用起来省事。也可以尝试用大模型的分词器搭配向量数据库做搜索