昨天跟人聊天的时候,我就聊到昨天我已经试了llama 3.2 1b和3b两个模型,
不仅效果已经足够好了,而且1b这个体量简直解决了痛点,无论在游戏nvidia GPU还是apple silicon,inference速度都足够快,如果仅仅是简单的chatbot应用,已经可以日常使用了。
这么多人赌run LLMs locally,简直是赌对了。
昨天跟人聊天的时候,我就聊到昨天我已经试了llama 3.2 1b和3b两个模型,
不仅效果已经足够好了,而且1b这个体量简直解决了痛点,无论在游戏nvidia GPU还是apple silicon,inference速度都足够快,如果仅仅是简单的chatbot应用,已经可以日常使用了。
这么多人赌run LLMs locally,简直是赌对了。
No replies yet.