Apple Intelligence 将 LLM 路由引入设备
一个每天处理数百万 LLM 请求的智能 LLM 应用，无法承受每个请求都使用像 Sonnet 3.5 或 GPT-4o 这样的大型 LLM。
标准技术是针对简单查询路由到小型 LLM，对于复杂查询则路由到大型 LLM。
这种设置在成本和延迟方面有巨大的优势，特别是对于避免大多数情况下的服务器往返非常重要。
这种编排方式的缺点在于，需要一个非常好的层来知道将查询路由到哪里——有不同的路由机制，但每种机制都有其缺陷。
Apple Intelligence 的表现将很大程度上取决于实施的技术细节。
话虽如此，苹果将数据发送到其服务器，这意味着在隐私、安全和治理方面，他们与其他公司没有区别。
总而言之，在我们实际体验之前，现在下结论为时过早。希望它不会像 Vision Pro 一样失败。
如果你想了解更多关于 Apple Intelligence 的详细信息，可以参考以下链接：
