谷歌DeepMind推出Mixture of Depths
日前有消息显示，谷歌DeepMind方面发布的Mixture-of-Depths（MoD），改变了以往Transformer架构的计算模式。
据了解，通过动态分配大模型中的FLOPs（运算次数或计算资源），优化不同层次模型深度中的分配，限制给定层的自注意力和MLP计算的token数量，MoD可跳过一些不必要计算，迫使神经网络学会主要关注真正重要的信息， 实现只给需要准确预测的token分配更多计...
Discussion
No replies yet.