大家好，感谢邀请，今天来为大家分享一下混合专家模型(MoE) 简介的问题，以及和的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

MoEs的简短介绍

混合专家模型(MoE):

与密集模型相比，预训练速度更快与相同参数数量的模型相比，推理速度更快需要大量视频内存，因为所有专家系统都需要加载到内存中微调方面存在许多挑战，但近年来研究表明，混合专家模型的指令调优潜力巨大。

混合专家模型的概念

模型大小是提高模型性能的关键因素之一。在计算资源预算有限的情况下，用较少的训练步骤训练较大的模型通常比用更多的步骤训练较小的模型表现更好。

混合专家模型(MoE) 的一个显着优势是，它们能够使用比密集模型所需的少得多的计算资源进行有效的预训练。这意味着您可以在相同的计算预算内显着增加模型或数据集的大小。特别是在预训练阶段，混合专家模型通常能够比密集模型更快地达到相同的质量水平。

作为基于Transformer 架构的模型，混合专家模型主要由两个关键部分组成：

稀疏MoE 层： 这些层取代了传统Transformer 模型中的前馈网络(FFN) 层。 MoE层包含许多“专家”（例如8个），每个专家本身就是一个独立的神经网络。在实际应用中，这些专家通常是前馈网络（FFN），但它们也可以是更复杂的网络结构，甚至MoE层本身，从而产生分层的MoE结构。门控网络或路由： 此部分用于决定将哪些代币发送给哪个专家。例如，在下图中，“更多”令牌可能会发送给第二个专家，而“参数”令牌可能会发送给第一个专家。有时，甚至可以将一个令牌发送给多个专家。令牌如何路由是使用MoE 的关键点，因为路由器由学习参数组成，并与网络的其余部分一起进行预训练。综上所述，在混合专家模型（MoE）中，我们将传统Transformer 模型中的每个前馈网络（FFN）层替换为MoE 层，其中MoE 层由两个核心部分（: 个门控网络和多个数量专家）组成。

尽管混合专家模型(MoE) 提供了几个显着的优势，例如与密集模型相比更高效的预训练和更快的推理，但它们也面临着一些挑战：

训练挑战： 虽然MoE可以实现更高效的计算预训练，但它们在微调阶段经常面临泛化能力不足的问题，长期以来很容易出现过拟合。推理挑战： MoE 模型虽然可能具有大量参数，但在推理过程中仅使用其中的一部分，这使得它们比具有相同数量参数的密集模型进行更快的推理。但该模型需要将所有参数加载到内存中，因此对内存的要求非常高。以像Mixtral 8x7B 这样的MoE 为例，需要足够的VRAM 来容纳47B 参数的密集模型。之所以是47B而不是8 x 7B=56B，是因为在MoE模型中，只有FFN层被认为是独立专家，而模型的其他参数是共享的。此外，假设每个令牌仅使用两名专家，则推理速度（以FLOP 为单位）与使用12B 模型（而不是14B 模型）类似，因为虽然它执行2x7B 矩阵乘法计算，但某些层是共享的。

混合专家模型简史

混合专家模型（MoE）的思想源于1991年的论文Adaptive Mixture of Local Experts。这个概念类似于集成学习方法，旨在为由多个个体网络组成的系统建立调节机制。在这样的系统中，每个网络（称为“专家”）处理不同的训练样本子集，重点关注输入空间的特定区域。那么，如何选择哪个专家来处理特定的输入呢？这就是门控网络发挥作用的地方，它决定分配给每个专家的权重。在训练过程中，这些专家和门控网络同时接受训练，以优化他们的表现和决策能力。

2010年至2015年间，两个独立研究领域对混合专家模型的后续发展做出了重大贡献（MoE）: