概念

  • 稠密模型：（Dense Model）每次推理的时候会把所有参数都来参与计算
  • MoE模型：（Mixture of Experts，混合专家模型）每次推理的时候，会取总模型的一部分更擅长解决这个推理的参数，进行计算