grok

[grɒk]
  • 基础释义
  • 纠错
  • v.

    通过感觉意会;

  • 更新时间:2024-06-30 22:21:48
    • 助记/扩展
    • Grok是一个英语单词,源自于科幻小说作家Robert A. Heinlein于1961年出版的小说《陌生的陌生人》中使用的术语。它是一个动词,意为“理解”或“完全领会”。

    • 知识拓展

      Grok-1是什么

      Grok项目最初基于一个330亿参数的原型Grok-0模型启动。Grok-1是迄今参数量最大的开源大语言模型,遵照Apache 2.0协议开放模型权重和架构。Grok-1是一个混合专家(Mixture-of-Experts,MOE)大模型,这种MOE架构重点在于提高大模型的训练和推理效率,形象地理解,MOE就像把各个领域的“专家”集合到了一起,遇到任务派发给不同领域的专家,最后汇总结论,提升效率。决定每个专家做什么的是被称为“门控网络”的机制。