随着 《The Platonic Representation Hypothesis》(柏拉图表征假说) 论文的发表,加上最近大厂都在转型训练和优化小模型,大模型真的到了瓶颈期?这是否意味着在未来几个月后会影响英伟达的股价呢?拭目以待。

在某些场景中,相比费尽力气取得全局最优解而言(大模型),高效地取得局部最优解更具备经济价值(小模型)。

如果像假说里面说的,那么对算力的需求貌似也接近峰值了,看看英伟达会不会在下半年,加大个人消费市场的显卡显存配置,从 2B 回到玩家至上的 2C 市场。

Ilya Sutskever 离开 OpenAI 后点赞了一篇 AI 论文《The Platonic Representation Hypothesis》,通过以下三点建立这个假说:

  1. 随着要完成的任务增多,多任务目标的训练向模型施加了更多约束,从而导向更紧致、更高质量的解决方案空间。图1
    An image to describe post
  2. 大模型随着参数的增加,便越容易逼近全局最优表征,从而推动表征收敛。图2
    An image to describe post
  3. 深度神经网络天然遵循着奥卡姆剃刀原则,有着“简单性偏好”,倾向于选择所有可行解中的最简单的解决方案。图3
    An image to describe post