💬 Deep Dive

以 ChatGPT 为代表的大语言模型，是通过模拟人脑的神经网络算法，训练出来的。也许，你会认为通过算法训练出来的人工智能，即便再怎么模拟人脑，它也应该是纯粹理性的。可事实恰恰相反，ChatGPT 并非纯粹理性的产物，更像是感性的结果。

越是去深入地了解 ChatGPT，越会发现它和我们人类的相似性，而当我们去理解 ChatGPT 时，便也是在重新认识我们自己。

1

ChatGPT 不是一个简单的对话机器人，而是一个信息处理工具，更具体的说，是一个以对话界面来呈现信息的信息处理工具。在「输入—处理—输出」这一过程中，真正厉害的是负责「处理」的大语言模型。

大语言模型的「大」，是指训练模型的数据量，高达百亿级甚至千亿级别。而「大」的结果，便是智能的涌现，比如 ChatGPT 能够理解模糊的语境，生成连贯的回答，甚至展现某种「创意」。

这种智能涌现，并非基于形式逻辑的理性推导，而是通过模拟人脑神经计算的感性结果。大模型的运算过程，就像一个黑盒子，即使是 Sam Altman 也无法完全解释，ChatGPT 模型内部在进行哪些计算和推理，大模型的运行没有什么固定的规则可言。

这正是 ChatGPT 的神奇之处，传统的自然语言处理依靠明确的规则和逻辑推理，而 ChatGPT 为代表的大语言模型，通过神经网络算法，像大脑一样，从大量的数据中挖掘出那些难以言说的规律，就像人脑的感知一样。

举个例子，最近我很好奇什么是「迪斯科」， 维基百科告诉我：

迪斯科，原意指那些播放录制好的跳舞音乐的舞厅，而后用来指一种源于美国黑人民间舞蹈和爵士舞，并在1970年代后风行世界（特别是欧洲）的舞曲。这种音乐的特征，是混合了放克、爵士乐、摇滚乐以及拉丁美洲音乐的节奏特色。

这段定义对我来说，每个字我都认识，可是连在一起，我对「迪斯科」还是一头雾水，没有直观的感受。直到我打开张蔷的《别再问我什么是迪斯科》、《手扶拖拉机斯基》，那种节奏和氛围一下子让我 get 到了什么是「迪斯科」。但是我仍然很难用语言精准地描述它，只是再听到类似的音乐时，我能够识别出这是「迪斯科」。

或许语言无法企及的地方，只能用感知来理解。这也是 ChatGPT 的工作方式，它对「迪斯科」的理解，是通过大量数据训练，从中捕捉那些难以用语言描述的规律。这便是「智能」，超越了传统的理性思维，更像是一种感性认识。

2

在模型开来，一个词的语义是由它和别的词之间的关系决定的。

让 GPT 大模型实现巨大进步的一个技术是 Transformer 架构，它能够发现词语之间的关系，捕捉深层次的语义结构，既能跨越词语前后的顺序，也能在一段文本中发现关联。

ChatGPT 永远都在用语义，来推导下一个词最应该说什么。不是字母，不是单词，而是语义，而一切语义，都是关系。因而，ChatGPT 可以用几十种语言和人类交流，因为它并非用语言思考，而是用语义和关系来思考。

有意思的是，我们自身的身份、习惯，不也是由一切互动的关系所塑造的吗？从个体角度来看，我们和家人、同学的关系，塑造了我们最初的个性；从集体的角度来看，人类社会本质上就是关系的集合体。

3

大模型经过「预训练」和「微调」，掌握了海量知识，也学会了如何运用这些知识和用户对话。但是，要让它真正成为一个可靠的信息处理工具，还需要经过极为重要的一步——「对齐」。

所谓**「对齐」，就是通过人类的反馈，让大模型输出的内容尽可能符合主流价值观，和我们人类的价值偏好相对齐，规避不合理的价值导向**。比如，当用户寻求安慰时，模型会以更具人文关怀的方式回应，而不是提供冷冰冰的事实。这就像是一个伦理塑造的过程，也是不同大模型公司个性化的地方。

从某种意义上讲，大模型的「对齐」过程，便像是我们个人对社会的「适应」过程。即便我们已经在学校里学习吸收了大量知识，可是进入到新的环境或新的关系里，依然需要不断从各种人和事的反馈中，调整自己的行为、认知，甚至是价值观，来匹配环境和关系的要求。

唯一不变的，就是变化，因而大模型的「对齐」和我们个体的「适应」，永远都不会一劳永逸。

Fin

以 ChatGPT 为代表的大模型，实际上是我们人类自身语言、文化和思维的投影。和 ChatGPT 的对话，本质上便是在和我们人类过去所积累的所有知识和经验的对话。

理解 ChatGPT，也就是在重新理解我们人类自己，和我们所生活的这个世界。

Sources

《拐点》

《这就是 ChatGPT》

💎 Curated Gems

1、在平庸世俗的生活里莫名地觉得悲伤

记录片导演陈东楠，在一席的演讲，我想摘录其中一句对现实的精准描述：

我们可能永远也没有办法避免掉和重重的压力与局限去共存。
像追寻自由、成为自己，这些现在特别时髦的句子背后，可能人就是要在重重的压力和局限中才能去形成自己的样貌，再从中去找到自由。
接下来肯定还有一个接一个的困境，我们也要一直地换个活法活着，带着困境为我们塑造的新的形状再继续地往前走。

2、On Fleeing the Inferno

Lawrence Yeo 在洛杉矶经历大火后，重新审视我们日常的执着：

我一直在思考我们在日常生活中因为执着而未能做到的一点。生活往往会制造出一种持久性的错觉；仿佛你今天所拥有的一切都会延续到明天。这种错觉不仅限于物质财富，还延伸到个人身份。我们如此执着于自己构建的角色、达成的成就、正在进行的项目，以及我们是谁的观念。但你会意识到，有一天——无论是通过附近的火灾还是生命终点线——这些执着都将变得毫无意义。

3、迎接「低欲望社会的正确姿势」

消费投资人黄海，在考察日本经济后总结 3 种在低欲望消费时代的机遇：

  • 第一种，是追求品质性价比，代表企业为优衣库和萨莉亚。
  • 第二种，是情绪价值消费，例如宠物、运动、旅游。
  • 第三种，是大健康消费，随着老龄化社会的推进，大家对自身身体的意识会愈发强烈。在这样的背景下，无论是无糖饮料、运动健身、保健品，还是健康快餐领域，都将在这个趋势中持续发展。