What‘s new：「涌现」与科技的祛魅

最近看到的一篇深度好文，从技术的角度很全面地介绍了大语言模型所能涉及的各个方面，并且个人感觉是在之前看过的这类文章中写得最通顺流畅的。不仅介绍了技术原理，也阐述了原理背后的逻辑思考，有很多地方都值得多读几遍。例如，文章阐述了一些和LLM相关的典型现象，其中之一就是“涌现”。“涌现”在文章中的定义：

指的是当模型参数规模未能达到某个阀值时，模型基本不具备解决此类任务的任何能力，体现为其性能和随机选择答案效果相当，但是当模型规模跨过阀值，LLM模型对此类任务的效果就出现突然的性能增长。

我想这也是大众对于「AI突然就变得特别强了」的一种直观感受。文中提到出现「涌现」的原因可能有二：

之前的评价指标不够平滑：「有些生成任务的判断标准，它要求模型输出的字符串，要和标准答案完全匹配才算对，否则就是0分」。
之前的任务只要有一环做不对就不行：「有些任务由若干中间步骤构成，随着模型规模增大，解决每个步骤的能力也在逐步增强，但是只要有一个中间步骤是错的，最终答案就是错的，于是也会导致这种表面的“涌现能力”现象。」

这样模型逐步修正结果的过程就没能够从指标中体现出来。

读到此处突然感觉到，人的认知与思维也存在“涌现”的现象，「涌现」对应于现实生活，很像是我们「顿悟」的时刻。比如看了很多零零散散的东西之后，可能感觉不到自己的认知有什么提升，但在积累到了一定程度之后，在某一个瞬间，就会突然领悟到要义，感觉很多东西都融会贯通了。所以当我们专注于某个领域的学习时，不要为短时间感受到的「没有收获」而垂头丧气，要坚持下去，相信积累的力量。只要方法得当，总会有量变产生质变的时刻。

此外，还有一层意味的「涌现」是各种各样技术与产品的涌现，这是伴随着「AI突然变强了」带来的「AI突然变火了」。但其实深究人工智能发展历程大抵可以看出，很多很先进的思想出现的时间早到令人惊讶，只是由于当时的理论、技术、数据等条件不都完备，所以被实现的时间延后了好几十年。在感叹如今的发展竟然是如此迅速的同时，如果想到在几十年前就有人提出的了这样的观点，并且后人一直走在实现它的路上，又会感到一些时代发展的必然性。AI也是一个蛰伏了多年的领域，所以，在面对各种趋向于「神化」AI的言论中，如果能从技术与历史的角度来审视，或许可以进行一些「科技的祛魅」。

上面这段思考也是听播客得到的一点启发，相关播客的详情将在下面的「本周精选」栏目介绍（一个承上启下的小动作🤣）

本周精选

播客推荐

✨人工智能发展史，听播客跟听评书似的✨

🎙 半拿铁｜人工智能风云录系列

超级超级推荐的一个系列✨！目前出了三期，简单来说就是一个评书版的人工智能发展史，两位主播讲述非常生动有趣，内容也是干货满满。从节目中可以解了很多该领域的大师，并且通过“符号派”、“逻辑派”、“行为派”等流派的演变中（第二期）也可以把握人工智能发展的脉络。

以及听完第二期忍不住评论了一句“太精彩了”竟然被主播点赞了😆

No.39 🤖人工智能风云录之图灵开天香农辟地

No.41 🤖人工智能风云录之称霸江湖的符号派：野心与挫败

No.42 🤖人工智能风云录之两次寒冬与机器学习的崛起：数据和知识

🎙 张小珺Jùn｜商业访谈录

再来一期其他节目的单集：商业口述史：从美国往事，到Google输掉Open AI第一局。讲的是最近几十年人工智能公司的商业竞争史。这期是在即刻上刷到的，推荐文案写的是「这是我免费就能听的东西吗」，于是非常好奇。听下来感觉主播口才很不错，讲得确实也有点评书内味儿（不过个人感觉没有这个文案说得这么惊艳）。这期可以从行业内竞争和公司发展历程的视角对上面几期从学科视角讲述的人工智能发展史进行很好的补充。

✨一些其他单集推荐✨

🎙 知行小酒馆｜E77 从今天起，为自己创造好运

虽然标题看上去是挺老生常谈的，不过听下来感觉聊的内容都很具体，听众基于各自不同的人生经验，应该能够从中各取所需，得到一点启发。

🎙 声东击西｜#248 一张影响世界的地图，与数字中的疫情三年

数据仪表盘（dashboard）常常被描述为「通过数据可视化来支持决策」的工具，制作数据仪表盘是一些数据分析人的常见工作。不过当对象锚定为新冠疫情数据、尺度扩展到全球范围，这件事情就变得庞杂且意义重大。这期播客讲述了约翰斯·霍普金斯大学的董恩盛和其团队三年来为了制作一份「全球疫情发展图景」所付出的不懈努力。

如果只讲「数据可视化」似乎听起来没什么厉害，但在这样一个简洁的仪表盘背后却是各种数据统计口径的确认，为保护个人隐私做出的调整，面对公众期望的努力与妥协......听下来会觉得实在是太不容易的一件事情了。

An image to describe post

书籍推荐：在好奇心驱使下买的两本书

📓 祈祷之海

科幻作家格雷格·伊根的中短篇小说合辑第一卷，里面有8篇作品。其实之前不怎么看科幻小说的，但是最近由于对AI很有兴趣，加上工作日午餐都是一边补「三体」电视剧一边吃的（误），所以也对科幻小说产生了一定的兴趣。

这本书的推荐语非常炫酷，其中第一句是「极致的唯物主义美学，绝对的认知快感！」。读下来觉得此言不虚！至少作为比较少接触科幻小说的读者来说，里面瑰丽的想象和深邃的思考比较能打动我，而且作为中短篇小说的篇幅也不会让人觉得过于沉重。此外，这本书虽然是最新出版的，里面的作品大多都是20多年前写的，看着多年前作者对于「未来」的想象如今已经展现出实现的可能，也是一种很奇妙的体验。

📓 白鸟与蝙蝠

最近总是路过的书店有一个很大的落地玻璃窗，近些日子一直在展示并推荐这一本东野圭吾的新作品。「超越这部作品，是我今后的目标」这样的作者宣言很难不让人产生好奇。从个人体验来讲，该书作为实习一天之后的放松读物还是比较合适的，情节有吸引力，也还比较符合逻辑。不过总感觉少了一点点厚重感，在豆瓣书评上看到这样一句话：「书里的人物都没有脸」，仔细一想大概厚重感的缺失就来源于此——感觉小说偏重情节的推进和悬念的设置，而对很多人物的形象尤其是关键人物的心理刻画得比较少，所以对于「为什么会产生这样的情感」铺垫得不多。不过或许这类小说的定位本就是让读者体验悬疑与推理的快感，而不是要深度探讨人类心理（没有任何贬低的意思）？所以总体上还是不错的作品吧。