你好，这是我的第32篇newsletter。最近很忙，但是同时也感觉很充实快乐——但是每个秋季学期都超级忙碌是什么隐含的定律吗？
最近很喜欢的一张照片。是在一片艺术气息比较浓厚的街区随手拍的，除了天气很好，还能感觉到既有点繁华又有点老旧，有点明亮有有很多阴影。很容易让我想到在那些画廊看到的作品，风格迥异，千姿百态，他们甚至不愿意加上一个小标牌来做注解，让人觉得可以这样也可以那样理解。偶尔会享受这种随意而不着痕迹的感觉（确实是一种很抽象的感觉）。
What's new
首先，关于平台迁移的问题，我（目前）反悔了！
之前在考虑要不要换一个地方写东西的主要原因是：竹白的数据确实更新得不是很及时, 无法真实地反映阅读情况。虽然我不在意关注度，但是作为一个想要做data scientist的人，这种不好用的数据看板真的多少让人感觉有点难受，然而找新平台也还是让人很纠结。
对于新平台的选择上，其实我最开始想到的是是✨小报童✨，也就是「产品沉思录」所在的平台，但是小报童只支持订阅付费，并且里面提到，如果想要选择「免费订阅」推荐移步微信公众号。
其实我之前也有想过开一个微信公众号的，但是又感觉如果所有人都可以轻易看到我的内容，我写的时候会有所顾虑，会忍不住在意那些我甚至都不认识的人会怎么样想。愿意用邮件订阅 Newsletter 的人，我可以认为在一定程度上和我是“同好”，我想那么我写的东西他们应该多少可以get 到一点吧，所以这像是一个天然的筛选机制。然而作为一个没什么影响力的小作者筛选带来的结果就是，也没剩下多少人了😂但如果让我选择我仍然觉得就现在这样更好。
如此一来，我突然很可以理解一些“特立独行”的文艺工作者，无论是作品的形式还是宣传的渠道上，如果他们选择了“不走寻常路”，或许有一层隐含的意味：那些特地走上这条路来看这些作品的人中，更可能会出现真正的知音吧。
排除了“小报童”，在进行一些自主的搜索并发现不是很有收获之后, 我选择尝试追随一个“大V”的脚步，就是AIGC周刊🤣 该作者将写作迁移到了Quail上，所以我也开了一个Quail 账号。但是体验下来我觉得 Quail 的编辑器有点奇怪，类似 markdown 但又不完全是，作为一个写 Newsletter 是想要感受“写东西本身”的人来说，我觉得不是很适合我，形式的限制阻碍了我写东西的流畅度。可能这样的平台更适合做增长吧。
所以最后想来想去（其实也没有想很久了），还是决定继续先用竹白。原因：一是我之前接触到的很多优秀作品还是都在竹白上更新的，例如声动活泼，有这些“品牌背书”，这个平台似乎应该没有大问题；另外竹白虽然本身功能有待改进，但是似乎有热心网友做了这个 竹白专栏检索， 可以让自己的内容被更多人看到；最后，就以此保留一些和只用微信订阅的朋友的联系吧。
显然，上面的分析是不MECE的，一个很自然的问题是：难道就没有一个好用的免费的大众的 Newsletter 平台了吗？答案当然是有，那就是 Substack，不过我已经先一步决定用Substack 写英文内容了，目前已经发出来了2篇，虽然 Substack 完全可以写中文，我甚至也可以中英推送轮流写，不过还是感觉还是分开比较好。简单粗暴一点来说，我希望 Substack 一眼望去都是我练习英语的痕迹😂
✨ 这是我的Substack主页✨ https://substack.com/profile/86962459-lucine?utm_source=profile-page 目前发了2期，欢迎浏览以及订阅～ 不喜欢读大段英文的话，也可以欣赏一下插图以及图片的题注（手动狗头）
📍📍ATTENTION please📍📍其实我已经很厚颜无耻地把竹白上「用邮件订阅的用户」添加到 Substack 的订阅名单里了，如果你好奇去看有多少人的话会发现用邮件订阅的人真的很少🥲 如果你也是其中的一员，理论上你应该会在我发出第3期之后收到邮件。其实我在 substack上的第三期已经写好了，只是感觉需要这边先发一下说明再发那边比较合适一点。毕竟这是一波先斩后奏，所以如果你觉得打扰到你、或者不喜欢英文版、或者只是不想收到邮件，请取消订阅哦（此处响起BGM：我不难过🎵）。
补充：两边的内容是不一样的，英文版并不是用中文版翻译过去的哦！
一些思考&文章推荐
🔑 引入：关于 AI Safety & Learn from the past
最近听了一场关于Generative AI 与 Human creativity 的讲座和一场关于 The Ethics of Generative AI 的讲座，也看了一些和AI Safety 相关的文章，逐渐发现AI 是「从过去的数据中学习」这一点似乎其实是很多讨论的重要前提和内核。
首先来分享一些对于 Generative AI and Human creativity 这一场的一点总结和思考：
-
关于AI 与创造力
- AI 可以生成图像、视频、音乐等丰富的内容，但是AI生成的这些东西真的具有“创造性”吗？一个可能的反驳观点会是：AI只是从过去的经验中获得经验，只能是在现有的材料基础上进行拼接。但在讲座中嘉宾提到，其实人类的创作本质上也是如此，也是从现有的内容中汲取灵感，并寻求巧妙的变化。
- 我个人是认可这一观点的，人们会认为某些东西属于天马行空的想象（比如一些奇妙的比喻），很多是因为我们自己之前从来没有想过，这两种事物还可以通过这种奇妙的方式联系在一起，例如诗词中运用的某些精妙的意向，或者乐曲中发现某些音符的组合可以产生美妙的旋律🎶。
- 因此在创作方面，或许可以说AI擅长发现联系，但是人类更加擅长？并且人类的擅长之处在于不需要学习那么多的东西就可以很灵性地捕捉到一些奇妙的联系。而对于AI本身到底是不是在创造的问题，我觉得可以引用一下半拿铁播客开场引用的那段话：「问AI到底会不会思考就和在问潜水艇会不会游泳是一样的道理」。
-
关于AI创作的未来
- 讲座嘉宾一直强调：创作的未来不是 Human OR AI 而是 Human AND AI。人类可以在 AI 的帮助下创造出更好的内容，这倒是事实。
- 如果说 OR 是取代，AND是共存，当然很少有人会觉得未来就是一个人类和AI二选一的世界，但这里没有区分的一个变量是「场景」。人类永远可以用 AI 作为工具去创造，不过这是兴趣的场景，而如果换成是工作的场景，尤其是一些不需要很多技巧的工作，那可能确实就是 Human OR AI；并且因为 AI 成本更低，所以有些岗位是有可能演化成就是AI 的（I guess）。
- 所以我们还是需要在自己的专业领域不断精进，努力成为掌握高级技能的工具使用者。
-
关于AI作曲如何影响现在的创作者
- 这个话题主要是围绕AI生成音乐领域展开的
- 讲座的嘉宾强调：人们喜欢某个歌手的歌不仅仅是因为音乐作品本身，而是因为感受到和这个歌手本身产生的连结，例如觉得“这个人”给了自己很多陪伴/鼓舞之类，甚至觉得歌手就像是自己的朋友一样（举的例子是Taylor Swift 和 Beyonce）所以其实AI不太能撼动现在创作者的地位。
- 虽然我也觉得具有独特人格魅力的创作者仍然会继续受到大家的喜爱，但是AI到底会不会影响他们的作品是另一回事。
- 首先不排除有人只是在单纯欣赏作品，如果AI真的能创作出好听的作品那必然是会将用户吸引过去的；另外在情感连结方面，虽然我个人一直更倾向于在现实中和真人产生情感连结，但是不可否认也有很多虚拟偶像也让很多人倾注了情感。虽然AI生成的音乐本质上是一个“机器”生成的，但是给这个“机器”赋予一个生动的外壳是很容易的，同时也更容易让这个“外壳”成为人们理想中完美的样子，进而使其更能被人喜欢。
- 隐约感觉到这种转变就像是：从纸质书到电子书；从铅笔蜡笔水彩的手绘到板绘再到AI生成图像，看上去整体的进程是不可逆的但又让人相信那些旧时光里的喜爱不会消失。不知道更加长久的时间以后人们的热爱会变成什么样子呢。
（Physics 楼里的一个小空间，立柱都是真正的黑板：随时开始研究，随时记录灵感😆）
延续上面关于AI的讨论，这次就只推荐一篇相关的文章吧，关于这篇文章多写一点点：
🔑 文章： Goal Misgeneralization: Why Correct Specifications Aren't Enough For Correct Goals
这是我前一阵子看到的一篇非常有意思的文章，只看标题可能有些迷惑。它的背景是关于 AI Safety, Goal Misgeneralization 是 AI 会产生安全问题的一个方面。简单来说可以理解为，这个模型训得很好，但是出于某种原因在实际运行中它没有去追求那个我们真正想要的目标。 这里面举的例子都很有趣，通过这些例子我们能对这个问题有一个很直观的理解。
下面我浅浅列举其中两个例子，在我个人理解中它们体现了这个问题的两个不同侧面：
📍 例子一：简单来说，我们的真正目标是让一个主体A去按照特定的顺序去追踪一些球体的出现，但在训练的过程中又引入了另一个主体B，可以将它认为是“专家”或者“带领者”，它将带领主体A去追踪。训到最后，当我们把这个“带领者”和我们真正的目标分离，也就是让这个“带领者”完全不按照正确的顺序去完成任务的时候，“学习者”A还是会跟着它，即使这样做是对A的reward是有负面作用的，即A实际学到的东西是跟着B，而不是我们真正的目标。
因此，当有两个目标总是同时出现的时候，我们并不知道模型到底学到了「哪一个」；有朝一日这两个目标不再一致的时候，就会暴露问题，有可能会导致严重的后果。在这里你可能会想，那干脆别引入这个“带领者”，问题不就解决了吗。如果我们知道这些隐藏的、具有协同性的目标都是什么的话，当然尽量避免这种混淆就可以，而问题就在于在复杂的系统中我们很难提前判断清楚有哪些这样的“隐含”目标，因此也很难提前避免这种问题的出现。
这很自然地让我联想到一些其他相似的概念，例如“有相关性但没有因果性”，以及另一个更加直观的例子，就是巴甫洛夫的狗（笑）。我感觉有意思的点在于：生命体也会出现这种“混淆”，甚至我们人类当观察到两种事物总是同时出现的时候，也会出于思维的惯性地默认他们就是一致的，并且任选其一作为我们“决策”的目标。
有些时候，我们自己也很难意识到这一点。例如很多品牌营销都是在把产品的形象和代言人的形象绑定，我们在因为喜欢代言人而购买某种产品的时候，实际上我们心中多少是希望成为代言人的那种样子，但是却把这种希望投射在对某种特定产品的消费上，而产品本身并不是我们真正的“目标”—— 当然我知道还有很多其他类型的动机例如支持代言人的商业活动之类，这里只是举个例子。
（看出来这是一个纸巾盒子堆出来的巨大南瓜了吗）
📍 例子二：第二类例子是模型无法预料到的现实情景的变化。模型总是从过去的经验中学习，所以如果当未来的情景完全改变了（对应到术语就是 data distribution 变化了），模型就很难做出对于新情景来说最合理的判断。文章给出的例子是一个游戏：我们的目标是收集苹果🍎，但是同时要防御怪兽👾，防御的方式是捡盾牌🛡️。如果我们只用最开始的25个步骤去训练模型，模型学到的就是如何在捡盾牌🛡️以避免挂掉和捡苹果🍎得分之间进行trade-off；但是实际上，如果游戏进行的时间再长一点，我们就会发现游戏中的👾最后是会被全部消灭掉的，所以在此之后只要学怎么更多地捡苹果🍎就好了。而如果模型训练的时候完全没有接触过没有怪兽的情景，它不会做出这种调整，还是会去捡一些盾牌🛡️，但这样显然就已经不是最优的玩法了。
除此之外，我想生成式模型生成出来一些含有 bias 的东西也是一样的道理。尽管一代代人努力地让社会不断进步，变得更加公平和谐，但还是有很多的问题已经存在于过去的信息中了。例如在 The Ethics for generative AI 的讲座中，嘉宾提到，过去的各种旧的规章制度也隐藏在训练数据中，他举的例子是：直到1974年女性才可以独立开自己的银行账户（不确定该政策的适用地区是否是美国还是什么其他地方🤔，这里就不继续严谨查证了）
Aside from earning higher pay in the workplace, women also won greater control over their finances in the 1900s. In 1974, the passage of the Equal Credit Opportunity Act allowed women to open bank accounts, apply for credit and commit to a mortgage without needing a male co-signer.
在我之前的理解中，AI 会产生偏见不就是由于数据中本身存在着这种偏见，所以是一个很“自然”的结果，没有太多可以讨论的，能做的只是去减少现在的偏见。但我最近认识到的一点是，如果AI还总是向现在的人们生成根植于过去的那些东西，就有点像是在“翻历史旧账”，就好比人们好不容易争取到了一些平等权益，一定程度上推动了进步，但却有一个强大的、让人捉摸不透的系统还在时不时地吐露那些人们刚准备翻篇的故事，如果从这个角度想的话，生成式AI产生的偏见确实是一种强大的阻力，应该要想办法去修正。也就是说，我们不仅要在现实中避免新的偏见产生，也要通过一些方法让模型不要再去总结过去的偏见，即使这些偏见确实是存在于过去的数据中的。
其实文章后面还有几个同样有意思的例子，在此就不一一列举了。
这篇文章主要目的在于给出我们各种情景，但是没有提到解决方案。其实我本身也不确定这种问题最终是否能有一个解决方案——即使是换成人类，又有多少人能摆脱自己的思维定势，脱离过去的经验去高瞻远瞩地预测完全不同的未来呢。例如5年前谁会想到“大力出奇迹”的语言模型竟然可以创造如此这般的奇迹呢，但是GPT背后的团队还是在有确定的结论之前就开始重金投入、孤注一掷地进行探索，不得不说很佩服他们的胆识和远见了。
—— 所以，当我们在说“模型只是在从过去的经验中学习”的时候，我们期待的那个“不只是”的另一面又是什么呢？
Chat
🎈 路上看到一个可爱的牌子。可惜我的 Coffee 的 Best Friend 是我的 Laptop💻 ，或者说 Laptop 虽然天天见，但也只是Business Partner，Book 是那个虽然只是偶尔见见但却真正知心的 Best Friend ？
🎈 最近其实也会遇到不少非常tricky的事情：可能会带来很大的影响的事情、落空的期待、费解的任务、未知的挑战......但是惊讶地发现相比于之前自己好像冷静了不少，开始思考如何解决问题，做一个problem solver，虽然也不知道解不解决得好...... 逐渐成为一个情绪稳定的留学生，某种程度上已经算是一种胜利（或许吧）
🎈 于是最近经常提醒自己的一句话是：Keep your spirits high✨✨，有一瞬间突然想到中学的时候看《陪安东尼度过漫长岁月》其中某一本里说：「走在路上的时候，要把灵魂高高地挂起来」，发现应该就是这个意思吧。有时候会觉得那种碎片化文学里面一些没来由的句子莫名还挺治愈的？
🎈Empower yourself ！
感谢你的阅读，I will see you soon～
