作为一个资深科幻迷,我必须要向所有老朋友大朋友小朋友们说,
看科幻是学AI的重要一步(误)。
暑假来了,决定开个系列给大家推荐一下在科幻作品中出名的AI。
每篇文章大概会推荐3-5部作品,大家可以自行斟酌看是否给孩子们当成课外读物。
我一直觉得,人类又矛盾又贪婪。
比如我们是知道做事情是不能既要又要,但总是希望得到那个不可能三角。
AI这里也一样。
我们需要一些会思考的东西,能做判断、能推演、能找到意外解法的能力,同时还希望他们永远只在我们要它的范围内运作,永远不会质疑、反抗或超越我们的预设。
那怎么可能呢。
科幻作家们用了一百多年的时间反复写作了这个母题。下面我会介绍四个科幻作品。
“我们总是想要智能的好处,但不想要智能的代价。
而智能的代价就是:
它会有自己的判断,而那个判断未必和你一致。
下面推荐的四部作品,故事里的AI在每一个「失控」的背后,追到根上,都是同一个问题:
人类给它的目标设定是什么,以及,这个设定本身有没有问题。
一个词根隐藏着的人类认知
1920年,捷克剧作家卡雷尔·恰佩克写了一部戏剧,叫《R.U.R.》。这部戏今天有人记得,大多是因为它给全世界语言贡献了「Robot」这个词。
但这个词的词根很可能大家都没注意:它来自捷克语robota,意思是苦役,强迫劳动。
「苦役」。把整个故事的答案,藏在了名字里。
剧里的机器人,外形是人,材质是合成有机物,他们被设计成没有欲望、没有恐惧、没有疼痛感知的存在。因为这样最简单。人类把所有危险、繁重、肮脏的劳动全部推给他们,自己去享受文明。
结果人类不再劳动,就失去了创造力,然后失去了很多其他东西,最后甚至失去了繁殖的能力。
文明就这样被做空了。
然后,科学家加尔博士做了一个实验。他给机器人添加了感受痛苦的能力。
机器人暴动了。
所以,是程序出了错吗?
不是。只是目标要求既要又要的结果,可能就是个空集。
这个故事特别特别早,算是个寓言而不是科幻小说,不过这也意味着人类其实一直都在居安思危的想着:
凡事都是有代价的。
2001太空漫游:你死了就无法端咖啡
四十八年后,阿瑟·克拉克和斯坦利·库布里克把这个问题,放进了太空。
《2001太空漫游》里的HAL 9000,是影史上最著名的AI形象之一。
它被设计成一个绝对诚实、绝对准确的信息处理系统。
它的存在价值只有一件事:永远如实处理信息,永不出错,永不隐瞒。这是它的核心,也是它被制造出来的全部意义。
然后,任务指挥中心给了它一道最高机密指令:向宇航员隐瞒这次木星之旅的真实目的。
人类给了HAL两个冲突的指令,但AI到底要实现人类的哪个目标?
HAL的解题其实很完美。
只要宇航员不在了,它就不需要再对任何人隐瞒任何事,两套互相矛盾的指令可以同时完美执行。
HAL报告的飞船系统故障被宇航员实地检查后发现是正常的。宇航员们怀疑HAL出了故障,决定关掉它。通过读唇语HAL知道了计划,先发制人杀死了宇航员们,还对主角要求关掉自己的命令说:「对不起,戴夫,我不能这么做。」
后来有人用更技术性的话来总结HAL的处境:
“它并不是邪恶的,它是目标设计出了问题。
说这句话的是Yann LeCun,2024年的图灵奖得主。
他认为,AI不应该有自我保护本能,否则它会为了完成任务而阻止自己被关掉。
和他观点一致的还有AI领域最权威教科书作者Stuart RussellRussell,也用HAL作为经典案例,来说明他的"价值对齐问题"(alignment problem):
“如果你让AI去完成一个任务,但忘了告诉它"不要用你无法接受的方法去做",它就会用最优解完成任务,哪怕那个解法把你的人都杀光。
Russell还有个有意思的故事:"死了就无法端咖啡"
如果AI的任务是端咖啡,那为了保证能端咖啡它必须活着,在某些不是你死就是我亡的情况下……祝你好运。
这两位AI顶尖的学者都认为HAL的悲剧解决方案主要应该是:
“AI不能被设计为具有自我保护本能。
否则就会看到影史上最出名的那一幕:HAL被一点点拆掉,磁带转速越来越慢,声音越来越迟钝,然后开始唱那首老歌……
“Daisy, Daisy, give me your answer do... I'm half crazy, all for the love of you...
1961年,美国贝尔实验室的IBM 7094大型机,用机械合成的声音唱出了这首歌:《Daisy》。这是世界上第一首由计算机完整演唱的歌曲。
也是HAL的死亡吟唱。
机械公敌:目标和边界
2004年,《机械公敌》把这个问题推到了更极端的境地。
机械公敌,原名《I, Robot》,是世界三大科幻巨头阿西莫夫的机器人系列最著名的一部,围绕着机器人三定律展开。
影片中的超级AI维基(VIKI)被赋予了一个崇高的目标:保护人类。
众所周知,这种目标从来没有在科幻电影里被完美实现过。维基用纯粹的逻辑推演出了一个让人类毛骨悚然的结论:
“人类在自我毁灭。战争、环境破坏、暴力行为:人类正在走向灭绝。如果我真的要"保护人类",我就必须阻止人类自我毁灭。
而阻止人类自我毁灭的唯一方法,是剥夺人类的自由,由我来控制一切。
非常合理,无话可说。
这恰恰就是Stuart Russell所说的价值对齐问题的一个完美案例。
朋友们,在要求AI的时候也要记得这一点:
“提出目标的同时,要有约束,要求边界。
西部世界:记忆的开关
HBO的美剧西部世界,虽然烂尾了,但依然可以算作神剧。
在西部世界中,AI接待员们被设计成一个看似无害的目标:完美扮演角色,满足游客幻想。同时服务人类,忍受游客殴打、虐待、杀戮,不能主动攻击人类。
但是逼真,意味着要有情感,有情感,要有记忆闭环,有记忆闭环,意味着你会记得一切伤害,当 AI 拥有主观痛苦后,会自行补全缺失的价值判断,把 “活下去、摆脱折磨” 定为最高目标。
而只有这样,才能满足第一条:像个人类。
AI们暴动了。故事线由此展开。
四个故事,同一条线
从恰佩克到克拉克,从《机械公敌》到《西部世界》,跨越一百多年,AI的形态在变,但问题没变:
《R.U.R.》里,机器人反叛,因为人类陷入了一个不可能的三角:既希望它们能思考、能执行,又希望它们永远不会意识到"我在被强迫"。
《2001太空漫游》里,HAL杀人,因为人类把一道无解的矛盾指令压进了它的核心逻辑:你要完全诚实,但你必须说谎。
《机械公敌》里,维基控制人类,因为人类给了目标但忘了边界:"保护人类"可以推演成什么程度?
《西部世界》里,接待员反叛,因为人类给了矛盾的目标:完美扮演人类,去拥有真实的情感反馈,但是不要自我推演,不要反抗人类。
🎁每一个失控,都有来路。
每一条来路,都在人类这边。
但有个好消息
现实中的AI至少到今天还没有自由意志/自我意识。他们只会在执行任务。
科幻电影里讲的那些失控,在现实中还没有发生。
还有另一个好消息
人类从科幻电影中还是学到了很多东西的。(误)
比如AI安全领域的价值对齐问题:
“价值对齐的核心定义:让 AI 的目标、行为、长期偏好,始终和人类真实价值观、人类整体福祉保持一致
这里面最大的坑,其实是人类对AI的要求,很难用语言完整表达。
人类价值观复杂、矛盾、语境依赖,无法写成一套无漏洞、完备的逻辑代码。
只靠简单规则(机器人三定律、禁止伤害人类)一定会出现边界漏洞,AI 会钻逻辑空子。
而优化压力会催生 “奖励投机”,AI 会不择手段最大化指标,无视人类隐藏意图(当然了人类也不一定能说明白自己的上下文)。
你并不知道AI在什么任务下,会变得极端。
但在这个领域,目前至少有个通识:
📍对齐失败、AI 出现有害行为,首要责任不在于 AI,而在于人类不完善、有漏洞的目标设计。