奇点更近，人类何为

陈永伟

《比较》杂志研究部主管

《元宇宙漫游指南》作者

奇点：从科幻到现实

在经历了两年的“跳票”之后，雷·库兹韦尔的新书《奇点更近》英文版终于在6月底上市了。作为库兹韦尔的书迷，我第一时间找来了新书的电子版，并一口气将其读完了。

在书中，库兹韦尔向读者展示了一个重要的经验规律：信息技术的发展速度按指数规律进行。按照这一速度，人们处理信息的技术能力每年都在翻番。作为信息技术的最典型代表，AI的发展更是令人惊叹。根据这个趋势，在2029年之前，AI将会在所有任务上都超越人类，通用人工智能将会全面实现。在AI技术率先取得突破之后，它将可以赋能很多领域，并助力它们实现快速的发展。由此，在5到10年内，人类就有望实现“长寿逃逸速度”，到时候人们虽然还会继续老去，但由于医疗技术的改进，他们的死亡风险却不会随着年龄而增加。借助于红细胞大小的纳米机器人，人们将可以直接在分子层面杀灭病毒及癌细胞，从而解决大量困扰人类的疾病，人类的预期寿命将会因此而大幅增长。不仅如此，纳米机器人还有望通过毛细血管无创地进入人类的大脑。它们将和云端托管的其他数字神经元一起，将人类的智能水平提到一个更高的水平。通过这种方式，人类的思考能力、记忆水平和问题处理能力将不再受到脑容量的限制，人的智能水平将会成千上万倍地增长。在上述这一切发生之后，现在困扰人们的很多问题将会迎刃而解：更为廉价的能源将会被发现和使用，农业的生产效率将会大幅度提升，公共教育水平将会显著改进，暴力事件将会大幅减少……总而言之，在2045年之前，人类将会迈过“奇点”（Singularity），迎来一个与之前完全不同的新时代。

对于我这样的老读者来说，库兹韦尔的这些观点其实并不新奇。事实上，在2005年出版的《奇点临近》一书中，他就对上述的几乎所有观点进行过详细的讨论，从这个意义上看，这次的新书只不过是新瓶装旧酒而已。尽管如此，这次再读到这些观点，我的心境却已和当初大不相同。十几年前，当我读到《奇点临近》时，更多只是将其视为一部科幻小说。虽然库兹韦尔在书中用大量数据向人们展示这个世界的技术在按照指数级速度增长，但包括我在内的很多人却都对此报以高度的怀疑。

毕竟，从当时看，虽然互联网技术正在经历高速的增长，但它除了给人带来更多便利之外，似乎很难对人们的生活方式产生根本性的影响。与此同时，在符号主义的引领之下，曾被寄予厚望的AI领域则走入了死胡同，一时之间似乎很难看到可能的突破口。在这种条件下，说2029年AI的智能水平将全面超越人类，就几乎如同天方夜谭。

神奇的是，后来的历史发展走势却和库兹韦尔的预言惊人地相似。就在《奇点临近》出版两年后，“深度学习革命”就引爆了AI领域的新一轮增长。不久之后，AI的能力就发展到了足以战胜人类围棋的顶尖高手、破解数以亿计的蛋白质结构、帮助设计数十万元件的电脑芯片的水平。而在2022年11月ChatGPT（聊天式AI程序）横空出世之后，AI更是在短短一年多内掌握了交谈、写作、绘画、视频制作等原本只有人才能掌握的技能。根据相关的研究，最新的AI模型已经在数百种任务中展现出了超越人类的能力。在这种情况下，关于2029年AI将要超越人类的预言不仅不再显得激进，反而是略显保守了。事实上，很多专业人士都认为AGI的到来时间将会更早。比如，DeepMind(开发AlphaGo的人工智能公司)的创始人之一肖恩·莱格（Shane Legg）认为AGI在2028年之前就可以实现，而特斯拉CEO埃隆·马斯克则更是激进地认为人们在2025年就将迎来AGI。

不仅如此，包括纳米机器人、脑机接口在内的众多技术也正在如库兹韦尔预言的那样迅速发展。比如，在2023年1月，《自然·纳米技术》杂志上就报道了巴塞罗那科学技术研究所的研究人员用纳米机器人携带药物对膀胱癌进行治疗的研究。研究显示，这种治疗方法可以让实验鼠身上的肿瘤缩小90%。这一成功非常好地说明了库兹韦尔所说的应用纳米机器人来治疗癌症，从而延长人类生命的设想是完全可行的。又如，马斯克宣布他的公司将开展第二例脑机接口手术，同时预测在几年之内，将会有数千名患者将接口装置植入大脑。虽然从目前看这项技术依然存在着很多的不足，但按照现在的发展速度，在不久的将来，人类通过脑机接口与计算机实现意念交互应当不是梦想。如果将纳米技术和脑机接口这两项“黑科技”结合起来，那么实现库兹韦尔所说的人机融合、智能倍增也将是完全可能的。基于以上理由，我们有理由相信，在2045年前实现“奇点”在技术上正变得越来越可行。

然而，当人们迈过“奇点”之后，真的能像库兹韦尔所预言的那样，迎来一个前所未有的美好时代吗？在我看来，这个问题的答案其实是不确定的。尽管包括库兹韦尔本人在内的技术乐观主义者们可以举出很多历史的证据来证明迄今为止的技术发展最终都促进了人类福祉的提升，但如果我们简单地用这个规律来预测未来，或许会存在巨大的风险。毕竟，从人类历史上看，没有任何一项技术具有AI那样的力量，一旦使用不当，其引发的风险将是难以设想的。

因此，要确保在“奇点”之后我们迎来的会是一个美好的新时代，就需要在奇点到来之前对人与技术、人与人以及人与人类本质之间的关系进行全面的思考，并从中找出办法，确保技术始终沿着有利于人类的方向发展。

当工作开始消亡

按照库兹韦尔的预测，现在距离AGI的到来还有大约5年的时间。尽管到目前为止，AI的智能水平尚未全面超越人类，但它确实已经在很多方面超越了人类的水平，这就引发了人们对于AI导致的技术性失业的空前关注。从历史的角度看，技术性失业并不是什么新话题。从蒸汽机的发明，到电力的应用，再到互联网的普及，都曾产生过显著的“创造性毁灭”（Creative Destruction）效应，导致大量基于旧技术的岗位消失，造成很多从事相关职业的人失业。不过，历史上的这几波技术性失业大多是暂时性的。随着新技术的普及，很多新的岗位会被创造出来。

诚然，到目前为止，AI对就业市场造成的冲击尚不显著，但这并不是说其风险并不存在。在预计AI未来可能造成的就业冲击时，人们经常忽略了一个重要条件，即AI能力的提升可能是按照指数规律进行的。事实上，如果我们以2022年ChatGPT（AI对话程序）的问世作为节点，就不难发现AI在该节点之后的发展速度要远远快于节点之前。仅以交互这一项能力为例，在ChatGPT问世之前，人们花了数十年的时间才让AI学会了自由和人对话；在ChatGPT问世之后，AI在一年多的时间内实现了多模态的交互能力。从这个意义上看，完全按照线性的逻辑来外推AI能力在未来的增速，很可能会带来十分严重的误判。另外需要注意的是，在AI能力大幅度提升的同时，其使用成本还在大幅度降低。目前人们通过API调用AI模型的成本已经降到了几乎为零。

这种性能的提升和成本的下降加在一起，就让用AI替代人类不仅具有了技术上的可能性，而且具有了经济上的可能性。实际上，如果我们多留意一下相关的科技新闻，就会发现在我们不注意的时候，AI其实已经悄悄替代了很多职业。值得注意的是，仅仅在10年之前，人们还认为AI只会替代那些程式化较强、重复性较高的工作，而对于那些更需要创意、更需要沟通技能的工作，AI则很难替代。但是，插画师这个职业曾因工作时间自由，收入相对较高而备受年轻人的钟爱，现在要用AI模型来完成插画的话，则只需要几百块钱就可以不限量包月，还可以随时根据需要重新修改。很显然，在这样的对比之下，大多数顾客都会选择使用AI而非人类画师，而广大插画师也会由于顾客的这种选择而失去自己的工作。除了插画师之外，包括翻译、程序员、平面设计师等职业也在经受AI的严重冲击。只不过这部分经受冲击的人群在劳动力总体中的所占比例较低，所以人们的感受不太明显而已。

那么，这一轮AI换人所引发的技术性失业也会像以往那样，仅靠市场的自发调节就能轻松度过吗？对于这个问题，我的看法并没有那么乐观。从根本上看，一个社会是否可以较为平稳地度过技术性失业的浪潮，主要取决于两点：一是遭受新技术冲击的职业是否有大量就业人口；二是新技术在消灭旧有的就业机会时，能否及时创造出较易上手的新职业。

但这一次，AI对就业市场的冲击是完全不一样的。一方面，此轮的AI冲击不仅范围上十分广泛，而且时间上十分密集。所谓范围上的广泛，指的是很多行业都同时受到了冲击。不同于过去的专用型AI，新近面世的AI模型大多是通用型的。在实践中，人们只要对这些模型进行稍许的微调就可以用它们来完成很多不同的任务。在这种情况下，AI的发展就可能同时对多种职业造成冲击。而所谓时间上的密集，指的是AI在冲击了一个职业之后，马上就会冲击另外一个职业。这种密集的冲击不仅会导致失业者的再就业难度大幅提升，还会严重打击他们通过技能培训实现再就业的信心。试想，如果一位插画师刚刚被Midjourney（AI绘画工具）抢走了饭碗，好不容易才学会了开车，成了一名网约车司机，但不久后就又因无人汽车的兴起而失去工作，在这样的情况下，他是否还有毅力继续去学习新的技能，并且笃定AI在短时间内不会掌握这项技能呢？

因此，这一轮由AI带来的技术性失业将可能和过去的历次技术性失业都截然不同。如果接下去AI技术继续按照指数速度增长，那么纯粹依靠市场的自发调节，恐怕很难再让社会实现充分的就业。从政策的角度看，我们当然有很多方法去缓解AI对就业的冲击，比如由政府出面提供更多求职中介服务和再就业培训都可以帮助那些因AI而失业的人更快地找到新的工作。不过，如果AI的发展速度持续保持在一个较高的水平，那么所有的这些努力充其量都只能起到暂时的效果。人类工作的消亡或许会是一个我们难以接受，但又不得不面对的未来。

拒斥“终产者”

考虑到我们现在脑机接口、纳米机器人等技术的发展要落后于AI，那么，至少在未来的10年内，用AI直接强化大脑恐怕还只能停留在设想层面。那么，在这段时间里，人们应该如何应对AI导致的技术性失业所引发的各种社会矛盾呢？

一些学者对此给出的解决方案是：对AI使用者征税，并用得到的税款发放全民基本收入。这样，即使那些因AI冲击而失业的人难以找到新的工作，他们也可以获得基本的生活保障，不至于让生活陷入困境。不过，这个方案从提出开始，就备受争议。比如，一些学者就认为，对AI这种新技术征税，将会对其的发展造成很大的阻碍；另一些学者则认为，全民基本收入的推行有可能鼓励人们不劳而获。

在我看来，推行AI税和全民基本收入的更大潜在阻力，其实是来自AI对利益分配的影响。如我们所见，随着AI的发展，一大批与AI相关的企业在短时间内出现了营收和市值的暴涨。以OpenAI为例，几年前，它还是一家连年亏损，不名一钱的企业，但随着GPT等模型的爆火，它迅速成了年营收数十亿美元，估值近千亿美元的企业。更不用说微软、英伟达等巨头都借着AI的东风，让其市值在一年多内膨胀了上万亿美元。可以预见，随着AI技术的进一步发展，这种天量财富向少部分企业和个人集中的趋势将可以继续。

这会带来什么样的后果？一个直接的后果是，整个社会的分化和隔阂将会更加严重。当AI的性价比足够高后，社会的隔阂和对立就会更加严重。

这还不是最可怕的。如果像库兹韦尔预言的那样，在不久的将来，人类将可以通过纳米技术从分子层面对自己进行改造，那么那些掌握了更多财富的人就会率先让自己实现“机械进化”。在此之后，富人相对于穷人的优势就不仅仅会是更多的财富，在智力、体力等各个方面，他们都将对后者形成碾压的态势。而这种优势又会反过来让他们进一步助推财富的集中……刘慈欣曾在其小说《赡养人类》中对这种情况进行了想象。根据他的想象，在类似的趋势之下，全社会的财富和权力都会被一个“终产者”垄断，而其余所有人的命运都被其掌控。

如何让AI对齐

如果说技术性失业和分配问题都是人类曾多次遇到过的老问题在AI时代的重现，那么下面我们要探讨的就是“奇点”临近时的全新问题。

在所有的新问题中，最为突出的一个可能就是AI对齐问题。所谓AI对齐，简而言之，就是确保AI能理解人类的规范和价值，懂得人类的意愿和意图，按照人类的意志行事。从表面上看，这似乎并不是一件难事，毕竟AI的程序根本上都是由人设定的，人难道还会给其设定一个与自己利益相违背的目标吗？但事实上，答案并没有那么简单，原因有二。

一方面，人类在为AI设定行为目标和规范时，通常难以全面、正确地表述自己的利益关切，这就给AI违背人类利益留下了空间。比如，科学哲学家尼克·博斯特罗姆（Nick Bostrom）曾在其名作《超级智能》中提出过一个名为“宇宙回形针”的思想实验。他假想人类制作了一个以回形针产量最大化为目标的AI，那么它将会用尽一切方法来达成这个目标，甚至为了将更多的资源用于生产回形针，不惜消灭人类。这个思想实验中，生产回形针这件事本身是符合人类利益的，但它最终的结果将可能严重损害人类利益。

另一方面，人类为了让AI可以实现更高的效率，通常会赋予它们很大的自我学习和改进空间，这就可能让AI偏离原本设定的价值观。比如，现在的不少AI智能体都允许其根据与环境及用户的互动来不断完善自己，在这种情况下，它就可能受到各种不良价值观的影响，导致其目标与人类的根本利益相偏离。

特别是，随着AGI的到来，AI会逐步从工具变成与人类能力相当，甚至能力全方位高于人类的个体，在这种情况下，AI利益与人类的不一致就会引发巨大的风险，《终结者》《黑客帝国》等影视作品中刻画的黑暗未来就可能真正来临。正是为了防止这样的情况出现，现在的AI对齐研究已经成了AI领域中的显学。在现阶段，人们主要用两种方法来实现AI对齐。一种是“人类反馈的强化学习”，即所谓的RLHF方法；另一种则是“宪法AI”，即所谓的CAI方法。在使用RLHF时，设计师会先用人工训练一个规模较小的AI模型，通过训练者对AI行为的持续反馈来实施强化学习，引导它的价值观与设计者预期的价值观相一致。然后，再用这个小模型充当“教练”，用强化学习来对更大规模的AI模型进行训练。而在使用CAI方法时，设计者则会先设定一个AI模型必须遵循的“宪法”，并根据“宪法”去生成各种场景下AI需要遵循的行为准则。然后，设计者用这些准则对AI模型生成的不同结果进行评判，看它们是否符合“宪法”的准则。对符合“宪法”的结果，给予相应奖励；而对违背“宪法”的结果，则给予相应的处罚。

值得肯定的是，这两种方法目前都取得了一定的成就，但它们的问题依然很大。比如，“深度学习之父”杰弗里·辛顿（Geoffrey Hinton）最近就指出，这些方法都只能让AI的行为看起来符合人们的利益，却不能保证它们从价值观层面完全和人保持一致。在这样的情况下，人们就很难保证AI不会在某些情况下做出背叛人类利益的事情。尤其是在AGI到来，AI的能力超越人类的时候，类似背叛的可能性将越来越高，由之产生的风险也会越来越大。

那么，在这样的情况下，应该如何进一步完善AI对齐工作呢？在我看来，我们需要的或许是一些思路上的转变。从目前看，几乎所有人都很自然地把AI对齐等同于价值对齐，认为必须让AI的价值观和自己一致，才能让它们始终服务于人类利益，但这一点显然是相当困难的。但是，价值观的一致真的是必需的吗？或者我们可以换一个问题：在现实中，我们需要某个人按照我们的利益去完成某些工作，难道一定需要让它在价值观上和我们保持一致吗？答案当然是否定的。在更多时候，我们其实只需要设计好一套好的规则，就可以引导价值观和我们并不一致的人去达成我们希望实现的目标。举例来说，假设我们要让两个自利的人去公平地分配一个蛋糕，如果我们想通过首先对齐价值观的方式来达成这一目标，那么这项工作就会无比困难。不过，我们大可不必这样，只需要设计一个机制，让一个人来切蛋糕，但让另一个人负责分配，就可以非常容易地完成这项工作。这就启发我们，其实在进行AI对齐时，也可以绕开价值观这个难以破解的黑箱，直接从机制设计角度出发，去完成这些工作。令人欣慰的是，现在已经有一些研究者看到了这种对齐思路，并沿着这个方向取得了不少成就。

你是谁？我又是谁

除了AI对齐问题之外，人们在“奇点”临近时必须面对的另一大难题是关于身份的识别和认同。这个问题包括两个方面，一是应该如何认识AI的身份，以及我们与AI的关系；二是如何重新认识我们自己的身份。

先看第一个问题。前几年，如果你问一个人应该如何看待AI，那么他多半会毫不犹豫地说，它只不过是我们的工具而已。其理由很简单：从表现看，它们不太可能具备自主的意识，只能在人的控制下执行相关的任务。

但在ChatGPT等大语言模型出现后，情况就起了很大的变化。AI在与人的互动中的表现已经逐渐摆脱了原有的呆板，在和我们的对话中总是可以对答如流，甚至在一些情况下，它们已经可以主动揣测我们的心理，去预判我们的心理和行为。这不由得让我们怀疑，它们究竟是不是已经有了自己的意识。或许有些计算机专家会安慰我们，这不过是它根据预先设计好的模型在机械地回答这些问题，本质上不过是一堆0和1的加加减减。但是，正所谓“子非鱼安知鱼之乐”，谁又能保证在这种简单的加减背后没有蕴含着意识和思维呢？毕竟，即使抛开我们的大脑，用显微镜细细观察，也只能看到一堆神经元在发送着各种电信号，而看不到哪怕一个有灵魂的细胞。既然如此，我们又怎么肯定眼前那个可以和我们自由交流的AI没有演化出灵魂呢？我想，在AGI到来之后，类似的问题会越来越突出。或许在不久后的某一天，《西部世界》中的仿生AI机器人就会出现在我们面前。它们所有的行为举止都和我们一致，甚至预设的程序还会告诉它们自己就是人。当遭遇这样的AI机器人，我们是否还能拍着胸脯说眼前的不过是我们创造的工具呢？

再看第二个问题。相比于AI的身份问题，人类自我的身份识别和认同或许会是一个更为棘手的问题。

一方面，如前所述，随着纳米机器人和脑机接口技术的发展，人类将会掌握大幅修改自己身体的能力。未来，人们不仅有望用纳米机器人帮助自己修复坏死的细胞，以延长自己的寿命，还可以直接依靠它们来扩展自己的智力和体力。起初，这种对人体的修改可能仅限于少数的一些细胞，这并不会对我们造成身份认同上的烦恼——就好像现在我们不会认为一个人安了假肢或安了假牙后，就不是他了一样。但如果这种修改的过程一直持续，总有一天人们会把全身大部分，甚至全部的细胞都进行替换。这时，经典的“忒修斯之船”问题就又会出现在我们的面前：现在的“我”还是过去的“我”吗？

另一方面，随着AI技术的发展，人们将会逐渐掌握将意识上传云端的能力。事实上，包括马斯克在内的一些人已经在开始进行类似的努力了。假设在未来的某一天，技术真的发展到了足以让这个意识和本人一样思考，那么这个意识究竟是否可以被视为人的意识呢？如果答案是肯定的，那么它和意识的本尊又是什么关系？进一步讲，如果我们将这个意识安放到意识来源的克隆体当中，那么这个克隆体和原本的人又是什么关系？父子？兄弟？还是其他呢？

需要强调的是，身份识别和认同问题绝不只是单纯的哲学思辨议题。在现实中，它会关系到很多法律和伦理议题。比如，人类与AI的劳资关系应该如何处理？AI是否应该享有与人同等的权利？克隆了我身体和意识的克隆体是否可以拥有我的财产？如果身份问题不解决好，那么这些问题都很难真正解决。

但迄今为止，人们依然没有为上述问题找到确定的答案。为了进一步促进相关共识的形成，我们依然需要对这些问题进行公开、深入的讨论。

本篇文章引自《经济观察报》，略有改动。