赫拉利：两者都很可怕。人工智能表现得像人类的可怕之处在于，这可能会对人类社会以及人的心理造成破坏。人类可能会越来越多地与人工智能建立亲密关系，而牺牲掉他们与其他人之间在社会和心理层面的联系。这可能会破坏人类社会，并且导致深刻的心理健康危机。

至于人类表现得像人工智能，我们很难想象这意味着什么。因为我们不知道人工智能能够产生出哪些行为。尽管关于人工智能的讨论已经有半个多世纪的历史，目前人工智能只是迈出了它的第一步。在现实生活中的人工智能仅在过去10年里才出现。我们还没看到什么。打个比方，想象在大约40亿年前的原始地球上出现了第一个生物。当你观察这些古老的生物时，你能想象它们最终会发展成恐龙、熊猫和乘坐着宇宙飞船飞向月球的人类吗？人工智能的发展速度要比有机生物快得多，而且因为它不受有机化学规律的限制，它可以朝着我们无法想象的方向发展。那么人工智能在50年或100年后究竟会如何表现？关于人类可能越来越像人工智能这个观点的问题在于，它假设人类能够跟上人工智能的步伐——这绝不是一个显而易见的事情。

赫拉利：我们需要一套全新的道德规则，因为人工智能具有与人类完全不同的能力，而且它没有人类天生的种种限制以及在心理方面的防护。在这方面我们已经看到了一些端倪。

从某种意义上来说，社交媒体是人类与人工智能之间的首次接触。当社交媒体刚刚出现时，人工智能还不够先进，无法创造出新内容。它能做的就是选择某些内容发送给用户以提高用户的参与度。让我们看看发生了什么。人工智能并没有意图加剧政治的两极分化，或是破坏人们的心理健康。社交媒体平台人工智能系统的设计者也并没有打算让这种情况发生。他们只是没有考虑到人工智能不遵循那些规范人类行为的规则。他们只是给人工智能设定了一个提高参与度的目标，却没有考虑到它为实现这个目标可能采取的所有行动。

现在我们已经处于这样一个阶段：人工智能已经足够先进，可以创造自己的文字和图像。如果情况没有改变，那么我们文化中的大部分文字、图像、旋律甚至工具都将是由人工智能制作的。我们必须让这个过程变慢，让整个社会适应这个情况，并且制定出一套（应用于人工智能的）道德规则。否则我们的文明就有被摧毁风险。

赫拉利：这是一种可能的情景。但另一种可能的情景是，ChatGPT、GPT-4和更先进的人工智能将开创新的时尚、意识形态甚至是宗教，这反而将增加两极分化。人类文化基于语言。而因为人工智能已经破解了语言，它现在可以开始创造文化。如今世界各地的文化多样性令人惊叹，但它们都有一个共同点——都是由人类创造的。在未来，由于人工智能的原因，这将发生改变。人类将开始适应由非人类实体创造的文化。而且，由于文化是人类的“操作系统”，这意味着人工智能将能够改变人类思考、感受和行为的方式。

在与持有不同观点和价值观的人沟通时，我们已经遇到了困难。想象一下，与一个观点和价值观是由人工智能所塑造的人交流会是什么样子！人工智能所驱动的文化远非让人们走到一起，反而可能使人们更难以理解彼此。我们可能会发现自己生活在一个非人类智能的幻觉之中。

赫拉利：政府将不得不介入，对劳动力进行再培训。就像在20世纪政府为年轻人建立了大规模教育系统一样，在21世纪，政府还需要为成年人建立大规模的再教育系统。这还不够。工人所面临的最大问题可能是心理层面的。即便政府提供免费培训课程以及其他形式的支持，工人可能也没有足够的心理上的韧性来适应新的现实。想象一下，你是一个40岁的卡车司机，因为自动驾驶卡车的出现而失去了工作。在你这个年龄阶段，你还有心理力量去彻底重塑自己吗？即使你成功实现了转变——到了50岁时，你还能再做一次吗？再过10年呢？由于人类预期寿命的提高，退休年龄可能会推迟到70岁、80岁甚至是90岁。

为了让人们对这样的未来做好准备，政府也需要改变他们教育小孩子的方式。21世纪教育的首要任务应该是增加心理的灵活性。在过去，是教育塑造人的身份，就像石头房子一样——有深厚的基础和坚固的墙壁。现在我们则需要建立像帐篷一样的人类身份——你可以轻松地折叠和移动。这可以帮助人们应对生活在如此快速变化的世界中所产生的情绪问题。

归根结底，在自动化时代，政府的座右铭应该是：“不要保护工作，保护人。”很多人担心如果没有工作，他们的生活将没有目标和价值，所以我们必须保护工作。实际上，只要需求都被满足，人们即使没有工作也可以兴盛。人们可以在社区、家庭、艺术、运动、精神领域和自我探索中找到目的。孩子们在没有工作的情况下也过着非常有意义的生活。毕竟如果你把自己的生活投入到建设社区、长时间的冥想、徒步旅行和绘画中，或者在超市当收银员，你更喜欢哪个选择？但是为了让人们可以在没有工作的情况下依然幸福，我们需要确保自动化革命的经济利益是由所有人共享，而不是被少数精英所垄断。

赫拉利：我们应该警惕关于技术乌托邦的故事。乌托邦是危险的，它们从未成功过。在历史上，所有试图创造乌托邦的尝试都导致了灾难，就像基督教和伊斯兰教试图在地球上建立天国，以及纳粹试图创造超人种族的尝试。我们不应追求乌托邦，而是应该关注改善人们生活的实际问题。忘记用技术创造完美社会的想法，而是专注于用技术建设更好的学校和医院。

我们也应该警惕怀旧的幻想。可以理解，许多人担心技术将如何改变世界。他们在寻找一个人能为他们展示出关于未来的清晰图景。然而，全球的政治家们却承诺可以将社会带回到一个想象中的黄金时代。这样的故事有几个问题。首先，过去并不怎么有趣，而且我们也无法回到过去。尽管现在的世界充满了问题，但对于大多数人来说，它仍然比历史上的任何时代都要好。你真的想回到一个三分之一的儿童在进入成年之前就会因饥荒或疾病而死亡的世界吗？

另一个问题是，尽管听政治家们谈论一个想象中的过去可能令人感到安慰，这无助于我们为正在面临的主要问题找到解决方案——生态崩溃、核战争和人工智能等颠覆性技术的崛起……全球性问题需要全球合作，而利用充满民族主义色彩的神话和回顾过去完全无助于我们达成任何协议以应对颠覆性技术或气候变化所带来的威胁。

最后，尽管很多人认为国籍是他们身份的一个重要部分，但国家认同只是我们身份的很小一部分。人类在地球上已经存在了超过200万年，而我们今天所知的所有国家和宗教都是在过去5000年之内的产物。我们所有的“古老传统”实际上都相当新。它们只是不断变化的社会构造，而非永恒真理。

一个更好的未来故事是，以我们拥有共同的起源和共同的命运为出发点。我们这个物种起源于世界的同一个角落，现在我们有了摧毁世界的力量，我们的未来取决于我们是否能够明智地使用这些力量。

赫拉利：如果人工智能最终确实在很多领域超越了人类的智能，那么智能对人类的重要性也就会降低，而意识（consciousness）将变得更加重要。理解两者之间的区别至关重要。

智能是解决问题的能力。意识是感受到诸如痛苦、快乐、爱和愤怒等情感的能力。在人类和其他哺乳动物中，智能与意识相辅相成。银行家、司机、医生和艺术家在解决某些问题时依赖自己的感受。然而计算机可以通过与人类完全不同的方式解决这些问题，而且我们完全没有理由认为它们在这个过程中会发展出意识。在过去的半个世纪里，计算机智能取得了巨大的进步，但在计算机意识方面却没有取得任何进展。根据我们的理解，2023年的计算机并没有比20世纪50年代的原型机更有意识，也没有迹象表明它们正在能够发展出意识的道路上。

可能有几种通向超级智能的路径，而只有其中的一些路径涉及到获得意识。就像飞机在没有羽毛的情况下也飞得比鸟儿快一样，计算机也可能在没有感情的情况下比人类更好地解决问题。这就是我们的感受能力变得比以往更重要的原因，正是我们对痛苦和苦难的认识使我们能够采取适当的防护措施，防止最糟糕的情景发生。我们将必须教会人工智能如何预防苦难，因为它对苦难一无所知。

这也就是为什么研究意识和研究智能同样重要。我们需要学会如何将人类价值观这种抽象的概念植入到计算机代码这类具体的东西中。所以我建议，对于我们投入到提高人工智能的每一份金钱和时间，我们都应该投入相等的金钱和时间来研究和发展人类的思想。否则，我们就可能被一种具有超级智能但完全没有意识的实体所主宰。它们可以在任何任务中都超越我们，但却完全不顾爱、美和喜悦的体验。