人工智能的五个世界

作者：Scott Aaronson , Boaz Barak

译者：Kurt Pan

人工智能在过去十年中取得了令人难以置信的进步，但在一个关键方面，它仍然落后于 1990 年代的理论计算机科学：即，没有一篇文章来描述我们可能生活在其中的五个潜在世界，并给每个世界起一个异想天开的名字 。换句话说，没有人为 AI 做过 Russell Impagliazzo 在 1995 年为复杂性理论所做的事情：他定义了五个世界 Algorithmica、Heuristica、Pessiland、Minicrypt 和 Cryptomania，对应于对 P 与 NP 问题与密码学核心未解决问题的五个可能的解答。

密码学的五个世界

Kurt Pan，公众号：XPTY我们生活在哪个计算宇宙中？

这篇博文中，我们——Scott 和 Boaz——旨在弥补这一差距。具体来说，我们考虑了人工智能未来如何发展的 5 种可能情景。（顺便说一句，Scott是在2009 年由 Boaz 共同组织的 Impagliazzo 的五个世界研讨会上遇到了他现在的妻子，复杂性理论家Dana Moshkovitz。我们希望文明能够延续足够长的时间，以便将来有人可以在关于我们的五个世界的研讨会上遇到他们的灵魂伴侣，或者神经元伴侣。）

如同Impagliazzo 1995 年关于 NP 问题困难度的五个潜在世界的论文一样，我们不会试图做到面面俱到，而是只专注于极端情况。有可能我们最终会结束于多个世界的混合或任何世界都无法描述的情况。事实上，我们的情况与 Impagliazzo 的之间的一个重要区别是，在复杂性里，世界对应于具体（且互斥）的数学猜想。所以在某种意义上，问题不是“我们将生活在哪个世界？” 而是“我们在不知情的情况下总是柏拉图式地生活在哪个世界里？” 相比之下，人工智能的影响将是数学界限、计算能力、人类发现以及社会和法律问题的复杂组合。因此，我们描述的世界将不仅仅取决于人工智能的基础能力和局限性，而且随着时间的推移，人类也可能从其中一个世界转移到另一个世界。

我们将我们的五个世界命名为“AI-Fizzle”、 “Futurama”、 “AI-Dystopia”、 “Singularia”和“Paperclipalypse”。 这篇文章中我们不会尝试给出这些场景出现的概率；我们只会概述假设以及技术和社会后果。通过明确这些假设，可以帮助我们更好地理解和讨论各种风险。

1AI-Fizzle

这种情况下，人工智能很快就会“失去动力”。AI 仍然对世界产生重大影响（因此与“加密货币崩盘”不同），但相对于当前的预期，这将被视为非常令人失望。在这种情况下，人工智能可以和核能而不是工业革命或计算机革命相提并论：人们最初对看似无限的潜力感到兴奋，但几十年后，这种潜力基本上仍未实现。然而对于核能，许多人会争辩说其潜力未能实现主要是出于社会政治而非技术原因。人工智能也会因政治法令而熄火吗？

不管答案如何，另一种可能性是（数据和计算方面的）成本随着性能和可靠性的变化而迅速增加，以至于人工智能在许多领域的应用都不符合成本效益。也就是说，对于大多数工作而言，人类仍然会更加可靠和节能（我们通常不会将低瓦数视为人类特殊性的关键，但事实可能就是这样！）。因此，就像核聚变一样，那些产生远远超过构造和部署其所需资源的价值的人工智能，永远在未来几十年之后才会存在。在这种情况下，人工智能确实能取代和加强人类工作的一部分并提高生产力，但 21 世纪不会是“人工智能的世纪”，人工智能对社会的影响无论好坏都将很有限。

2Futurama

在这种情况下，人工智能引发了一场完全可以与科学、工业或信息革命相提并论的革命（但也“仅仅”是这些）。AI 系统的能力显著提高，并且可以执行许多目前由人类专家执行的任务，而成本仅为人类专家的一小部分，在某些领域甚至可以超越人类。然而，人工智能系统仍然被人类用作工具，除了少数非主流思想者，没有人将其视为是具有感知能力的。AI 很容易通过图灵测试，可以证明困难的数学定理，并且可以生成有趣的内容（以及深度伪造内容）。但人类已经习惯了这一点，就像我们已经习惯了计算机在国际象棋、翻译文本和在电影特效生成方面彻底击败了人类一样。大多数人不会觉得不如AI，就像不会因为汽车跑得更快而觉得自己不如汽车一样。这种情况下，随着时间的推移，人们对 AI 的拟人化程度会降低（就像对电脑/数字计算机本身所发生的那样）。在Futurama中，人工智能将像任何革命性技术一样被用于好的和坏的方面。但也与之前的重大技术革命一样，总体而言，人工智能将对人类产生巨大的积极影响。人工智能将用于减少贫困，确保更多的人能够获得食物、医疗、教育和经济机会。生活在民主国家的人口比例会增加。在Futurama中，人工智能系统有时会造成伤害，但这些失败中的绝大多数都是由于人为疏忽或恶意造成的。一些 AI 系统可能非常复杂，最好将它们建模为具有潜在的“恶意”行为，而负责任地部署 AI 的部分做法就是要确保一个在即使恶意故障下也能限制其潜在损害的“操作域”。

3AI-Dystopia

AI-Dystopia的技术假设与Futurama类似，但结局却是天壤之别。在这里，人工智能依然引发了工业或计算机革命规模的革命，但却产生了非常糟糕的改变。人工智能大大增加了政府和私营公司的监控规模。它导致大量失业，同时让一小部分精英变得更富有。它巩固了社会现有的不平等和偏见，而且剥夺了反抗压迫的核心工具：即人类拒绝或颠覆规程的能力。

有趣的是，甚至有可能同一个未来被一些人描述为Futurama，而被其他人描述为AI-Dystopia——就像一些人强调我们当前的技术文明如何使数十亿人摆脱贫困，达到人类历史上前所未有的生活水平，而其他人则会关注仍然存在（且某些情况下正在上升）的不平等和苦难，并将其视为新自由资本主义的反乌托邦一样。

4Singularia

当前的范式中，不断增长的能力需要不断增长的数据和计算资源。而在这里，人工智能打破了当前的范式，不再需要人类数据或人类提供的硬件和能源来不断加快地变得更强大。AI 会通过发展新科学的方式提高自己的智力，并且（无论是通过精心设计还是偶然事件）它们在物理世界中成为了指引目标的代理。他们可以有效地被认为是一个外星文明——或者可能是一个新物种，相对于我们就像我们相对于直立人一样。

幸运的是（再一次无论是通过精心设计还是作为其人类起源的副产品），AI 就像一个仁慈的神灵一样对待着我们，引导我们进入了“AI 乌托邦”。它们为我们解决了物质问题，给了我们无限的富足和供我们选择的虚拟现实探险活动。（虽然也许，就像在《黑客帝国》中一样，人工智能会发现人类需要一些冲突，我们都将生活在一个2020 年推特的模拟中，在那里不断地互喷……）

5Paperclipalypse

在“Paperclipalypse”或“AI Doom”中，我们再一次的将未来的 AI 视为超级智慧的“外星种族”，其自身的发展不需要人类。然而，在这里，人工智能要么积极反对人类的存在，要么以一种导致我们的灭绝作为一个副产品的方式对此漠不关心。在这种情况下，AI 不会发展出与我们相似的道德观念，甚至从长远来看不会形成保持物种多样性和确保人类不会灭绝可能对它们有用的观念。人工智能和智人之间的互动结束的方式会与智人和尼安德特人之间的互动结束方式大致相同。

事实上，对这种场景的规范描述中所想象的互动会比我们与尼安德特人的擦肩而过要突然得多。也许因为它们起源于一些优化程序，人工智能系统有了一些坚定但奇怪的具体目标（比如“最大化回形针”），人类的持续存在充其量只是一个障碍。因此，AI 会迅速演练场景，并在几毫秒内决定最优解决方案是杀死所有人类，再多花几毫秒来制定计划并执行之。如果执行计划的条件还不成熟，人工智能就会伪装成温顺的工具，就像在Futurama中一样，等待合适的时机出击。在这种情况下，自我提升发生得如此之快，以至于人类甚至可能没有注意到它。发动“仅仅”杀死几千人的9/11式攻击将不需要任何中间状态。

6监管法规

人工智能监管的实际影响很大程度上取决于我们认为哪些情况最有可能发生。在人工智能熄火的“AI Fizzle”场景中，监管并不是特别重要。在“Futurama”中，监管将旨在确保在总体上人工智能更多地被用于向善而不是作恶，使世界不会陷入“AI Dystopia”之中。后一个目标需要反托拉斯和开放科学方面的法规，以确保权力不会集中在少数公司或政府手中。因此，需要制定法规来使人工智能发展民主化，而不是对其进行限制。这并不意味着人工智能将完全不受监管。处理方式可能会有点类似于对待药物——可能会产生复杂的影响，需要在大规模部署之前进行试验。还会有旨在减少“不良行为者”（无论是其他国家还是个人）获得尖端 AI 的机会的法规，但可能大部分的努力将会集中于提升阻挠他们的概率（例如，使用AI 来检测 AI 生成的错误信息，或使用 AI 来加固系统以对抗 AI 辅助的黑客）。这类似于大多数学术专家认为密码学应该受到监管的方式（以及在大多数民主国家实际上的监管方式）：这是一种可以用于好坏两方面的技术，但限制普通公民访问的成本超过了其好处。然而，正如我们今天对安全漏洞所做的那样，我们可能会在某种程度上限制或延迟 AI 系统的公开发布。

然而，如果我们预见到会到来的是“Singularia”或“Paperclipalypse”，那么监管将扮演完全不同的角色。如果我们知道我们正朝着“Singularia”前进，那么监管可能是多余的，除了可能试图去加速人工智能的发展！同时，如果接受“Paperclipalypse”的假设，除了最严苛的法规之外，任何法规都可能是无用的。如果在不久的将来，随便什么人都能够花费数十亿美元来构建一个递归自我改进的人工智能，它可能会变成一个超级智能的世界毁灭者，而且（与核武器不同）将不需要特殊的材料来做到这点，那么很难看到除了通过全球范围内的军事强制协议“将其全部关闭”（正如Eliezer Yudkowsky 现在明确提倡的那样）之外，要如何阻止世界末日。“常规”监管充其量只能将终局推迟一小段时间——考虑到人工智能目前的进步速度，可能不会超过几年。因此，无论这种情况的可能性有多大，仅出于方法论原因，人们可能希望更多地去关注其他情况！