全球精选｜OpenAI首席科学家Ilya Sutskever：兴奋又危险的AGI之路-聚展

每一个卓越科技公司的诞生，都离不开一位灵魂科学家的引领。作为OpenAI首席科学家，Ilya Sutskever的思维与创新，无疑将在人工智能领域的发展中发挥决定性的作用。

不同于Sam的八面玲珑，Ilya在公开场合露面较少。据说，OpenAI董事会大换血后Ilya较少出现在办公室。在他为数不多接受媒体采访时，Ilya关心的问题始终是，如何确保未来的人工智能系统——那些比人类聪明得多的系统——仍然遵循人类的意图。

技术正在以一种无法阻止的力量加速发展，硅谷两大对立思潮开始分裂明显：一派是担心安全的有效利他主义（EA，Effective Altruism），另一派则是支持技术无限加速的有效加速主义（E/ACC，Effective Accelerationism），究竟谁才能带领人类走向更美好的AGI未来？

2023年10月17日，Ilya在TED发表“兴奋又危险的AGI之路”主题演讲，探讨了通用人工智能（AGI）的变革潜力，强调它如何超越人类智能并深刻改变生活的方方面面。同时，也表达了他对AGI有益发展的承诺和危险提示。

为了让大家更好地了解Ilya的观点，本文将Ilya在TED的演讲内容重新编译，并围绕Ilya重点提到的人工智能安全问题呈现多方观点。

# 01

兴奋又危险的AGI之路

有三股力量将我深深吸引至人工智能的世界

首先，大约在我五六岁时，我对自我意识的体验感到极为震撼。那时候，我对“我是我，正经历着这一切”这种观念感到新奇且有些不安。当我凝视世界，我感知到它们的存在。这种体验随着时间流逝逐渐淡去，但每当提及，又仿佛历历在目。这种“我是我，你是你”的感觉，令我困惑，甚至有些不安。因此，当我开始了解人工智能，我想，如果我们能创造出智能机器，或许就能更深入地理解我们自己，包括我们的意识。这成为我投身人工智能领域的初衷。

其次，我对智力如何运作充满好奇。在90年代末，我还是个十几岁的少年，那时我意识到，科学界对智能的运作方式几乎一无所知。

最后，则是我清楚地认识到，如果人工智能得以有效发展，其影响将是无法估量的。虽然当时人工智能是否能取得实质性进展尚不明朗，但我深知，如果人工智能领域能有所突破，其影响力将是巨大的。

这三个原因共同驱使我走向了人工智能的领域，也让我坚信人工智能信仰。

人工智能是大型计算机中的数字大脑

所谓的人工智能是什么，它是如何工作的？

事实上，只用一句话就能很容易地解释人工智能是如何工作的。 人工智能只不过是大型计算机中的数字大脑。 你所看到的每一个有趣的AI都是基于这一理念。

几十年来，科学家和工程师们一直在研究这样的数字大脑应该如何运作、如何构建、如何工程化。有趣的是，我们的人类智力源于我们的生物大脑，而人工智能的智力则源自人造大脑，这是非常恰当的对比。

在当今时代，这些数字化大脑远不及我们人类的生物大脑聪明。与人工智能聊天机器人交流时，你会迅速察觉到它并非完美无瑕。它在很大程度上能理解你的话，但很明显存在许多它无法做到的事情，还有一些令人困惑的漏洞。

然而，我相信这只是暂时的。随着研究者和工程师持续深入人工智能领域，总有一天，我们计算机中的数字大脑将达到甚至超越我们自身生物大脑的水平。届时， 计算机将比我们人类更加智慧 。我们将这种级别的人工智能称为AGI，即通用人工智能。当我们能教会人工智能完成任何我们人类能做的事时，就达到了这一水平。

人工智能将改变人类生活

尽管AGI现在还不存在，但我们仍然可以对其建成后的影响提前有一点了解。很明显，这样的AGI将对生活、人类活动和社会的各个方面产生巨大的影响。

举一个医疗保健的例子。

你们很多人可能都有去看医生的经历。有时你需要等好几个月才能预约上医生，看医生的时间却又非常短。医生毕竟是人类，对所有医学知识的了解是有限的，最后，你还需要支付一笔昂贵的医药费。

但想象一下，如果有一台智能计算机，一种被设计成医生的AGI，它可以完整而详尽地掌握所有医学文献，并拥有数十亿小时的临床经验。它将非常有价值而且价格便宜。当这成为现实时，我们会像看待16世纪的牙科一样回顾今天的医疗保健，就像用腰带绑住病人进行治疗一样原始。

这只是一个例子，人工智能将对人类活动的每一个领域产生巨大而难以置信的影响。

AGI变得更加强大或许会想要“叛变”

面对如此巨大的影响，你可能会担心这项技术会不会让整个世界天翻地覆？ 实际上，对于AGI的每一个积极应用，都将产生一个负面影响。 这项技术也将与我们习惯的技术不同，因为它将具有自我改进的能力，有可能我们可以构建一个能够研究下一代AGI的AGI。

我们目前最接近这种快速技术改进模式类似情况的，是工业革命的发生。当时人类社会的物质条件是非常稳定的，一切都在迅速增长。通过AGI，类似的情况可能再次发生，但过程会更短。

此外，还有人担心，如果AGI变得非常强大，也许它会想要叛变。这是一个前所未有的、尚未存在的技术所存在的问题。

事实上，看看AGI的所有积极潜力和所有令人担忧的可能性，你可能会说，这一切都将如何发展？

我在创建OpenAI时的一个动机是，除了开发这项技术之外，还要解决AGI提出的问题，解决困扰我们的难题，解决我们提出的担忧。除了与政府合作，帮助他们了解即将发生的事情并为其做好准备之外， 我们还在进行大量研究，解决技术方面的问题，以确保AI永远不会变得不受控制。这也是我正在致力于的事情。

但我认为需要注意的是，人工智能和AGI领域在经济中引发了巨大兴趣和投资，各方都在积极投入。世界上有大量的实验室试图构建相同的东西。即使OpenAI采取了我提到的这些可取的步骤，那么其他公司和其他国家呢？我们需要考虑整个世界。

回想一年前，人们并不像现在这样讨论人工智能。那么，发生了什么变化呢？我们都体验过与计算机交流并被理解的感觉。计算机变得越来越智能，最终可能超越人类智慧的想法逐渐流行起来。这个话题曾经只是少数狂热者和爱好者所关心，但现在几乎每个人都在思考这一问题。

随着技术的不断进步，随着越来越多的人看到人工智能可以做什么，人们就会清楚地看到，人工智能将会变得多么戏剧性，多么不可思议，几乎是梦幻般的存在，我们也会思考该抱有怎样的危机感。

人类终将克服技术挑战

我坚信，人们将开始出于自身利益采取前所未有的协作方式。 这一趋势已然展现。以人工智能行业为例，领先的公司正通过“Frontier”模型论坛这一平台开展合作，这是一个明显的迹象。预计，竞争激烈的公司们也将开始分享技术信息，以确保其人工智能的安全性。甚至，我们可能见证政府层面的类似行动。

以OpenAI为例，我们深信人工智能将带来巨大变革。因此，我们运作的一个理念已经在我们的网站上写了五年，当技术变得非常接近AGI，即计算机比人类更聪明，如果有其他公司远远超过我们，那么我们将与他们合作，从某种意义上加入他们。

为什么这么做？因为我们感到，人工智能带来的变革将是非常惊人的。 我的观点是，随着人工智能的能力不断增强，每个人都将亲身体验到人工智能的潜力。 那些从事AI和AGI工作的人也会深刻感受到这一点。这将改变我们看待人工智能和AGI的方式，也将影响我们的集体行为。

这也是我为什么相信，尽管面临巨大挑战，我们最终能够克服技术挑战的重要原因。

# 02

有效利他主义 VS 有效加速主义

以上是Ilya在TED演讲的主要内容。其中，Ilya在演讲中多次提到“确保AGI遵循人类意图”，作为AGI的引路人，Ilya也一直践行“确保AGI造福人类”的使命。然而，有关AI大模型安全问题的争议在OpenAI内部已经早早爆发。

其实，在2020年底，OpenAI的前核心员工Dario Amodei就带着10名心腹离开OpenAI，包括他自己的亲妹妹Daniela Amodei，创办了如今OpenAI最大的竞争对手Anthropic。

Dario Amodei曾在 OpenAI 担任研究和安全副总裁，之所以创立 Anthropic是因为他认为大模型中有很多安全问题亟需得到解决。因此，Anthropic相当重视AI安全问题，其愿景是构建可靠的、可解释的和可操控的AI系统。

显然，Ilya与Dario都非常明确属于“有效利他主义”这一阵营。 有效利他主义（Effective Altruism，简称EA） ，目前是不少科技领袖和创业者们身上的标签，他们认为，如果生活在数千英里外的人很重要，那么生活在数千年之后的人们也同样重要，也就是说，我们必须要为以后的人类，我们的后代来提前铺垫。EA，也可以理解为AI保守派，希望更加重视AI的安全。

而与之对立的思潮，叫做“有效加速主义”。 有效加速主义（Effective Accelerationism，简称E/ACC） ，是美国硅谷发展出的一种独特哲学，意思是说当人们掌握一个颠覆性的产品或者技术，最好的办法是尽快把它拿到众人面前，哪怕这个产品或技术还不完美。硅谷追求冒险和变化，不欢迎瞻前顾后的完美主义者，但前提是这种不完美不会对全体人类带来风险。起初，E/ACC只是得到推特上很多匿名用户的支持，被用来反驳人工智能威胁论。逐渐地，许多硅谷的精英和掌权者，比如YC总裁Garry Tan，开始拥护这套理论，甚至把E/ACC加进社交账号名称的后缀里。