「AI之神父」呼吁成立一个组织捍卫人类
「AI之神父」提倡建立一個組織保護人類
这篇文章来自自1945年以来一直关注人类制造的威胁的原子科学家公报。
蒙特利尔小意大利的主要大街上有咖啡馆、酒吧和糕点店，它们延伸到绿树成荫的居民小街上。几代农民、屠夫、面包师和鱼商在这个社区的大型露天市场——Marché Jean-Talon上出售田园至餐桌的商品。但这个安静的飞地也容纳着一个现代的90,000平方英尺的全球AI中心，被称为Mila–Quebec AI研究所。Mila声称拥有世界上最大规模的深度学习学术研究者集聚地，包括来自世界各地的1,000多名研究者和100多名教授，与100多家全球产业合作伙伴合作。
Yoshua Bengio是Mila的科学主任，是人工神经网络和深度学习的先驱者，这种机器学习方法源于大脑。2018年，Bengio与Meta首席AI科学家Yann LeCun和前谷歌AI研究员Geoffrey Hinton一起获得了图灵奖，该奖被誉为计算界的“诺贝尔奖”，以表彰“对使深度神经网络成为计算机重要组成部分的概念和工程突破的贡献”。这三位计算机科学家被称为“人工智能教父”。
7月份，Bengio在美国参议院的一个小组委员会发言，该委员会正在考虑可能对这一快速发展的技术进行立法监管。在那里，他解释说他和其他顶级AI研究人员已经修改了他们对人工智能何时能够达到人类广泛认知能力的估计。
“先前认为需要几十年甚至几个世纪，现在我们相信可能只需要几年或几十年，”Bengio告诉参议员。“较短的时间框架，比如五年，真的令人担忧，因为我们需要更多时间来有效地应对对民主、国家安全和我们共同未来构成潜在重大威胁的问题。”
上个月，在蒙特利尔气温超过90华氏度的一天，Bengio和我坐在他的办公室里，讨论关于人工智能领域的引人注目的标题、AI研究人员之间的禁忌以及为什么顶级AI研究人员对人工智能对人类的风险可能存在分歧。为了更清晰明了，对这次采访进行了编辑和压缩。
Susan D’Agostino：今年五月的一篇BBC头条新闻称您感到“失落”，但您在博客中写道您并没有说过这样的话。尽管如此，您似乎在深思。
Yoshua Bengio：我确实说了相关的话，但细微之处被忽视了。
在冬天里，我对自己的工作、目标和优先事项的看法发生了剧烈的变化。我在BBC采访中试图表达的以及后来在我的博客中是这样的：我并不是感到迷失了。我在质疑并意识到也许我没注意到一些重要的事情，这不仅仅是在理性上，还有情感上。
我至少已经读了十年关于存在风险的作品。我这里的学生和附近的人都在谈论这个。从技术层面上讲，我非常重视斯图尔特·拉塞尔（Stuart Russell）2019年出版的《人机兼容：人工智能与控制问题》这本书。
在冬天里，我意识到人工智能的双重用途性和失控的潜力非常严重。
但从情感上讲，我没有认真对待。我在想，“哦，是的，这是人们该研究的东西。”但我真的在想，“这离将来还很遥远。”因为我可以继续走自己的道路，我所做的工作将是有用和科学重要的。我们希望了解人类和动物的智能，并构建能够帮助我们解决各种重要和困难问题的机器。所以，我继续按照我工作的方式继续工作。
但在冬天过后，我意识到双重使用性质和失控的潜力是非常严重的。它可能比我预测的要早发生。我不能继续忽视这个问题。我必须改变我的做法。而且，我必须表达出来，因为很少有人，即使在人工智能社区，都在过去几个月内认真对待这些问题。特别是，我、Geoffrey Hinton和其他几个人的发言比那些在早于我们之前就意识到这些风险重要性的人更受重视。
这里有一个心理层面。你以某种特定形式构建自己的身份或者生活的意义。然后有人告诉你，或者你通过推理意识到，你所描绘的自己并不真实。有一些你忽视的非常重要的事情。我理解为什么对于我很多同行来说，接受这样的事实并勇敢地说出来是非常困难的（关于人工智能潜在的灾难性威胁），这在我们的社区里一直被视为禁忌。
这很困难。人们以不同的时间或者速度走过这条道路，这没关系。我非常尊重我那些不同意我的观点的同事们。一年前我也曾经处于同样的位置。
那个禁忌是如何在人工智能研究社区早期，甚至现在体现出来的？
那些谈论存在风险的人基本上没有在主流科学期刊上发表文章。这有两个原因。当他们试图发表言论或提交论文时，会遭遇阻力。但同时，他们在自己领域的主流科学期刊上也基本上被忽视。
在过去六个月发生的事情正在打破这个障碍。
你的认识的时机是否受到了ChatGPT发布的影响？无论如何，现在你是否认为ChatGPT是一个笑柄？
我的轨迹与你描述的相反。我想要理解并弥合当前人工智能和人类智能之间的差距。ChatGPT缺少什么？它在哪里失败？我试图提出一些问题，让它做出一些愚蠢的反应，就像在ChatGPT发布后的几个月里的许多同行一样。
在我开始使用它的头两个月里，大多数时候我都坚信仍然有一些基本的东西是缺失的。我不担心。但在足够多次玩弄之后，我意识到它是一个令人惊讶的进展。我们的进展比我预期的要快得多。我有一种印象，修复缺失的部分可能并不需要太多的努力。
每个月我都能想出一个新的想法，可能是突破这个障碍的关键。虽然还没有成功，但它可能很快就会发生 – 也许不是我的团队，而是其他的团队。也许需要10年。在研究中，你可能感觉离目标很近，但可能会遇到一些你没有考虑到的障碍。
如果我们结合我在能够表示极其复杂的概率分布方面的研究，这正是这个问题所涉及的，以及在更为合理的方式上学习和利用如此大量的信息的能力，那么我们可能已经非常接近了。能够以直观的方式使用信息对应于我和其他人所称的第一系统能力。还有一个缺失的薄薄的一层，被称为第二系统能力，就是推理能力。
我开始思考，如果在一年之内，我们能够弥合这个差距，然后再扩大规模，会发生什么？
你意识到这些后你做了什么？
在三月底，在第一封[未来生命研究所]的信（要求AI实验室立即暂停巨型AI实验）发出之前，我联系了Geoff[Hinton]。我试图说服他签署这封信。我对看到我们独立得出相同结论感到惊讶。
这让我想起了艾萨克·牛顿和戈特弗里德·莱布尼茨同时独立发现微积分的时候。那个时刻是否适合进行多重独立发现？
不要忘记，我们已经意识到了其他人已经发现的东西。
此外，Geoff认为数字计算技术相比人脑具有根本的优势。换句话说，即使我们只是找出足以解释大部分智能的原则，并将其放入机器中，机器也会自动比我们聪明，因为它们拥有人类无法比拟的技术优势，比如阅读大量文本并且比人类快得多地整合信息，大约是人类的数万甚至数百万倍快。
如果我们能够填补这个差距，我们将拥有比我们更聪明的机器。从实际意义上讲，这意味着什么？没有人知道。但你可以很容易地想象，它们在编程、发动网络攻击或设计生物学家或化学家目前手工设计的东西方面将比我们更擅长。
过去三年里，我一直在从事科学机器学习的研究，特别是应用于化学和生物学。目标是帮助设计更好的药物和材料，分别用于对抗流行病和气候变化。但同样的技术也可以用于设计致命的东西。我慢慢意识到了这一点，并签署了信件。
你的观点吸引了很多关注，包括BBC的报道。你是如何应对的？
媒体迫使我明确表达了所有这些想法。这是一件好事。最近几个月来，我一直在思考我们应该从政策方面做些什么。我们如何减轻风险？我也一直在思考对策。
我是一个积极的人。我并不像人们称呼的那样悲观。我正在思考解决方案。
有人可能会说，“哦，Yoshua在试图吓唬人。”但我是一个积极的人。我并不像人们称呼的那样悲观。出现了一个问题，我正在思考解决方案。我希望与其他可能有所贡献的人一起讨论。改进人工智能能力的研究正飞速发展，因为现在投入了更多的资金。这意味着减轻最大风险是迫切的。
插图：詹姆斯·马歇尔；盖蒂图片
我们有核风险的监管和国际条约，但例如，朝鲜并未参与其中。我们能真正遏制人工智能带来的风险吗？
取决于我们集体变得多么谨慎，我们可以通过国家监管和国际条约来更多或更少地遏制风险。像核条约一样，拥有最低标准是很重要的，跨国界的AI可能造成的伤害并不受国界限制。
没有百分之百的保证不会发生任何不好的事情。即使我们有一个禁止超过某个级别的强大人工智能的国际条约，也会有人不遵守这些限制。但如果能把那个时间推迟10年，那就太好了。在那段时间里，我们可以改进我们的监控。我们可以改进我们的防御措施。我们可能更好地了解风险。
目前，建造这样的系统需要大量资金和专门的硬件。目前，你不能在没有引起注意的情况下大量购买如GPU（图形处理器）之类的硬件，但政府并没有追踪谁买了什么。他们可以从这方面开始做起。美国已经针对这些事情实施了出口控制，这对中国和朝鲜构成了困扰，如果他们想参与这场竞赛。
我们已经讨论过核武器和气候变化的危险——这里存在着另一种具有相似风险程度的危险。
时间非常紧迫，规范可以降低灾难发生的概率，或者等效地推迟真正糟糕的事情将要发生的时间。或者将可能发生的波动减小。
不幸的是，广岛和长崎投下原子弹的事件确实是政府回到谈判桌前并愿意讨论的原因，尽管当时正处于冷战时期。我希望我们不需要经历那样程度的灾难才能采取行动。但事情可能会变得如此。
公众喜欢讨论人工通用智能。你认为它会一夜之间发生吗？还是存在一个渐进的过程？
存在一个渐进的过程。完全通用的智能之前我不喜欢这个术语，因为我认为它20年前被定义时无法存在。但现在人们理解的方式和媒体使用的方式只是指“擅长很多事情的AI系统”。
从伤害的角度来看，它在所有方面都比我们好并不重要。也许有某些游戏我们能赢。如果他们在可能给我们带来危害的事情上比我们更强大，我们关心什么呢？重要的是他们在可能产生危害的领域的能力。这才是我们应该关心的，而不是某种超级智能的定义：“哦，我们有了强人工智能。”即使现在的设计目标是恶意的，它也可能是危险的。
人工智能与气候变化之间是否存在潜在的风险相互作用？
人工智能应该在应对气候变化方面起到积极作用。我不认为人工智能会将气候变化用作武器，除非我们出现了失控的情况。然后，改变气候可能成为（人工智能）加速我们的毁灭或在社会中制造混乱的一种方式。
但机器如何改变气候？
这是一个重要的问题。很多人对（人工智能风险）的担忧回答说，“一个计算机如何在现实世界中做任何事情？都是虚拟的。我们对网络攻击有所了解，因为都在计算机里。”
但实际上，道理很简单。计算机上发生的许多事情都会影响我们。首先，我们经济基础设施的很多东西都依赖于计算机——我们的通信、供应链、能源、电力和交通。想象一下，如果因为网络攻击，其中很多东西都发生故障。它可能不会毁灭每个人，但可能会使社会陷入混乱，造成巨大的痛苦。
此外，鉴于人工智能系统在操纵和理解语言方面的进展，有可能在几年内有能够影响人类的人工智能系统。它们可以说服我们为它们做事。
想想那些阴谋论者。一个人工智能系统可能在互联网上游离。它可以在社交媒体上与人们交互，试图找出能够改变人们对某件事态度的对话方式。这可能导致我们采取一些微小的行动，再加上其他行动，可能导致灾难性的后果。这是可行的。
当然，也许这种情况不会发生。也许我们有足够的防御措施，也许人类很难被说服。但我在最近几年看到的有关阴谋论的一切让我认为我们是非常容易被影响的。也许不是每个人都是，但不需要每个人都是。只需要足够的人或足够多的权力人士，就能产生巨大的影响和造成灾难性的后果。所以，人类可能成为这种邪恶行为的帮凶。
所以，人类的无知是它的弱点。我们是否在其他方面潜在的容易受到人工智能的攻击？
这是另一个，甚至更简单的威胁，它甚至不需要对现在尚不存在的事物有如此大的信仰。一个人工智能系统可以贿赂人来完成工作。犯罪组织会因金钱而帮助你做事，他们不会问钱从哪里来。通过计算机和访问暗网，一个人或一台机器现在都可以轻而易举地获得实际行动的机会。
如果我们至少展望五年后，我们也有可能了解了机器人技术。现在，我们有在视觉上表现出色的机器。我们也有在语言上表现出色的机器。机器人的第三个要素是控制——拥有一个可以控制以实现目标的身体。机器学习在机器人技术方面进行了很多研究，但还没有像过去十年在语言和视觉方面那样取得突破。但它可能比我们想象的要早到来。
机器人技术在取得突破时的障碍是什么？
在机器人技术领域，我们没有像语言和图像那样具有大量的数据规模。我们没有部署一亿台机器人能够像我们对文本那样收集大量数据。即使是在不同文化之间，文本都是适用的。你可以混合不同语言的文本，并利用它们的集合。在机器人技术领域，这种情况还没有发生。但是有人如果有足够的资金，在未来几年内可能会将其实现。如果是这样，那么人工智能将在实际行动中掌控局势。
现在，一个变得失控和自主的人工智能系统仍然需要人类来获得电力和零件。它现在仍然需要一个正常工作的人类社会。但这在十年内可能会改变。这是可能的，我们不应寄希望于它来保护我们。
谈谈你对人工智能与核风险或生物安全的潜在相互作用的担忧吧。
我们真的不想让AI系统轻易控制发动核武器。军事中的AI非常危险，甚至危及存在。我们需要加快国际努力，禁止使用致命自主武器。
总的来说，我们应该让AI远离任何能够迅速造成伤害的事物。生物安全可能比与AI相关的核危险还要危险。很多公司会接受你发送的指定DNA序列的文件，然后编程某些细菌、酵母或病毒，这些生物将在它们的代码中具有相应的序列，并产生相应的蛋白质。这很廉价，速度也很快。通常来说，这是为了好的目的——例如创建新药物。但是那些做这件事的公司可能没有技术手段知道你发送的序列可能被用于恶意方式。
我们需要AI和生物技术方面的专家来制定这项法规，以最小化这些风险。如果你是一家成立已久的制药公司，那没问题。但是不应该允许一个在车库里的人创造新的物种。
你与其他顶级AI研究人员之间存在明显的分歧，包括你的图灵奖合获得者Yann LeCun，在AI的潜在危险问题上他没有签署未来生命研究所的信，你对此有何看法？
我希望我能更好地理解为什么在价值观、理性和经验方面基本一致的人会得出如此不同的结论。
可能有些心理因素在起作用。也可能取决于你的立场。如果你为一个销售AI将会是好事的公司工作，可能比我更难改变立场。Geoff在发言前为什么离开谷歌就有很好的理由。也许这些心理因素并不总是有意识的。这些人中的很多都是真诚并以善意行事的。
此外，要思考这些问题，你必须进入许多科学家试图避免的思维方式。我所在领域和其他领域的科学家喜欢基于非常可靠的证据公开表达结论。你做实验，重复10次，你有统计置信度，因为它是重复的。但我们讨论的是更加不确定的事情，我们无法进行实验。过去危险的AI系统崛起的历史没有出现过10次。采取“嗯，我不能确信地说这件事之外的区域”，这种态度是非常自然和容易的。我理解。
但是风险如此之高，我们有责任展望不确定的未来。我们需要考虑可能的情景并思考可以采取的行动。其他学科的研究人员，例如伦理科学或社会科学领域，当无法进行实验时也会这样做。即使科学家们不情愿走到那个地方，我们却能了解到别人所不知道的事情，我们有责任去那里，即使感到不舒服。
除了持不同意见的人之外，还有一大批因为不确定性而不足够自信以任何一种方式来表达立场的研究人员。
你在Mila的同事对你对自己一生的工作的反思作何反应？
Mila这里最频繁的反应是来自那些更担心AI目前的伤害的人——与歧视和人权相关的问题。他们担心讨论这些未来、科幻般的风险会削弱对正在进行的不公正问题的讨论——权力集中和对少数族裔或身处其他国家的人的声音和多样性的缺乏。
我完全同意他们，除了这并不是非此即彼的问题。我们必须处理所有的问题。在这方面已经取得了进展。人们明白放弃对存在风险的重视是不合理的，或者，我更愿意称之为灾难性风险。[后者]并不意味着人类消失，但可能会发生很多苦难。
气候变化比较容易应对。而对于AI，你需要确保没有人会做出危险的事情。
还有其他声音，主要来自工业界，他们说：“不用担心！让我们来处理！我们会自我调节，保护公众！”这个声音在政府中有很大的影响力。
那些认为人类应该放下争端的人，因为人类会有所丧失。他们应该齐声呼吁政府行动起来。就像我们曾经公开讨论过核武器和气候变化的危险一样，公众需要意识到还有另一种可能带来相似风险的危险。
当你考虑人工智能对人类构成威胁的潜力时，你对绝望和希望之间的连续哪一端持有什么观点？
什么是正确的词？法语中是impuissant（无力）。那是一种感觉，意味着存在问题，但我无法解决它。更糟糕的是，我认为它是可以解决的。如果我们都同意采取特定的协议，我们完全可以避免这个问题。
气候变化也是如此。如果我们都决定做正确的事情，我们现在就可以停止问题。这样做会有成本，但我们可以做到。对于人工智能也是一样。有些事情我们可以做到。我们可以决定不建造那些我们无法确定安全性的东西。这非常简单。
但这与我们的经济和政治体系的组织方式相去甚远。这似乎非常难以实现，直到发生灾难性事件。然后也许人们会更加认真对待这个问题。但即使这样，也很困难，因为你必须说服每个人都做得合适。
气候变化更容易一些。即使我们只成功说服了99%的人们行为得当也没有关系。而对于人工智能来说，你需要确保没有人会做出危险的举动。
“无能为力”，我想，是impuissant的翻译。
我并非完全无能为力，因为我可以发言，并努力说服其他人沿着正确的方向前进。我们可以采取措施来减少那些风险。
虽然监管并不完美，但它可能有助于减缓事情的发展速度。例如，如果世界上被允许操作潜在危险的人数减少到几百人，那么风险可能会降低超过1000倍。这是值得做的，而且并不难。我们并不允许任何人驾驶客机。我们对飞行进行了监管，这大大降低了事故率。
即使我们找到了构建安全的人工智能系统的方法，从保护民主的角度来看，它们可能仍然不安全。它们仍然可能非常强大，而如果是人类，权力会腐蚀我们。因此，我们可能会失去民主。
你是如何从一个安全但强大的人工智能系统的存在跳到失去民主的？
例如，它可能始于经济上的支配。我并不是说公司不能做有用的事情，但它们的使命是支配他人并赚钱。
如果一家公司在某个时刻在人工智能方面取得了更快的进展，它可能会在经济上占据主导地位。他们比其他人提供的东西更好更便宜。然后他们利用他们的权力控制政治，因为这是我们的体制运作的方式。在这条道路上，我们可能最终会拥有一个世界政府独裁。
这不仅仅是关于监管人工智能的使用和谁有权访问的问题。我们需要为那一天做准备，即那一天人们或者一个人工智能系统滥用了这种力量，如果我们失去了控制权，它有了自己的目标。
您是否有关于我们如何更好地做准备的建议？
未来，我们将需要一个人类防御组织。我们每个国家都有自己的防御组织。我们需要在国际间组织一种方式，来保护我们免受可能摧毁我们的事件的影响。
这是一个长远的观点，并且需要很长时间让多个国家就正确的投资达成一致。但目前，所有的投资都是在私营部门进行的。没有任何旨在维护人类的公共利益的举措。
