AI发展的两种主要风险是什么，诺贝尔物理学奖得主Hinton最新解读｜中企荐读

诺贝尔物理学奖为什么颁给计算机科学家

主持人：2024年12月，在瑞典斯德哥尔摩举行的诺贝尔颁奖仪式上，你获得了诺贝尔物理学奖，那一天什么感受你还记得吗？

杰弗里·辛顿：感觉太神奇了，我不是学物理的，却获得了诺贝尔物理学奖，我觉得他们是想把这个奖颁给人工智能，因为人工智能是当今科学界最令人兴奋的领域。

主持人：此次的诺贝尔物理学奖颁发给你和约翰·霍普菲尔德（John J. Hopfield），是为了表彰你们“基于人工神经网络实现机器学习的基础性发现和发明”，能给我们解释下这是什么意思吗？

杰弗里·辛顿：在人的大脑中，有大量被称为神经元的脑细胞，它们之间有连接，当你学习新事物时，就会改变这些连接的强度。因此，要理解大脑如何工作，必须先弄清楚改变连接强度的规则是什么，大脑如何决定是增强还是减弱连接。你的大脑有办法判断是稍微增强还是减弱连接强度，问题是，这种方法是什么？它是如何做到的？如果你能模拟这一点，并构建一个模拟脑细胞的大型网络，会发生什么？我们现在知道答案了，它会变得非常智能。

主持人：在成千上万的科学研究领域中，你为什么选择了这一个？

杰弗里·辛顿：因为这是最有趣的领域。要想理解人类，就必须研究清楚大脑是如何工作的。

AI的两种风险

主持人：我们还没有完全了解大脑的工作原理，虽然比以前有了一点进步，但这仍然是一个巨大的课题。在获得诺贝尔奖之前，你已经是人工智能的知名专家了，你一直在警告我们人工智能存在风险，为此几年前还辞去了谷歌的工作，在你看来，对人工智能缺乏充分控制的风险到底是什么？

杰弗里·辛顿：AI风险主要有两种：一种是滥用人工智能，这是短期的风险，并且已经发生了；第二种是当人工智能变得比人类更聪明时，它是否会脱离人类的控制，这是长期要考虑的风险。生活中存在更智能的事物被智能程度低得多的事物控制的例子，有时候更聪明的人也会被不太聪明的人控制，这和智力高低没关系。

主持人：滥用人工智能具体表现在哪里？

杰弗里·辛顿：比如，有人获取了大量用户数据，并利用这些数据制作虚假的人工智能视频，谋取政治利益。还有网络攻击，2023年~2024年，网络钓鱼攻击的数量增加了1200%，2024年网络钓鱼攻击的数量比2023年多了12倍。大模型让这些不法分子能更轻易地发动网络钓鱼攻击，过去，只要语法错误，我们就能轻易识别哪些是网络攻击，但现在很难发现。这些都是我们现在面临的问题，是我们要防范的人工智能短期风险。

主持人：你说的第二种风险有什么案例？

杰弗里·辛顿：实际上我只知道一个例子，就是婴儿和母亲。对婴儿来说，控制母亲非常重要，为此人类付出了巨大的努力，进化出了让母亲无法忍受婴儿哭声的基因。

主持人：你担心的长期风险短期内会对我们有影响吗？

杰弗里·辛顿：长期风险是人工智能会变得比我们更聪明。几乎所有顶尖的研究人员都同意这一点，只是在时间上有分歧，有人认为可能还有20年，有人认为3年，少数人认为1年，到那时会发生什么，我们一无所知。人们有自己的观点，但没有任何可靠的研究来预测到底会发生什么。我猜测人工智能有10%~20%的可能性会接管人类世界，但只是猜测，还没有什么证明依据。

主持人：当你说到人工智能接管世界时，我感觉还有很长时间，你能给我们一个时间表吗？

杰弗里·辛顿：不行，现在还没有什么方法能预测它，但如果我们现在不采取行动，这一天或许很快就会到来。现在我们正处于历史的转折点，仍然有机会弄清楚如何开发超级人工智能并确保其安全。我们应该尝试解决这个问题，花更多精力去弄清楚这一点。

主持人：我们该如何采取行动应对这些风险？

杰弗里·辛顿：现在有关于安全性的研究，但还远远不够。首先要做的是达成共识，现实不是科幻小说，我们需要说服人们在安全方面做更多的研究。这就像气候变化，首先要达成共识，即气候变化确实存在。如果我们不采取行动，情况会非常糟糕，哪怕行动还不多 ，至少已经开始了。

对于可能毁灭人类的生存威胁，我认为所有国家都应该合作起来。事实上，在保护人类安全方面，我们已经没有国界划分，各国应该相互合作，我想没有哪个国家愿意看到人工智能失去控制。现在好消息是各国意识到要合作应对生存威胁，但坏消息是我们还不知道该如何应对，所以迫切需要进行研究来找出解决这一问题的办法。

主持人：这类安全研究该由谁来推动？

杰弗里·辛顿：大公司有资源，有能力培养进行安全研究的人才，不要只追求利润，大公司至少要把三分之一的资源投入到安全研究上。

主持人：我们谈了很多关于人工智能的风险，有没有什么能让我们保持乐观，认为事情可能会有好结果？

杰弗里·辛顿：我们之所以要努力开发人工智能，确保其安全发展，是因为人工智能的确对人类有益。例如，在医疗保健领域，人工智能能让人们得到更好的医疗服务。你或许会有一个看过1亿名患者的家庭医生，他清楚地了解家里所有人的检查结果，能给出更好的诊断。目前，与医生合作的人工智能系统在诊断复杂病例时所犯的错误比单独的医生要少得多，未来这块肯定会发展得更好。

在教育领域人工智能技术也大有可为。有私人教师的孩子学习速度会快一倍，因为私人教师更清楚孩子哪里不懂。现在的人工智能还没做到这种程度，但我想10年内就可以实现这个愿望。当孩子学习某些东西时，人工智能系统能准确识别出孩子哪里不懂，知道该给孩子什么案例帮助理解内容。如果私人教师的水平比普通教师高出两倍，那么这些学生的水平就会比普通学生高出三倍甚至四倍。

诺贝尔奖奖金的用处

主持人：我们来谈谈世界上最富有的人吧（马斯克），我知道你已经不在他的圣诞贺卡清单上了。

杰弗里·辛顿：我在很多事情上都同意他的观点，也认可他做了很多好事，比如推广新能源汽车、提供的Starlink（星链）解决了很多地方的通信问题。他确实做了很多好事，但他在政府效率部大裁员这件事我是不认可的，他几乎随机地裁减了大量政府工作人员，这些工作人员都是善良、诚实并努力做好本职工作的人。他指责这些人懒惰、无用，并裁掉他们的工作，丝毫不关心失去工作的人以后会怎么样。

主持人：你和马斯克在X上对峙，这是你们唯一一次直接的互动吗？

杰弗里·辛顿：几年前他让我给他打电话，想和我谈谈关于人工智能风险的问题。我们简单聊了人工智能安全问题后，他提出聘请我担任xAI的顾问，他以为我会同意，因为他雇佣了我最好的学生之一作为xAI的技术骨干，后面他开始胡言乱语，最后我拒绝了他。

主持人：你的诺贝尔奖奖金有多少？

杰弗里·辛顿：奖金总共约100万美元，我拿了一半差不多50万美元。

主持人：这50万美元你捐了一半给Water First，是吗？

杰弗里·辛顿：是的，25万美元相当于35万加元。

主持人：Water First是什么机构？

杰弗里·辛顿：Water First是加拿大的慈善机构，致力于与当地居民和社区合作，通过教育、培训和有意义的合作解决当地的水资源挑战。

主持人：你为什么选择他们？

杰弗里·辛顿：我曾在秘鲁收养了一个孩子，在那里住了两个月，当地的自来水不能喝，我体会到没有安全饮用水的感受。如果你有孩子，却没有安全的饮用水，那么就要花大量时间思考如何防止孩子生病，这是强加给人们的额外负担。我认为在加拿大这样的富裕国家，还有那么多社区没有安全饮用水是很荒唐的一件事，比如在安大略省，20%的居民社区没有安全饮用水。我希望加拿大的每一个社区之后都能用上安全的饮用水。