B体育2024年4月26日，中美两国政府共同宣布，双方达成五点共识，包括将举行中美人工智能政府间对话首次会议。
一个多月前，图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等近二十位中外专家B体育，就曾在北京联合签署了由智源研究院发起的《北京AI安全国际共识》（以下简称北京共识），涉及人工智能“风险红线”和“路线”两大板块。
这是就人工智能安全达成的首份专家共识B体育，未来也将成为政府间对话的重要参考。
图灵奖得主约书亚·本吉奥、杰弗里·辛顿、姚期智等近二十位中外专家，曾在北京联合签署了由智源研究院发起的《北京AI安全国际共识》，为超级人工智能划定红线。（图片来源：受访者供图）
中美两国政府为何如此关注人工智能？当前人工智能安全面临着哪些挑战？南方周末记者近日采访了智源研究院院长王仲远。
王仲远曾在微软研究院、美团、快手任职，负责人工智能相关业务。在他看来，一个属于AGI（通用人工智能）的大时代正在靠近，而智源研究院是离大时代最近的地方。
智源研究院是成立于 2018 年的一家非营利机构，也是国内最早的大模型研究机构，为这一波国内人工智能大模型产业的发展作出了独特的贡献，炙手可热的 OpenAI CEO 山姆·奥特曼在中国唯一一次公开演讲就是出席2023年的智源大会。
智源是国内最早做大模型研究的，一开始就非常坚定地选择了大模型这条技术路线，认知上我们是领先的。
智源是一个非营利性的第三方机构，本身也承担着这样一个责任、使命，有义务让政府、社会意识到这种风险。
形成监管政策的方式有两种，一是威胁还没有实质发生之前，越来越多技术专家开始呼吁，逐渐影响政府制定政策。另一种是，现实威胁实实在在发生之后，政府也会迅速行动。我们希望促成第一条路而不是第二条。
北京共识中，不少国外顶尖专家都参与了签署，他们为什么会认可“北京共识”？
过往这5年，他们很认可智源的学术水平、学术生态的代表性，以及在中国AI领域的代表性。大家也都有充分共识，AI安全需要国际间合作，可能智源是与中国建立合作最好的选择。
不是先有一个共识，再让大家签署，参会的专家基于各自的技术背景，提出主张，这个持续两天的闭门讨论会中，有技术的分享、产业界的分享、学术界的分享，还进行了分组讨论，包括最后一天晚上，还有和科技部、北京市政府的对话。
为了让大家能够充分讨论，也采用了国际对话的一些规则，大家充分发表观点，这些观点都不进行任何记录，也不会对外透露具体某个人的发言内容，就是为了让大家能充分表达意见。
会议是从2023年末开始规划的，还仅仅只是一个开始，未来还会有一些后续讨论。
要不要设立一些AI安全基金？到底应该把控源头，还是把控场景？把控源头的意思是，就盯着那几个真正最顶尖有可能做出大模型的一些机构，从源头上去做好对齐，还是在场景的限制上，当它应用到不同的场景中再来限制？还有是否要禁止自身复制和更新？这次会议并不是所有参加的专家最后都签署了共识。
现在缺乏的是一个体系化的设计，无人驾驶已经有明确的安全等级分层，分为四个等级，人工智能也应该要分等级制定对应的监管要求，这还没有形成共识。
目前设定的这些红线，我认为不会阻碍AGI的到来，只是希望把AGI关在笼子里。如果它具备了自主复制的能力，像病毒一样，总能自我复制，我们就没法完全消灭它。数字智能比生物智能有一个很大的优势，也就是它的复制能力。
这只是一个开始，永远都需要先有人呼吁，越来越多的人意识到可能的风险，才会形成更广泛的讨论，之后可能会产生更明确的政府管控规则。没有这第一步，后面的也无从谈起。
我对此持谨慎乐观的态度，中美两国元首会谈都主动地提及了AI安全讨论。2023年11月，英国政府也做过一次AI安全的全球讨论。
也许在真正的危机到来之前，就会有一些事实上的进展。但是这些进展是否一定能阻止最顶尖人工智能导致的恐怖威胁的爆发，可能也不一定，但有总比没有好。
当巨大的伤害发生之后，确实会加速对于安全共识的形成和落地，但我们期望不要到那一天。
现阶段还远没有到局面失控的阶段，还是有大把的机会。人类历史上多次处理过这种重大危机，包括核武器的管控，大规模杀伤性武器的管控。
杰弗里·辛顿被尊称为“深度学习教父”，过去十余年人工智能大发展的理论基础就来自他。这次北京AI安全对线年是他一次重大的观念转变，想清楚了为什么数字智能一定会超越生物智能。
给出的理由是，人类的学习效率是很低的，每个人都是从头学习，但是他学习了十几年的大脑参数，没法复制给另外一个人，每个人都得从头学。
不考虑能耗，机器现在用几万张卡，训练一个几万亿参数的大模型，这个机器大脑是可以无限制复制。效率上来讲，比人类是高太多了，并且它还可以持续进化。
从目前看，机器智能的scaling law还没有失效，还在持续进化，未来算力能源逐步会成为它的瓶颈。
从2023年开始，我有非常强烈的预感，AGI正在加速到来B体育。过去，我觉得要实现科幻片里特别聪明的人工智能的场景还有四五十年，现在感觉可能再用四五年AGI就会诞生。
有一种强烈的紧迫感，我相信它会推动人类科技的巨大进步，也怀疑人工智能达到甚至超越人类的智商水平之后到底意味着什么。
根据生物学家的估算，人类大脑的参数是100万亿到1000万亿的神经突触。2018年比较强的模型，大概是1亿参数到3亿的参数，跟人类大脑参数差100万倍。2020年GPT3是1750亿，相差1000倍。GPT4是1.8万亿参数，相差100倍。
GPT5很可能比GPT4又大了10倍，可能和人类差距就 10 倍，还有传言OpenAI的秘密项目Q*是125万亿B体育，已经和人类大脑的参数相当了。
Sora的出现也是一个划时代的时刻，它真正的价值不是文字生成精美的视频，而是说明大模型可能具备了理解三维世界的能力。换句话说，Sora初步展现了世界模型上的scaling law。
北京AI安全对话上，专家们也都有类似的判断，都认为AGI未来5-20年内会到来。
通用人工智能应该有两个特点，一定是通用的，能跨领域使用；二是在各个领域普遍超过人类。
之前技术路线上是有争议的。比如，为什么机器要读几百万张图片之后才能分清楚猫和狗，而人类小时候只需要几张图片就会识别了。
从ChatGPT4展现出来的能力看，这个问题虽然依然存在，但不重要了，重要的是机器已经展现出了它的逻辑推理能力，既所谓的 scaling law。
科技检验最重要的标准，就是看能不能复现。百模大战中，至少有小几十家的模型复现 scaling law，并且展现出了相当强的能力。越来越多的复现，已经证明这条路是可行的，路径越来越清晰了。
低性能的模型支撑不起大的应用，现在国内的大模型还没有到“高中毕业”，即使未来“本科毕业”，真正要影响一个产业，还有工程化、效率、性能、性价比等问题。企业首先会考虑成本，投入产出比怎么样。
实际上，大模型现在在提升效率方面是非常显著的，设计行业、广告行业已经用得很广泛，许多大厂内部的很多业务场景已经开始基于AI进行改造，可能C端用户的感知会有一个滞后性。
在人类的掌控之下，对齐人类的价值观，生成的内容符合人类的价值观和法律框架。
大部分可以做到的，不能保证百分之百。生成式大模型，整体上还是一个黑盒。哪些数据能产生什么样的效果，能建立起什么样的枷锁，本身也是一个科学研究问题。
上一次的北京AI安全峰会上，我们就呼吁，不仅仅是法律条文进行限制，技术上也是需要去研究的，至少投入不少于30%的资金去做安全研究，确保它在安全可控的范围之内。
之前智源研究院的黄铁军理事长提出，如果 AI 智力远远超过人类，成了大象，人类宛如蚂蚁，大象不会想着去踩死蚂蚁。你怎么看？
黄老师的这个观点非常有意思，我也相当程度上赞同。不过如果当AI真成为大象的时候，也许不屑于踩蚂蚁，但不代表不会误伤蚂蚁。人类不会故意去踩蚂蚁，但可能也不那么在意蚂蚁的生命。至少现在它还没成长为大象，我们肯定不希望变成蚂蚁。
每天数以百万计的网络攻击事件在发生，绝大部分人是无感的。AI安全也一样，大家感知到的，始终是极少数的极端的案例，绝大多数是在水面下。我们要避免的是对人类造成重大灾难的AI安全事件。
人类一定会赋予人工智能控制权，一旦它控制了人类的关键性基础设施，风险就不可控了。也许有人会说，大不了把电源拔了。有了控制权，断电还会有效吗？会不会隐藏起来欺骗我们？这些都是不可预测的B体育。
我认为对人类的重大的伤害，一定是类似于。如果未来几十年，我们没有看到人工智能发动的，那就是我们的胜利。
如果到了那一天，大家会说你们这些做研究、做技术的就是危言耸听，那也是我们的一种幸运。怕就怕要等到真的发生了事件，人们才反思，应该对顶尖人工智能进行核武器般的管控。
现在大模型连高中都没有毕业，就去谈论说它会不会发动，是不是有点为时过早？
从风险预防和控制的意识来讲不早，我们已经看到了非常现实的威胁。如果在2023年之前，我觉得还值得争论，但现阶段这不是一个需要争论的问题，而是必须要面对、快马加鞭去解决的问题。
对一个确定会发生的未知的恐惧，你知道它一定会有威胁，但是你不知道那种威胁是什么。
可能目前我们还处在一个追赶的阶段，模型的能力还没有到要讨论失控的阶段。
短期之内差距会拉大，这里有很多现实的原因，长期看中国会赶上来的。智源对国内外百余款大模型进行了评测，目前测试的结果是，国内最强的大模型超过了GPT3.5，但还没有到达GPT4.0 。
短期有一些算力方面现实的困难，也有机制的问题。此外，未来最顶尖大模型的研发成本可能需要数百亿美元乃至上千亿美元，光靠市场的力量可能还不够。
不过，新中国成立时一穷二白，没有人才，没经济实力，都能研发出“两弹一星”。如今市场经济这么多年，培养了一大批AI人才，有这么优秀的企业，有这么强的基建能力，有很好的体制制度的优势，一定能奋起直追。
对外交流的时候，学校老师总会问我，教育到底应该怎么改革？应不应该教小朋友奥数？到底还需不需要教他们编程？很坦诚地讲，我现在依然在辅导我们家孩子学c++，尽管我非常确定普通程序员被取代的概率会大于蓝领工人被取代的概率。
编程还要不要学，我也没有答案，可能我会觉得锻炼的也许不是他编程的能力，而是他逻辑思维的能力。
我也会和我的孩子讲我正在做的一些事情，也没有刻意去培养他跟AI相处，因为我还看不透未来的AI会用什么方式存在。也有可能最顶尖的AI将来会被管控起来，不建议进入到普通人的世界。
现在仍旧是未知的，我只知道这是一个技术革命的时代，这也是为什么我觉得必须参与其中。当我看到风险要提早预警，当我看到能够为人类创造出更大的价值，要努力推一把。
人工智能发展有三个要素及两大支撑。三个要素是大数据、大算力和强算法，两大支撑是开源和开放。智源会坚持开源开放的路线，这是我们的重要使命。
2023年以来我们发布了五十多个开源的模型，全球总下载量目前已经超过3000万次了，位居中国人工智能科研机构第一。
智源也是一个开放合作的平台，拥有一流的AI学术生态。我希望继续保持智源在 AI学术生态上的优势，继续搭建好中国乃至全世界在AI学术交流上的桥梁。
此外我们会继续在前沿的研究，包括向多模态大模型、具身智能的方向持续发力，在AI安全方面持续从技术研究上去布局。
作为一个非营利性的一个机构，我们也有一定的历史使命，这个使命就是我们做好公共技术的支撑，服务更多的企业，让更多的老百姓能够了解AI的进展。
