张钹、龚克、冯兴科“清华会讲”对话人工智能：AI会否摧毁人类？如何监管？
来源：世界金融论坛 时间：2023年12月5日
11月18日至19日，第六届“清华会讲”在清华大学主楼举行，来自海内外的数十位知名专家学者齐聚一堂，围绕“文明互鉴与和平发展”主题开展多领域交叉的发言与研讨。在“科技变革与全球治理”主题对话讨论会中，清华大学计算机系教授、中国科学院院士张钹，世界工程组织联合会（WFEO）原主席、南开大学原校长、清华大学原副校长、中国新一代人工智能发展战略研究院执行院长龚克，世界金融论坛（WFF）秘书长、金砖国家与全球治理智库（CBGG）主任冯兴科就“AI会否摧毁人类？”、“该如何监管AI？”等问题展开对话交流。
龚克：AI治理首先应该是发展导向的治理
龚克院长首先提出，AI治理首先应该是发展导向的治理。AI是先进生产力，先进生产力的进步是没有人可以阻挡的。AI风险主要来自两个方面：一个方面是来自技术的不完善；一个方面是来自于对AI的恶意运营。技术不完善就要靠发展技术来解决这个问题，不发展是最大的不安全。以发展为导向的AI治理要坚持标准，这个标准就是要看是否有利于AI生产力的发展，如果不利于AI发展，就不是个好政策；要推动AI和实体经济深度融合；要从研究的角度大力支持可解释性研究和可信AI技术研究，大力支持高效计算等绿色AI技术发展，大力普及AI，消解社会上不必要的焦虑，大力支持隐私计算等安全技术发展。要让人工智能遵守人类伦理和价值观，遵守法规和符合标准，要建立由联合国主导的、多元参与的人工智能发展与治理的广泛对话体系。
张钹：要进行AI 对齐，构建标准约束大模型
张钹院士谈到，AI大模型是当前人工智能发展最重要的成果，要特别重视AI大模型生成结果的安全问题，特别注意训练数据带来的模型本身的脆弱性，而进行AI 对齐，并构建标准约束大模型，是高效且快速的治理策略。对于生成式人工智能而言，其安全问题主要来自于模型本身和使用者的滥用，针对这两个完全不同性质的安全问题，相应的治理办法也应该不同。大模型做得越好，造假变得越容易。目前，如何防止ChatGPT或者大模型的滥用是一个普遍问题。国际上更多的应对办法是法律法规和行为准则，技术层面上的治理就是要搞一个标准，通过技术标准去检测这个模型究竟怎么样抗拒造假能力等。就AI治理和发展的关系，AI治理与发展看起来是有些矛盾，但实际上没有发展也就没有治理问题。目前，我们很重要的一个工作是必须要研究和掌握这个模型，应该处理好AI发展和治理的关系，只有发展以后我们才能更好的治理。
冯兴科：AI给人类带来的危险主要来自人性本身
冯兴科主任提出，AI给人类带来的危险主要来自人性本身，人性具有黑暗面。人类几千年以来，技术一直在进步，但是人类的本性似乎并没有发生更多的变化。我们需要更多关注AI的黑暗面，以及其最终可能摧毁人类的可能性，以及这种可能性所带来的风险。目前，AI已经在政治、经济、文化层面带来了前所未有的挑战，我们需要一些监管措施对AI进行监督和引导，良好的监管政策和监管科技不仅有利于AI产业的长远发展，也将确保AI为人类的未来发展是提供助力，而不是成为人类生存的威胁。就此，冯兴科主任向张钹院士、龚克院长提出“如何防止AI反噬人类”、“如何加强AI监管科技”之问。
如何防止AI反噬人类？
龚克院长就此提问表示，关于AI威胁人类生存大约有两种状态，一个状态是AI自己演化出生命了，变成意识了，然后就是硅基生命消灭了碳基生命，这完全是无稽之谈，没有任何科学根据。现在把人说成是碳基生命就没有道理。另外一个状态就是AI作为一个非常有利的武器被恶意使用，我们人类要应对这样的危险。面对这样的危险，我们不仅要有监管政策，目前监管政策已经有了，同时我们也需要监管技术，监管技术是很重要的东西，没有工具的政策是空的政策。
张钹院士就此回应表示，现有的生成式人工智能会不会走向主动攻击人类，或者是有人类意识等，如果按照现在的路线去发展的话，这是不可能做到的。现在的AI生成的内容以及怎么生成的，与人类是怎么生成的，这两个概念有非常本质的差别。现在机器生成是在外部的提示下，通过概率预测的办法来生成输出，AI自己不知道。它生成好多结果，我们告诉它这个结果是对的，那个结果是不对的。计算机唯一能做的就是计算，它就是算出来的。人类跟它完全不同，是在意识的引导下，有计划的生成。现在最大的问题是AI不可控。既然是用概率生成的方法，它是不可控的，这是最危险的。
如何加强AI监管？
龚克院长进一步表示，现在面临AI问题的时候，一方面要适当规制，另外一方面要突破人工智能最基本的技术，不仅在中国要突破，美国本身也还没有很好的解决。AI在概率上出现问题的时候缺少可预测性，这件事是确实需要做的。AI所面临的问题要在发展中解决问题。如果我们现在不大力发展人工智能，那我们真是面临最大的威胁。我们要在强调监管的时候要防止与发展对立起来。
张钹院士表示，AI需要加强治理，但就治理和发展的关系而言，目前我们中国必须要首先研究和掌握这个模型，只有发展以后我们才能更好的治理。通过治理与防护的双重途径防止人工智能的滥用，建立符合人类共同价值的原则作为共同治理人工智能的规则体系。
张钹院士进而谈到，ChatGPT是从1957年开始，经过了78年的时间做出来的，主要解决两个重大问题，一个问题是把文本的语意表述出来，ChatGPT学了知识，把文本作为知识来学，另外一个是巨大的神经网络，1943年到2017年，花了74年，这两个技术解决以后，OpenAI在2020年花了两年时间推出来GPT-3，又花了两年时间推出来ChatGPT，总共加起来花了78年的时间。“不要把ChatGPT看成是意外的成果，不光是美国人，是全世界的科学家、工程师花了78年的时间做出来的。我们没花这么长时间，肯定出不来。我们要想引领或者领先，一定要下功夫，得真去做。现在ChatGPT出来，大家都去仿它，从这个角度去看，我们的场景研究工作必须得抓，不能急功近利想花三五年做出结果。”张钹院士说。
张钹，清华大学计算机科学与技术系教授，中国科学院院士，中国人工智能领域泰斗级专家。2011年德国汉堡大学授予自然科学名誉博士。早在40多年前，张钹就开始投身人工智能领域研究，发表了中国第一篇人工智能领域的学术论文，获得中国在人工智能领域的第一个国际重要奖项，领衔成立国内首个智能机器人实验室，培养了本土第一位人工智能领域博士毕业生，组建中国第一个人工智能国家重点实验室。他参与人工智能、人工神经网、机器学习等理论研究，并将上述理论研究成果应用于模式识别、知识工程、机器人等的应用技术研究。2014年中国计算机学会（CCF）授予终身成就奖，2019年中国人工智能学会（CAAI）授予吴文俊人工智能最高成就奖。
龚克，世界工程组织联合会（WFEO）原主席，南开大学原校长，清华大学原副校长。现任南开大学学术委员会主任，中国新一代人工智能发展战略研究院执行院长。因主持中国数字电视无线传输标准和微型技术试验卫星的研发等工作，获国家技术发明奖和国防科技奖等奖励。先后获聘俄罗斯宇航科学院外籍院士（2001）、东盟工程与技术科学院外籍院士（2020）、联合国秘书长科学咨询委员会成员（2013-2017）、国家高技术研发计划航天航空领域专家委员会专家（2001-2010）、中国科协常委（2006-2016）等。
清华会讲作为清华大学精心打造的学术品牌之一，于2018年创办以来已成功举办六届，旨在为传承优秀学术传统、推动学术思想交流、促进多样性文明对话搭建平台。本届会讲汇聚了有关国家大使及各国友好人士、学术界、产业界等各方面嘉宾，发言内容多角度、广覆盖，充分彰显了会讲“和而不同”宗旨的生机和活力。