小时 分钟
距开展时间:
参展申请
观众预登记
​全国政协委员、360创始人周鸿祎:人工智能安全已经出现新领域
来源: | 作者:安徽人工智能组委会 | 发布时间: 2025-03-12 | 44 次浏览 | 分享到:

在2025年全国两会即将召开之际,全国政协委员、360创始人周鸿祎接受了媒体专访。他表示,今年是他第八年参加全国两会,关注的重点依然是安全和人工智能两个方向。

在周鸿祎看来,DeepSeek凭借免费、开源等特性,让诸多企业开始采用DeepSeek用来降本增效,这不仅加速了AI产业革命的步伐,也带来了基座模型安全、客户端安全、知识数据安全、智能体安全等问题。在这一过程中,就需要打造安全大模型,通过“以模制模”的方式来解决。

人工智能的重要发展方向是人人智能

周鸿祎表示,人工智能将会重塑我们的生活以及所有的行业。

从个人角度来看,周鸿祎认为,人工智能的重要发展方向将是人人智能,就是每个人都可以拥有自己亦师亦友的专业助手。他表示,以前的软件达不到这种能力,因为软件经常是接收指令,完成某项功能。然而,未来人工智能的模式,就像一个顾问,你可以对它倾诉感受,表达想法,它能够通过多轮讨论,帮你找到一些答案或启发。

从产业角度来看,周鸿祎表示,像传统医院,人工智能可以通过加速它的数字化改造,智能化升级,来提升效率。比如美国医院利用AI技术自动给病人打电话预约时间,利用AI处理家庭及社区医生传来的病历等,从而极大缩短病人的候诊时间。同时,像生物制造行业,人工智能可以成为其研究的新工具和新范式。

“由此来看,AI的应用范围非常多。从某个维度来说,它不仅可以和人对话,变成人的助理。最重要的是和产业结合之后,针对某个应用场景,通过学习行业专业知识库,能够为企业决策,员工能力提升,业务流程优化以及客户体验改善等提供技术支撑。”周鸿祎如此说道。

从中不难看出,大模型在企业中应用,首先要选好场景,走好垂直之路,其次要建立专业知识库,并把知识库和大模型结合起来变成专业大模型,接下来基于专业大模型打造智能体,最后在通过企业的工作流软件把智能体接入到企业业务流程中,让其真正在企业中发挥作用。

“幻觉”不应被笼统看成是AI安全问题

周鸿祎表示,要正确认识AI的安全问题,不能夸大也不能忽视。他一直认为,不发展才是最大的不安全,所以必须要抓住AI这次革命的机会,提升生产力,实现科技的普惠化。

此外,AI的安全和业务的发展,周鸿祎认为可以同步走。不过,对AI的安全,不要笼统地谈AI安全。比如AI的“幻觉”问题,周鸿祎认为,大家对“幻觉”问题有很多误解。幻觉问题不完全是AI安全问题。因为“幻觉”是大模型固有的特点,是像人一样有智力的体现。例如,DeepSeek的幻觉问题就很严重,所以用它写的文章与人写的文章才如此类似。未来在搞科学研究方面绝对是离不开幻觉的。所以,不能严格、笼统地将“幻觉”看成是一个AI安全问题。

然而,AI有了“幻觉”之后,确实又存在诸多风险。比如将大模型用在医疗、法律、金融、证券以及制造等行业的关键场景,如果大模型乱编一气,乱发警报,那么就会产生严重问题。

大模型发展关系国运,不能因为过度追求准确而限制其创造力。对此,周鸿祎建议,应该借鉴“避风港原则”成功经验,对大模型以及相关的产品和服务实施柔性监管,适度包容大模型的“幻觉”,对于“幻觉”导致的一般性失误,避免直接关停下架,给予企业自我纠正的机会,促进企业大胆创新、放手竞争,争取让更多企业“复制”DeepSeek的成功。

强化大模型安全防御体系

周鸿祎表示,DeepSeek一定会火,而且是真火,不是虚火,因为它确实解决了人工智能大模型从“不可用”,从“凑合用”到“完全可用”“能用”的阶段。不过,对DeepSeek的安全问题,大多数人还是把它当成一个传统IT设备安全问题来看待。这个思路是过时的,这种传统网络安全的解题方法是解决不了人工智能的安全问题的。人工智能的安全问题,对DeepSeek来讲至少分成四个层面:

一是基座模型的安全问题。事实上,“幻觉”问题是可以防止的。为什么使用DeepSeek一定要联网,在企业中应用一定要连上企业专有知识库?因为“幻觉”是需要通过知识库来校正解决的。对大模型来说,只有结合企业专业知识库,其输出结果才是最个性化的。

二是客户端的安全问题。当大模型应用到企业当中,就可能出现人为在用户端发起攻击的可能性。例如,日前,针对伊隆·马斯克发布的大模型Grok-3,网上流行一组“越狱”代码,只要将这组代码拷进去,Grok-3就彻底放飞自我,这就叫PUA攻击或者注入攻击。

三是数据安全问题。尽管建立企业的专有数据库对解决“幻觉”问题至关重要,但当把企业的重要资料放到知识库并提供给大模型使用,大模型变得“知无不言,言无不尽”,就容易引发数据安全的问题。

四是智能体的安全问题。实际上,大模型只是一个大脑,只能用做推理和对话。如果要在企业中进行深度应用,它必须能够操作企业的各种物理设施。然而,一旦将这项权力赋予大模型,使其成为一个能够感知环境、进行决策并采取行动的“智能体”,将会产生极大的安全风险。对此,周鸿祎举例说,如果某一天他的数字人给全体员工发邮件说老周辞职不干了,或者通知企业财务快给某个账号转笔钱,这将会很麻烦。

“目前看来,基座模型的安全、客户端的安全、知识数据的安全、智能体的安全,构成了人工智能安全的新领域。”周鸿祎说。

为进一步解决人工智能的应用安全问题,强化防御体系,周鸿祎建议应采取两项措施。一方面,推动安全技术创新与成果转化。相关部门应及时出台配套政策措施,鼓励具备“安全+人工智能”完整解决方案的链主企业,针对人工智能应用所涉及的基座模型、知识库、智能体等安全问题,基于安全大模型技术开展研发工作,加速推动技术成果转化,将安全要素深度嵌入人工智能应用全流程。另一方面,组建产业联盟,推广安全产品。引导相关链主企业发挥牵头作用,广泛吸纳产业链上下游企业、科研机构及终端用户,组建人工智能大模型安全联盟,在联盟内部实现技术成果共享,共同开展产品及服务测试,待产品与服务成熟稳定后,向更广阔的市场加以推广,助力大模型安全保障普及至千行百业。

开源必将战胜闭源

周鸿祎表示,所有互联网的粉丝都应该承认,没有开源就没有互联网。在人工智能时代,我们要相信最终开源模式会战胜闭源模式,其中主要依靠的是强大的生态虹吸力量。一方面,当所有企业都宣布接入DeepSeek,实际上它就成为了一种行业标准。另一方面,当所有的公司,开发人员都选择在它上面来做应用,它就变成了人工智能的根技术。

“DeepSeek开源,相当于让所有人薅它的羊毛。这叫无招胜有招。其所带来的回报是在另外一个层面。比如DeepSeek只有200人,200人是竞争不过Google的,而且时刻存在被同行“挖墙脚”的风险。但一旦开源,全球最优秀的开发者、工程师等都会在DeepSeek的生态里来帮你找问题,帮你做改进,在你上面做插件,在你上面做应用。这里边会产生一种‘生物大爆炸’的效果,很多基于DeepSeek成果会获得加速发展。而这些成果又会回馈在DeepSeek社区里,这就是我们经常讲的开源生态。”周鸿祎如是说。