AI时代开启 数字安全呼唤新范式

IDC数据显示，2022年中国网络安全软件市场规模达39.2亿美元，同比增长12.5%。

　　12.5%

　　8月9日，以“安全即服务 开启人工智能时代数字安全新范式”为主题的“ISC 2023第十一届互联网安全大会”在北京开幕。与会嘉宾表示，人工智能时代的数据安全问题尤为突出，解决AI大模型安全问题需要技术、监管共同发力；应前瞻布局人工智能与网络安全技术融合创新，增强产业链、供应链韧性和安全水平。

　　AI大模型安全成热点

　　当前，AI大模型安全问题成为影响AI行业深入发展的热点话题。中央网信办网络安全协调局副局长罗锋盈表示，生成式人工智能大力推动我国经济社会发展，同时存在生成信息准确性、真实性等亟需解决的问题。中国工程院院士邬江兴表示，AI大模型存在“三不可”内生安全个性问题，以及漏洞、后门等内生安全共性问题。

　　“人工智能的应用系统由基础软硬件、数据系统和人工智能算法、模型和上层应用组成，自身存在内生安全问题。”邬江兴介绍，深度学习AI模型存在“三不可”内生安全个性问题，这也是AI技术的基因缺陷。一是神经网络“黑箱”特点导致人工智能存在不可解释性；二是深度学习对训练样本过度依赖，导致学习结果的不可判定性；三是神经网络前向推进过程的不可逆，导致结果不可推论性。

　　此外，内生安全共性问题不可忽视。“AI应用系统硬件环境总要放在服务器上，有操作系统、CPU、存储器等，这些数据软硬件环节存在漏洞、后门等内生安全共性问题。内生安全个性和共性问题往往是交织存在的，使得AI应用系统的安全问题变得极其复杂，给政府、企业使用和维护应用带来前所未有的挑战。”邬江兴表示。

　　“人工智能时代的数据安全问题尤为突出。”中国工程院院士、ISC名誉主席邬贺铨认为，大模型训练依托海量数据，开源数据集、互联网数据容易得到，但数据集的质量值得推敲。如果拿这些数据来训练，内容风险程度可想而知。如果用企业自有数据进行大模型训练，就要考虑数据泄露的安全风险。

　　罗锋盈表示，要把数据资源真正转换成数字经济的发展动力，不仅要看地区总量上存储的数据规模有多大，还要看真正可提供、可共享给企业、机构、个人的数据有多少。

　　邬贺铨称，当前AI安全评估工作主要由企业自己负责，不少互联网公司有安全评估资质，国家也有安全评估中心，但仍有很多安全问题没有被评估出来。“人工智能技术发展和它带来的安全问题，我们认识还不够。”邬贺铨坦言。

　　坚持协同创新

　　业内人士表示，AI大模型安全问题需要企业、监管部门共同发力。

　　从技术解决办法来看，网络安全企业、参与AI大模型技术研发和产品开发的企业是解决安全问题的主力军。

　　“AI大模型安全超越许多传统安全经验，不能用解决网络安全的思想解决数据安全问题，不能简单利用解决数据安全的思路解决人工智能安全。”360集团创始人周鸿祎表示，解决AI大模型安全问题需要技术跨界，让具备AI大模型研发能力和网络安全建设能力的企业在其中发挥作用。越了解AI大模型工作原理，越有能力解决它的安全风险。

　　邬江兴提出了一个新思路，即利用内生安全理论中的动态异构冗余（DHR）构造方法，赋能AI应用系统内生安全实验。

　　邬江兴表示，紫金山实验室将在今年四季度举办第六届国际精英挑战赛，并新设AI应用系统安全赛道，这是世界上首次针对AI应用系统内生安全问题进行人机对抗的比赛。他呼吁更多的专家学者和企业界人士参与到AI应用系统内生安全研究和实践中来，共同推动AI时代的网络空间安全发展。

　　安全监管方面，罗锋盈表示，在AI大模型安全问题受到广泛重视的背景下，中央网信办会同相关部门起草并发布了《生成式人工智能服务管理暂行办法》，办法将于8月15日正式施行。

　　“在起草过程中，我们始终把推进人工智能等新技术发展应用作为工作的重要出发点和落脚点，支持和促进人工智能产业发展。将规范的范围限制在生成式人工智能，自动驾驶等其他人工智能应用不受影响，并且只规范向公众提供服务的情形，企业、科研机构、高校等开展科研攻关不在监管之列。”罗锋盈称。

　　中国互联网协会理事长尚冰建议，解决生成式人工智能带来的网络安全新挑战，要坚持协同创新。互联网龙头企业要积极开展原创性、引领性、基础性安全技术攻关，延伸技术领域拓展产品服务范围，完善产品矩阵。互联网初创企业要发挥快速灵活、资源集中的特点，以创新技术和产品切入细分领域，推动产品服务和行业发展紧密结合。坚持合规发展，提升安全治理水平。互联网企业应严格落实网络安全相关法律法规和政策文件要求，加强自身安全能力建设，构建全流程、全环节隐私合规体系。

　　网络安全市场逐步扩容

　　中国网络安全市场规模稳步扩大。IDC数据显示，2022年中国网络安全软件市场规模达39.2亿美元，同比增长12.5%。

　　尚冰表示，我国网络安全产业发展动能强劲。数据显示，2022年，我国网络安全产业规模近2200亿元。网络安全企业主体日益壮大。截至2022年底，中国已有21家网络安全企业上市，越来越多的互联网企业、设备厂商、电信运营商成为网络安全领域新生力量。

　　AI大模型浪潮为网络安全产业带来发展新机遇。据中国证券报记者统计，360集团、安恒信息、绿盟科技、启明星辰、中国移动等A股上市公司，阿里巴巴、腾讯、百度等互联网企业深度参与AI安全市场。

　　同时，AI大模型也为网络安全产业发展赋能。周鸿祎表示，360集团正在研发安全大模型。360有全球最大的网络安全攻击样本库和攻击过程全记录知识库，通过训练安全知识集，360旨在打造“安全万事通”和安全垂直领域专家。“当系统遇到攻击报警时，不再由人做判断，而是由大模型来判断这是一次攻击还是误报。目前，判断准确率已经提升到超96%，待超99%的时候便可投入使用。”

　　工业和信息化部网络安全管理局局长隋静表示，创新是网络安全保障能力提升的根本动力。要健全科技创新体系，强化企业创新主体地位，全面激发企业创新活力。前瞻布局人工智能与网络安全技术融合创新，增强产业链、供应链韧性和安全水平。要完善支持产业发展的政策措施，引导供给不断提升，需求充分释放，构建供需双向发力，产业链协同联动的高水平动态平衡。要创新网络安全服务模式，引导资本加大对产业的支持力度，加快培育一批网络安全“专精特新”企业。要充分发挥联盟协会纽带作用，培育壮大产业生态，推动网络安全产业高质量发展。

● 本报记者 彭思雨