为有效提升我市党政机关和重点单位网络安全技术能力，市委网信办组织开展了网络安全技术沙龙系列活动。4月22日下午，以“AI安全治理、共筑大模型安全新局”为主题的第六十二期网络安全技术沙龙顺利举办。
此次活动由中共虹口区委网络安全和信息化委员会办公室、上海市互联网业联合会网络和数据安全委员会、上海观安信息技术股份有限公司、北京启明星辰信息安全技术有限公司和中国移动云能力中心承办，特邀专家以“基于AI的信息安全治理方案”“政企大模型应用安全防护技术实践”“大模型应用安全的实战落地与复盘”为题，共同探讨如何构建大模型安全防线，助力各单位在智能化浪潮中夯实安全基石。
在“基于AI的信息安全治理方案”环节，专家指出，当前，生成式人工智能正在各行业逐渐普及，提示词注入、模型窃取、数据泄露等新型风险也逐渐凸显。专家围绕AI可信治理、AI赋能数据安全、AI深度伪造检测、AI赋能网络安全四大方向，提出了系统化治理方案。在AI可信治理方面，开展提示词注入检测、内容价值观审核，构建“策略驱动、多引擎协同”的实时过滤系统，实现AI应用交互全过程安全合规；在AI赋能数据安全方面，直击数据共享领域“不敢分、不能分、不愿分”痛点，通过可信AI技术实现自动化与责任解耦的双重突破，降低人工决策的责任风险；在AI深度伪造检测方面，开展AIGC内容标识与图像视频合成鉴别，实现深度伪造内容的可识别、可追溯、可处置；在AI赋能网络安全方面，通过AI SOC（AI安全运营中心）和AI代码审计，进行自动化威胁分析与安全运营，实现安全运营从“人力密集型”向“知识驱动型”转变，构建起覆盖全流程、贯穿全生命周期的一体化AI安全治理体系。
在“政企大模型应用安全防护技术实践”环节，专家指出，当前政企大模型应用面临业务创新与安全管控、开放能力与数据封闭、攻击迭代与防护滞后、监管要求与落地困难四大核心矛盾。为此，专家梳理提出五大核心防护技术：大模型安全访问代理技术、大模型访问脱敏技术、大模型应用防火墙技术、数据水印与模型水印技术、大模型合规安全测试技术。整套方案以合规要求为底线，以场景化痛点为核心，以攻防对抗为基础，构建“入口管控-数据防护-攻击拦截-溯源定责-合规校验”的全闭环防护体系，覆盖模型训练、用户访问、模型运行、合规管理四大场景，推动大模型从“尝鲜式应用”转向“规模化生产级落地”，为政企数字化转型提供坚实支撑。
在“大模型应用安全的实战落地与复盘”环节，专家围绕管理机制、管控措施、评价体系三个维度，介绍了覆盖合规管理、技术防护、日常运营的云平台安全防护体系，以此保障系统安全稳定运行。随后，专家以某单位应用为例，介绍了安全服务商助力搭建大模型应用支撑环境，通过旁路部署大模型应用防火墙与大模型访问安全代理，实现业务系统零改造接入，有效化解内容不合规、业务运行中断、敏感数据泄露三类安全风险。
来源：网信上海
编辑：朱伟文
