百度技术沙龙回顾｜AI时代的安全攻防新战场与对抗新利器

AI作为一种持续深入发展应用的颠覆性技术，正在推动着各行各业的发展。然而，AI技术在引领产业智能化升级、行业创新发展，提升居民生活品质的同时，其广泛应用也带来了很多新的风险。一方面，AI技术本身如果存在安全问题，在人脸识别、自动驾驶等场景下，会对隐私、财产、甚至生命造成威胁；另一方面，AI技术本身也有可能遭到不法分子的恶意利用，成为新型网络黑灰产手段。值得庆幸的是，我们可以通过技术手段有效应对这些挑战。

与此同时，AI技术本身也为网络安全带来了新的机会，它正在被越来越多地应用于漏洞挖掘和利用、网络威胁检测等领域中。那么，如何利用AI技术来提高漏洞挖掘和利用的效率？深度学习算法在网络威胁检测过程中又是如何应用的？

9月25日，百度技术沙龙在京如期召开，本期沙龙围绕“百度AI安全：AI时代的攻防新战场与对抗新利器”为主题，邀请到了百度安全资深技术专家及业内知名学者，分享关于“人脸识别安全”“模型安全与隐私”“漏洞挖掘与利用”“威胁检测”等话题，从技术角度进行全方位解读，并分享了各自在AI安全领域最新研究进展。

本次技术沙龙吸引百余人到场参加，并在会后得到了众多开发者的积极评价。下面让我们迅速来回顾下本次沙龙都有哪些内容。

议题一：AI安全对抗在人脸识别中的应用

人脸识别技术是深度神经网络的一个主要应用，在身份认证、查找等领域得到广泛使用。但其模型及系统的安全性却不断受到挑战。

活动开始，来自百度安全部的主任架构师包沉浮，为我们介绍了人脸识别的原理、应用及面临的安全风险。并分别从传统的人脸攻击方法、基于对抗样本的人脸攻击方法、人脸深度伪造、新型人脸认证攻击方法出发，百度针对这些安全问题的应对方案，包括AI模型安全工具、深伪识别平台、人脸安全sdk等。

议题二：自动驾驶环境中的AI鲁棒性评测

沙龙的第二个议题，来自百度安全的资深安全研究员Hawkeye向开发者介绍了自动驾驶AI模块与自动驾驶系统潜在的鲁棒性问题。包括工业界在自动驾驶safety方面的工作综述、自动驾驶AI模块抗干扰能力现状，以及对自动驾驶safety的影响。同时展示了百度安全在自动驾驶系统AI鲁棒性检测相关研究与成果，包含目标识别、车道线、单个模型的检测、对风险场景的高效搜索技术简介以及相关示例。

议题三：AI模型的隐私泄露：风险、评估与防护

在人工智能（AI）技术日益普及的今天，AI算法模型面临的隐私泄露风险也逐渐突显，主要表现为模型训练所用的数据信息存在被推断甚至被还原的可能性，导致敏感信息泄露。同时，模型本身在使用过程中也存在被窃取的可能性，导致核心算法资产损失。

来自百度安全部的资深研发工程师洪爵围绕百度开源产品PaddleSleeve，介绍了百度安全在AI模型隐私风险研究、评估与防护技术方面的工作。

作为基于百度开源深度学习平台飞桨上打造的安全与隐私工具，PaddleSleeve提供了包括多种隐私攻击工具在内的PrivBox套件，以及防护算法套件PrivacyGuard，可以有效应用于对生产模型进行隐私风险检测以及增强防护。

议题四：自动漏洞利用技术研究进展

沙龙的第四个议题，是由来自清华大学网络研究院的副教授张超博士为大家带来，他分享了关于自动漏洞利用技术研究进展。内容包括自动漏洞利用技术（AEG）通过自动化手段评估漏洞可利用性甚至生成利用工具，尝试解决漏洞攻防实践中最硬核的任务，降低对安全分析人员的要求。该技术已成为近年来的智能攻防竞赛（例如DARPA CGC）中最核心的挑战，是未来网络空间主动防御的重要支撑。本次报告分享了该领域的研究进展与面临的挑战和机遇。

议题五：自动化挖掘 AI 框架安全风险

出于数据规模、训练成本的考虑，越来越多的 AI 应用开发者选择使用第三方模型构建应用。因此，恶意模型作为攻击向量带来的安全问题不容忽视。此外，由于AI 框架的复杂性，传统基于输入变异的Fuzzing手段无法有效对模型网络、算子进行有效的测试。 来自百度安全部资深安全研究员Alt为大家分享了使用模型变异的方法对主流 AI 框架进行模糊测试的经验以及相关成果。从AI模型供应链展开，介绍了AI Model 是真实场景不容忽视的安全?险，Bad AI Model 可能引发程序崩溃、推理错误、甚至平台劫持； Fuzzing 可以用来检测 AI 框架中潜在的安全?险，预防 Bad AI Model Attack；Model Fuzzing 中面临结构化输入及测试效率等挑战。并分享了百度安全使用 AI Model Fuzzing 方法在多个主流 AI 框架中发现安全?险并协助修复，提升 AI 系统安全性。

议题六：基于深度学习的高级威胁检测技术

最后一场演讲由两位技术专家联合带来，首先是百度安全部资深研发工程师、百度云安全技术总监杜悦艺，结合当前网络安全态势，提出AI在安全中落地应用的思考，并以未知威胁感知和潜在攻击者发现两个场景为例，分享基于AI的尝试。随后来自百度研究院IDL资深研究员朱欤将介绍了最新的深度学习技术在潜在攻击者发现和UEBA领域的研究现状和相关进展，主要从算法的角度讲解几类不同深度学习算法在安全检测问题中的原理和实际应用。

随着我国逐步进入经济智能化的深度发展阶段，以人工智能为代表的新技术、新应用正在迸发出越来越大的能量。而在当下新旧安全问题不断叠加的趋势下，AI安全防护技术的持续升级也正在为我们提供新的工具去更有效地应对这些安全挑战，而其自身也已成为AI体系构建过程中不可或缺的重要一环。

通过领先的技术能力，保障用户个人信息安全，既是百度对于自身产品的严格要求，也是成为一家“最懂用户”的高科技公司对于亿万用户的责任。未来，百度将继续携手各界合作伙伴，以开放的代码和开放的技术推动AI安全开放生态的建设。支持监管部门，护航“新基建”，为打造更安全的AI时代贡献智慧，加速“智能经济”时代的到来。