根据 MarketsandMarkets 公司 2018 年发布的《安全市场中人工智能》报告，全球人工智能赋能安全市场规模在 2017 年已达 39.2 亿美元，预计 2025 年将达到 348.1 亿美元，平均每年增长率超过 30%。人工智能（AI）在网络安全、内容安全、数据安全、业务安全、终端安全等细分领域，给安全行业带来了新思路新方法，同时，也在对抗样本、深度伪造等方面给安全行业带来了新的挑战。
一、AI 带来的安全应用场景
1. 内容安全
随着 5G 和移动互联网相关技术和产品的日渐成熟，互联网内容正在以更多载体形式和更快生产速度渗透到人民日常生活的方方面面，对于涉黄、涉暴、涉恐、图文违规等内容的识别、审核和拦截成为各大内容生产和交流平台的必备社会责任。2021年，全国“扫黄打非”办公室开展“新风 2021”集中行动，从3月到11月，几近贯穿2021整年。从内容安全风险角度，行动涵盖音视频、直播、社区、新闻门户、游戏、网络文学、自媒体、电商等全品类互联网平台。监管层面对平台方的高要求和强管控力度可见一斑。
在有害文本内容的检测上，核心难点就是提升模型的准召率(Precision and Recall)以及如何应对语言的变种(互联网黑话)。传统的文本分类方法可称作浅层学习模型，通常需要通过人工方法获得良好的样本特征，然后使用经典的分类算法进行识别，此类方法的有效性在很大程度上受到特征提取的限制。但得益于深度学习在近年的蓬勃发展，深度学习能够通过神经网络模拟人脑，以自动从数据中学习高阶特征并进行分类，例如单词依赖关系、文本结构以及文本中的关键短语，然后，将特征工程集成到模型拟合过程中，往往能够获得更优的效果，例如 Word2Vec和TextCNN模型。
在基于深度学习的文本分类模型里，不得不提的是BERT模型。BERT由谷歌在2018 年提出，当年首次将GLUE基准(用于评估通用自然语言处理模型的基准)推至80.4％，是NLP(自然语言处理)历史上里程碑式的改变。BERT 是第一个无监督的、基于双向深度神经网络的自然语言预处理模型，它可以在一个大型文本语料库(例如维基百科)上训练一个通用的语言表示模型，充分利用上下文信息，然后将该模型用于下游自然语言处理任务(如智能问答和文本分类)进行精调。也是从BERT开始，“预训练模型+精调”的方式被工业界广泛应用，同时也出现了大量改进的预训练模型，例如XLNe、RoBERTa和 ALBERT等，至2021年，最新的 GLUE 基准已推进至90.6%。
然而，内容安全问题往往不能仅靠深度模型来解决，地下黑产从业者和恶意用户往往会通过创造新词和同音/同义词替换等对抗方法来达到逃避检测的效果。2017年，安全研究团队首次用自动化的方法大规模提取并理解不断演化的黑话。通过分析黑帽搜索引擎优化产业所推广的网页，从中提取候选词，利用现有搜索引擎对恶意页面的识别功能判断是否为黑话。然后，利用搜索引擎汇聚用户的搜索行为而提供的相关搜索功能，扩展这些黑话，最后形成黑话检测与扩展系统 KDES模型。2020年，研究团队提出了 TextShield框架，引入对抗学习、机器翻译和多模态嵌入/融合来解决分类模型在内容安全领域的鲁棒性问题。研究人员将每个文本输入一个机器模型，该模型使用大量的对抗性文本和良性文本进行对抗性训练修正。然后，将修正后的文本输入到深度学习分类模型中进行多模态嵌入，提取语义级、字形级和语音级特征。最后，使用多模态融合特征来进行分类。
2. 入侵检测
入侵检测和AI/机器学习的结合已经不是什么新鲜的话题。深度学习从2010年开始崛起，有几个关键的时间节点：2010年，ImageNet 大规模视觉识别挑战(ILSVRC)开始举办；2013年和2014年， NLP问题开始引入神经网络模型；2017年Transformer 的提出和 2018年BERT的提出，使安全研究员们第一时间想到如何把AI和网络安全/入侵检测相结合，相关关键词的搜索热度也随之升高。尤其是在 BERT这种能够从无监督学习中学习到更多语义知识的方法出现后，AI 与安全结合的关注度更为持续。
从2010年开始，AI和大数据等概念就开始刺激着安全行业，甚至有不少文章表示 AI 是安全行业的最后的希望。但实践发现，AI 并不是安全的“银弹”，原因有很多。机器学习擅长检测正常模式的行为，而入侵是一种偏离正常模式的行为，且并不是所有环境里的正常行为都是稳定而相似的；同时，威胁检测是一个开放式的问题，损失函数很难明晰定义。当人们对AI在安全中应用的期望回归理性的时候，就会发现，对入侵检测而言，AI并不具备全场景的适用性，而是作为一个实用工具，在特定场景下替代规则检测或者在海量数据下归纳特征和排除噪音，提升安全运营的投资回报率。
AI在入侵检测领域的一个成功应用就是加密流量检测，通过机器学习模型来代替传统的规则检测。根据思科公司的数据，2020年，70%的恶意软件都会采用加密流量，同时 60%的企业都不能成功解密HTTPS流量，导致威胁难以发现。思科在2016年提到，通过构建加密流量特征集，其中包括通用流统计特征集(22维)和由安全专家开发的更具表达性的特征集(319维)，例如分组数据包长度、数据包长度形成的转移矩阵，以及TLS 握手元数据相关维度，使用多种分类器在不同的时段和不同的企业网络中验证其有效性。同时，思科还开源了他们的网络流量特征提取工具 Joy 供研究者使用。
2019年，安全研究团队提出了基于注意力机制的深度神经网络在 Web 攻击检测中的应用，称之为Locate-Then-Detect(LTD)。LTD模型结合了目标检测和注意力机制的思想，创造性地提出了攻击载荷靶向定位网络(Payload LocatingNetwork，PLN)与攻击载荷分类网络(PayloadClassification Network，PCN)，通过两个深度神经网络的结合，可以准确地定位恶意攻击所在的位置，并对其类型进行精准识别。PLN用来定位攻击向量的可疑位置，PCN再对识别出的可疑向量进行分类，通过靶位识别网络的提取能力，能够使得检测系统更加关注真正有害的攻击，从而规避掉整个请求内容中正常部分对模型预测结果的影响。LTD首次解决了深度学习在Web攻击检测领域的结果可解释性问题，同时在与其他传统方式的对比中，LTD也表现出超出了基于规则、符号特征和传统机器学习方法的效果。
3. 欺诈检测
欺诈检测是电子商务平台中的一项关键技术，早期的研究主要集中在基于规则的专家系统。这些欺诈场景包括信用卡欺诈、电话欺诈、保险欺诈等。随着欺诈模式的迅速演变，当前规则或专家知识不足以满足当今实时检测欺诈行为的需求，因此一些研究人员尝试使用基于机器学习的方法以检测欺诈。之前的研究者专注于卷积神经网络(CNN)、 递归神经网络(RNN) 用于基于序列的欺诈检测。后来也有研究者利用图神经网络(GNN)发现欺诈。然而，这些方法中的大多数都面临着同样的问题：缺少可解释性，这对于欺诈检测任务至关重要。安全研究人员提出，通过构建行为序列深度学习模型来解决交易风险评估的问题。它不仅能从双重视角更有效地利用事件间的内部信息，同时也对预测结果进行了深入的解释。
基于行为时序信息的深度学习模型在智能风控场景中的应用变得越来越广泛，传统的建模方案大多基于单一的串联维度构建时序信息。随着风险对抗的加强，单一维度的时序刻画在风险识别覆盖上已经遇到了一定的瓶颈。研究人员通过双维度时序建模框架(Dual ImportanceawareFactorization Machines，DIFM)，增加行为内属性时序信息刻画模块来提升模型的识别性能。在卡支付风险交易的识别能力上，DIFM相较传统方案有4%到 6%的提升。同时，由于Attention机制的引入，DIFM可以同时输出和风险强关联的维度属性，在模型可解释性上也有很大提升。
二、AI 自身安全风险所带来的挑战
AI系统作为一个非常复杂的软件系统，同样会面对各种黑客攻击。黑客通过攻击 AI 系统，也可以威胁到财产安全、个人隐私、交通安全和公共安全。在深度伪造、对抗样本等方面，AI给安全行业带来了新的挑战。针对AI系统的攻击，通常包括以下几种。
1. 模型窃取
各大公司通过高薪聘请AI专家设计模型，花费大量资金人力搜集训练数据，又花费大量资金购买设备用于训练模型，最后得到深度学习模型。深度学习模型最终形式是从几百字节到几百兆字节大小不等的一个模型文件。
深度学习模型对外提供服务的形式主要分为云模式的应用程序编程接口(API)，或者是以私有形式部署到用户的移动设备或数据中心的服务器上。针对云模式的API，黑客通过一定的遍历算法，在调用云模式的API后，可以在本地还原出一个与原始模型功能相同或者类似的模型。针对私有部署到用户的移动设备或数据中心的服务器上的模型，黑客通过逆向等传统安全技术，可以把模型文件直接还原出来使用。
2. 数据投毒
针对深度学习的数据投毒主要指给深度学习的训练样本中加入异常数据，导致模型在某些条件下会产生分类错误。
早期的数据投毒都发生在实验室环境，其实验假设是可以通过在离线训练数据中添加精心构造的异常数据从而产生攻击。这一攻击方式需要攻击者能接触到模型的训练数据，而在实际环境中，绝大多数情况都是在公司里的离线数据中训练好模型再打包对外发布服务，攻击者难以接触到训练数据，攻击难以发生。于是，攻击者把重点放到了在线学习的场景，即模型利用在线的数据，几乎是实时学习，比较典型的场景就是推荐系统。推荐系统会结合用户的历史数据以及实时的访问数据，共同进行学习和判断，最终得到推荐结果。黑客正是利用这一可以接触到训练数据的机会，通过一定的算法策略，发起访问行为，从而导致推荐系统产生错误。
3. 对抗样本
对抗样本由谷歌的科学家Christian Szegedy等人提出，是指在数据集中通过故意添加细微的干扰所形成的输入样本，导致模型以高置信度给出一个错误的输出。
简单来讲，对抗样本通过在原始数据上叠加精心构造的人类难以察觉的扰动，使深度学习模型产生分类错误。以图片分类模型为例，通过在原始图片上叠加扰动，对肉眼来说，扰动非常细微，图片看起来还是原来的样子，但是对于图像分类模型而言，却会以很大的概率识别为另一种图像。
对抗样本是 AI 安全研究的一个热点，最新的攻击算法和加固方法层出不穷。与此同时，攻击场景从实验室中的简单图像分类，迅速扩展到智能音箱、无人驾驶等领域。在 BlackHat Europe2018上，Zhenyu Zhong 和 Yunhan Jia的《感知欺骗：基于深度神经网络(DNN)下物理性对抗攻击与策略》展现了如何让物体在深度学习系统的“眼睛”中凭空消失。例如用扰动后的图片，让深度学习系统YOLOv3模型无法正确辨识目标车辆。这是首次针对车辆的物理攻击的成功展示，从攻击目标的大小、分辨率的高低和物理环境对攻击效果的影响和难度来说，和以往的学术文章所针对交通标识的攻击相比是一个新的提升。
安全研究人员Takami Sato等揭示了如何通过在路面上铺设印有对抗样本的贴纸，攻击无人车的车道保持系统(Lane Keeping System)，让无人车偏离正常行驶路线。
Kan Yuan 和 Di Tang 等人介绍了黑产如何通过单色化、加噪音、增加文字、仿射变化、滤波模糊化和遮盖等方式让违规图片绕过目前主流的图片内容检测服务。这也标志着对抗样本技术已经从实验室环境真正进入了网络对抗实战。
4. 深度伪造
深度伪造(DeepFake)是英文“Deep learning”(深度学习)和“Fake”(伪造)的混合词，即利用深度学习算法，实现音视频的模拟和伪造。2017年底横空出世的DeepFake技术，将AI假视频带入大众视野的先驱。如图所示，美国演员 JordanPeele 用DeepFake技术“扮演”奥巴马讲话。
在 CanSecWest 2021上，安全研究人员进行了《AI 被滥用的风险：小心您的声音安全》的内容分享。他们的最新研究成果表明，VoIP电话劫持与 AI 语音模拟技术的结合将带来潜在风险。在分享中，安全研究人员展示了如何用 AI 进行声音克隆并劫持电话的攻击场景。区别于此前脚本类的电信诈骗，这一新技术可实现从电话号码到声音音色的全链路伪造，攻击者可以利用漏洞劫持VoIP电话，实现虚假电话的拨打，并基于深度伪造AI变声技术生成特定人物的声音进行诈骗。
针对此类风险，2021年3月18日，国家互联网信息办公室、公安部针对近期未履行安全评估程序的语音社交软件和涉“深度伪造”技术的应用，指导部分地方网信部门、公安机关依法约谈11家企业。
三、总结
综上所述，AI 在当前阶段更大程度上是一种类人的机器智能，基于概率学迭代式地改进决策效能。
AI可以和知识图谱等技术，以及知识标准如ATT&CK、MAPEC、STIX等相结合，吸收领域知识，但不能代替领域专家。AI更像是一个坚定策略的执行者，而非运筹帷幄的将军。随着安全行业逐步往安全运营和安全服务方向发展，以及 AI可解释性和 AI 即服务(AI as a Service ，AIaaS)的长足进步，AI可以很好地成为安全从业者的“瑞士军刀”。
与此同时，AI组件的引入也会随之扩大脆弱性的暴露面，包含模型的代码漏洞和模型的决策鲁棒性等带来的安全问题，同样需要在模型设计、实现和部署阶段引起足够的关注。
