在（zài）纷繁复（fù）杂、光怪（guài）陆离的数（shù）字世界，漏洞（dòng）的必然存在和入（rù）侵的不可（kě）避免，使网（wǎng）络安全成为永恒的话题（tí）。无论在入（rù）侵者（zhě）还是防御者眼里，都在寻求（qiú）有（yǒu）力的武器（qì）。AI技术的出现，在（zài）自动化助力上，能显著（zhe）提升攻防双方的能力基（jī）线。

未来已（yǐ）来，机器（qì）智能对抗是新网络安全时代的选择。本文详细阐述了，AI在网络安全应用的必要性、可行性、应用（yòng）实践，以及经验总结。从（cóng）专家知识（shí）经验（yàn）到安全数据利用，从安全左右脑的双轮驱动，到（dào）多方知识协同，打造抵御（yù）多方位立体化攻击的安（ān）全长城。

网络安全的问题源自何方？

安全问题（tí）的本源：系统（tǒng）中蕴含超出设计意图的输入、中间（jiān）过程和输出。一个简单的函（hán）数（shù）设计，功（gōng）能点是：特定（dìng）的输入（rù）下的特定的输出。实现时候，可以采用（yòng）不同的内部逻辑，都能实现（xiàn）此功能点。良好的设计，会充分考虑例外的输入，不（bú）同中间（jiān）过程中的异常处理（lǐ），以及非预期输出的处理。但实际开发过程，由于开发能力、进度（dù）压力、逻辑复杂度大等（děng）各方因素下，会有（yǒu）各种（zhǒng）设计意（yì）图外的副效应，而这些副效（xiào）应会成为（wéi）系统的漏洞，并被利用产（chǎn）生非预期的（de）行为。

对于需要大量人（rén）员（yuán）参（cān）与、大量逻辑迭代构建（jiàn）的系统，其复杂度（dù）呈（chéng）指数上升，就会（huì）在某种程度上超出设（shè）计者（zhě）的（de）能力控制（zhì）范围。

系统的（de）漏洞不（bú）可避（bì）免，不可杜绝。任何的系统都必（bì）然存在漏（lòu）洞（dòng），有漏洞就可能会（huì）被入侵。

不夸张，不粉（fěn）饰，如何客（kè）观看待当下网络安（ān）全的真实存在？

传统基于静态（tài）规则和签（qiān）名、简单行为识别武装起来的防御系统，可以抵御常规攻击（jī），但在有（yǒu）计划（huá）投入的黑客组织（zhī）的持续（xù）攻击（jī）下，基（jī）本（běn）是透（tòu）明的。近年（nián）来国际（jì）安全行业（yè）针对“assume breach”形（xíng）成共识，是否被入侵成功（gōng），只取决于自身（shēn）的（de）商（shāng）业和政（zhèng）治（zhì）价（jià）值以及（jí）入侵的成本。在高价（jià）值目（mù）标里，入侵是（shì）已经（jīng）客观的存在，并将长（zhǎng）期存（cún）在。所（suǒ）以（yǐ），从（cóng）危害程度看（kàn），内（nèi）网安全防护会是未来的重中（zhōng）之重。

同时随（suí）着万（wàn）物（wù）互（hù）联的智能世（shì）界的（de）到来（lái），网络攻击日益（yì）增多且越来越自（zì）动（dòng）化、智能化。复杂的攻击可以自动检测环境，从而混（hún）淆（xiáo）、躲避和变种；高度自（zì）动（dòng）化的工具使攻击变得更加（jiā）聪明，传统防（fáng）御策略是无（wú）法处理这（zhè）些问题。安（ān）全团（tuán）队（duì）的（de）人力会淹没在大（dà）量（liàng）的告警事件中，产（chǎn）生告警疲劳（láo），从而难以（yǐ）及时（shí）识别（bié）和应对真正（zhèng）的威胁。

网络安（ān）全的（de）现实（shí）困局是：

1、组织内安全专家人力（lì）和知识不对等，

2、专（zhuān）业安全设备的应（yīng）用复杂度高，导致对网络威胁根本视而（ér）不见（jiàn）或（huò）者即使见也无力处置，干脆当个脑袋（dài）埋入沙堆的鸵鸟，麻木不仁、听（tīng）天由命，直到产生巨大危害的那（nà）一天。

漏洞的必然存在（zài），和（hé）威胁入侵的不可避免，如何保卫数字世界（jiè）的安全呢（ne）？

如果把网络（luò）世界的安全看（kàn）做是一场攻防战争，攻防各方首先都（dōu）要有强（qiáng）大的军备。在（zài）这个军备清单里AI会（huì）是关键（jiàn）武器。作为新时代的（de）电力，它（tā）将发光并照耀整个真实及虚拟的世界（jiè）。

在（zài）网络安全（quán）领域，传统防御模式的假设是（shì）：所有攻（gōng）击场景都是已（yǐ）知的，每种攻（gōng）击（jī）场（chǎng）景和应对策略一一对应，那么基于规则的系统便可高效（xiào）地运行。类似于中（zhōng）国武术的（de）散（sàn）打（dǎ）表演，按照固（gù）定（dìng）套路来。

但现实是残酷的。

随（suí）着大数据时代的（de）到来，黑（hēi）客的攻（gōng）击手段日趋（qū）复杂（zá）与多样，新型病（bìng）毒和病毒变种层出不穷（qióng）。例（lì）如2017年勒索病毒（dú）WannaCry席卷（juàn）全球，150多个国家（jiā）遭遇（yù）攻击。WannaCry爆（bào）发后，依然不断有黑客修改该（gāi）病毒，新（xīn）型病毒及变种不断涌现，勒索病毒已成为威胁互联（lián）网安全的一（yī）大毒瘤。

AI作为信息世（shì）界的最（zuì）新技术，也已（yǐ）经被（bèi）具有创新精神（shén）的黑客组织（zhī）采用来武装自己。面对这些（xiē）疯狂且极具创（chuàng）新颠覆（fù）意识的对手，传统（tǒng）防御（yù）技术已无法跟上（shàng）快速演进的攻击（jī）和威胁。不要说新型未（wèi）知威胁，即（jí）使对于已（yǐ）有的（de）安（ān）全漏洞（dòng）的攻击变种，也（yě）很难及时发（fā）现并有效处置。

同时，国内网络安全市场正在经历一场场转（zhuǎn）变。从注重安（ān）全合规，向注（zhù）重效果转变；从原来的流于表面的安全设备购置和部署匹配，向注重实战的（de）攻防演练、调查问责转变（biàn）。网络安全的建设（shè）模式，也（yě）从被动防御转为主动（dòng）能力建设（shè）。整个网络安全（quán）行业（yè）最终进（jìn）入基于AI的机器智能对抗时代（dài）：谁（shuí）拥有（yǒu）更多的AI能力和攻防知识，谁（shuí）的获胜面（miàn）就更大。

AI是一种机器展现的（de）智能（néng）。理想的智能（néng）机（jī）器能够感知周围环境，并采取行动以最大（dà）可能达成特定目标。教科（kē）书对AI的经（jīng）典（diǎn）定义（yì）是：

1、象人一样行动、象人一样（yàng）思考；

2、合（hé）理地思考、合理地行（háng）动。

在（zài）网络安全领域的AI应用可以定义为替（tì）代（dài）安全专（zhuān）家能力的自动化技术

当前，促成（chéng）AI在网（wǎng）络安全领（lǐng）域应用的要素都已经集齐：

1、高性能计算（suàn）AI芯片；

2、大量（liàng）可采集的数据、日（rì）志和（hé）安全事件；

3、AI算法近（jìn）年来的突飞猛进，聚集这个（gè）时代大量最优秀的大脑。无（wú）论传统机器学习、贝叶斯（sī）网络、知识图谱，还是深（shēn）度学习、图计算，在各（gè）行各业都得到充分（fèn）的实践。

即（jí）使上（shàng）述条件成立，人们还是会有疑惑：在（zài）极具个人英雄主义（yì）色彩的安（ān）全攻防领域，面对新型（xíng）威胁的创新不断（duàn）和（hé）灵活多变的网络攻击（jī）套路，在（zài）攻防双方成本严重不均衡的博弈场（chǎng）景下：

AI是否具备解决网络安全问题（tí）的条件（jiàn）并（bìng）真能成为关（guān）键武（wǔ）器呢？

首先，判（pàn）断待解（jiě）决（jué）问题的背后，解（jiě）是否（fǒu）存在（zài）。世界是稀疏的，世界万事万物背后（hòu）都会有一定规（guī）则在（zài）起着作用，包（bāo）括大自然（rán）的作品和人类的所有（yǒu）作品都（dōu）一（yī）样。物理世界，从（cóng）量子力学看（kàn），微观上是由不（bú）确定性原理和薛定谔方程的概率波（bō）统治的；而宏观上，则是由广义相对论、麦克斯韦方程组统治（zhì）的充满（mǎn）确定性的世界。

理论上，围棋（qí）有超越宇宙中所有原子数量的变（biàn）化（huà）。而实（shí）际上，AlphaZero经过450万盘的强（qiáng）化学习（xí），就已经可以战胜AlphaGo Lee了，这表明（míng）每（měi）个局面可选择的有（yǒu）效（xiào）下法其实是有限的。所以，在特定场景和具体（tǐ）设计下，事物的（de）存在和发（fā）展在可量化描述的维度上是稀疏的，有大概率的趋同性。

网络攻击也是基于一定（dìng）的样本和攻防理论，而非完全孤立和（hé）随（suí）机（jī）离散，也就内含了某个模式或者规律（lǜ），是可解的。

其次，探讨和提取模式和规律（lǜ），有很多成（chéng）熟的科学方法。

在简单的系统（tǒng）中，通过归纳总结，人类专（zhuān）家就可以提取出规（guī）律，用在网络安全领域就是一系（xì）列的（de）安全规则、签（qiān）名（míng）以及情（qíng）报。在复杂（zá）的系统中，模式和定律需要（yào）通过大量数（shù）据分析（xī）才（cái）能（néng）得到。

AI是超越人工（gōng）的利器，可以从数据中找到特定的模式并（bìng）刻画事物（wù）的特（tè）征（zhēng），总（zǒng）结出定律和定理，并抽象为可以用符号推（tuī）理表达的知识。比如，引爆此次AI技术浪潮（cháo）的是基于深度学习（xí）的神（shén）经网络，它之所（suǒ）以有如此大的作（zuò）用，正是因为它较好地（dì）模（mó）拟（nǐ）了人（rén）脑（nǎo）这“分层”和“抽象（xiàng）”的认（rèn）知和思考方式。其实质，是通过构建隐层的神经（jīng）网络（luò）模型和获取（qǔ）海量的训练数据，来学习到（dào）更有用的本质特征，从而最终提升信息分类或预测（cè）的准确性。图像识别通过应用深度（dù）神经（jīng）网络（luò），已经拥有超越人的识别（bié）能（néng）力。现实中，人脸识别应用（yòng）非（fēi）常广泛，也（yě）已经显示出高于人工识别的优越（yuè）性。在数据中心的（de）AIops中（zhōng），AI同样发挥（huī）着（zhe）重要作（zuò）用。

AI本身擅长（zhǎng）的就是，从大量纷繁复杂、但含有有效信息的数据中寻找本质的模式或（huò）规（guī）律（lǜ），对于网（wǎng）络（luò）安全领域也一样。

AI如何有效的应用于网络（luò）安（ān）全领域（yù）？

网络安（ān）全AI应用的目标是（shì）替代人类安全分析专家在（zài）特定场（chǎng）景下的工作，实（shí）现自动化（huà）。

我们先看看人（rén）脑的决策机制（zhì）：

右（yòu）脑，感性，非计算模式，从已存储（chǔ）的模式中（zhōng）启（qǐ）发（fā）式匹（pǐ）配检索。即通常意义上的直（zhí）觉，可以快（kuài）速（sù）匹配、快速反应，根据历（lì）史经验来提取关键事物（wù）特征和行为模（mó）式，从而第一时间做出决策。

左脑（nǎo），理性分析，通过一定的逻辑（jí）计算，从普世定理和领域知识出发进行演绎推理。从知识概念中来，到现实证据中去，通过推理模型预（yù）测和证据对（duì）照（zhào）来判断真伪，指导做出决策。

理性（xìng）可避免（miǎn）错误，但也可能会受限于旧知识而因循守旧。感性激发创造力和快速反应，但会陷入被设计的陷阱，误（wù）判较大。

人的决策，很多时候是左右（yòu）脑互博而达（dá）到协调（diào）统一，才能给出更合理的结论。

AI在网络安（ān）全中的应用模（mó）式，也大概如此。安（ān）全AI右脑需要有类似老刑（xíng）警“看一眼即（jí）懂”的能力，不放过任何一个可疑分子；安全AI左脑需要用攻防知识（shí）库和推（tuī）理引擎来武装自己，从多维关联、攻击链、图计算到知识图谱（pǔ），推导得（dé）出（chū）一个更合（hé）理的（de）最终决策（cè）。

AI在网络安全中的应用模式如（rú）下（xià）：

第一、安全（quán）数据的（de）加工（gōng）中AI的（de）应用。安全数据加工目的是自（zì）动或者半自动产（chǎn）生安全情（qíng）报、规则（zé）或（huò）者签名（míng）。一般来讲，这个加（jiā）工过程需（xū）要安全专家参与最后的确认与调整。通过利用AI工具，可以过滤掉大部分（fèn）无用的（de）数据，并给出更精确的情报、规（guī）则（zé）和签（qiān）名的建议（yì），减少安全专家（jiā）的（de）分析（xī）工作（zuò）量，提（tí）高工作（zuò）效率（lǜ），减少重复的劳动。

第二、有监（jiān）督学习的安全（quán）AI检测：通（tōng）过对（duì）海（hǎi）量黑（hēi）白（bái）样本的学习，建立分类模（mó）型，识（shí）别威胁的真实性，是最常见的应用。有（yǒu）别于静（jìng）态固（gù）定的签名和规则，AI模型比人类专家更能在（zài）海（hǎi）量数据中找到最接近本质（zhì）的特征表达，因（yīn）而（ér）有更强的泛化能力（lì），适应于（yú）各种变种（zhǒng）。变种很多有家族属性和恶意（yì）代码的重（chóng）用度，这些（xiē）是监督学习（xí）算法最（zuì）擅于捕捉到的关键特征，但需要注意的前提是（shì）大数据量（liàng）和（hé）高（gāo）质量的（de）黑白样本，以及场景问（wèn）题在可以用的安（ān）全（quán）数据中的信息含量多少。

构建AI模型的门槛即低（dī）又高。低（dī），是因为数据驱动的机器学习和深度学习，无（wú）脑拟（nǐ）合，容易过拟合得到高精度得分，可以在局部数据很到漂亮（liàng）的结果；高，是因（yīn）为要替代或者超越人类（lèi）安（ān）全专家，首先需要的数据不仅（jǐn）有量还要（yào）有质（zhì），同（tóng）时在算法上有深入研究（jiū）。到（dào）模型构（gòu）建的最后时刻，每前进1个（gè）百分点都非常困难，需要“炼丹师”般高深的功底才能取得一个实战环境基本可用的AI模（mó）型（xíng）。而这只一（yī）个开始，AI模型还要根据（jù）不（bú）同客户具体环境（jìng）下的安（ān）全数（shù）据的分布差异，不断的（de）迭代优化，反复打磨才能（néng）实战可用。

第三、无（wú）监督学习（xí）的安全AI检测：无监督学习不需要事先标（biāo）记好数据，而是（shì）可以通（tōng）过数（shù）据本身在时空（kōng）维度上（shàng）的内在联系，建立行为基（jī）线；或者通过（guò）聚类算（suàn）法（fǎ），来表达数据本（běn）身的分（fèn）布（bù）属（shǔ）性，从而获得安全数据的分布模（mó）型。通过数据（jù）空间的分布（bù）模型（xíng）可以（yǐ）发现异常（cháng），分（fèn）类不同的（de）数据（jù）集合，从而（ér）自学习（xí）、自（zì）适应地识别（bié）0 Day攻（gōng）击或基于已知漏洞变种的攻击（jī）。无监（jiān）督模式是（shì）很好（hǎo）的未知威胁检测方式。

第四、基（jī）于（yú）安全（quán）AI的认知能力构建，从安全（quán）攻防（fáng）知识、资产的脆弱性（xìng）/重要性、情报，通过各种知识推导给出最终结论，可用于最终决策，高级威胁识（shí）别，同（tóng）时给出威胁自动处（chù）置脚（jiǎo）本，加快响应速（sù）度，减少系（xì）统（tǒng）受（shòu）损程度和增加对（duì）APT组织的攻击预判。

AI在网络（luò）安全中的具体实践举（jǔ）例：

（1）基于DNN的恶意（yì）文件检（jiǎn）测

恶意文件数据（jù）量巨（jù）大，大部分会有（yǒu）有家族性，有较好的AI检测基础。

恶意文（wén）件检测基于深度（dù）学习DNN模型，用以识别文件是否为恶意文件。其（qí）优点是检（jiǎn）测算法使（shǐ）用了静态检测技术，无需（xū）恶（è）意文件的运行时行（háng）为，常用于本（běn）地检测。此外，模（mó）型小于1MB，运行内存小，适合防火墙做轻（qīng）量化检（jiǎn）测。

恶意文件的本地检（jiǎn）测（cè）流程

恶意文件检测建模

（2）C&C检测——DGA和DNS隐蔽通道检测

C&C是内网防护的重点，同（tóng）时也（yě）积累这（zhè）大（dà）量的流（liú）量行为数据，有较（jiào）好的AI应用基础。DGA（域（yù）名生成算法）是（shì）一种利用（yòng）随机字符来生成C&C域名（míng），从而逃避（bì）域名（míng）黑名（míng）单检测的技术手段。DGA检测使用了卷（juàn）积（jī）神经网络（luò）（CNN）的模型，识别准确率高达99.9%以上。

DGA检测恶（è）意域（yù）名

DNS隐蔽（bì）通道是指黑客利用DNS协议实现诸（zhū）如远程（chéng）控（kòng）制、文件传输等（děng）操作。例（lì）如2017年著名的XShell DNS通道攻击，黑客在（zài）XShell中植入（rù）恶意代码，通过DNS隐蔽通道外发用（yòng）户（hù）敏感数据。一个典型的（de）DNS隐蔽通道攻击过程如（rú）下图（tú）所示。

DNS隐蔽通道攻击（jī）

①被控端（duān）发起包含“数（shù）据（jù）上（shàng）传”的域（yù）名请求

②域名请求（qiú）DNS服务器进行递归查询

③控制端服（fú）务器返回含C&C data的DNS应答

④C&C data到达被控端

使用深度学习卷积神（shén）经网络（CNN）识别（bié）DNS隐蔽（bì）通道。通过batch normalization、word embedding、dropout等技术（shù）优化CNN模型，使得DNS隐蔽通道识别准（zhǔn）确（què）率（lǜ）高达97%以上。

（3）恶意加密流量识别（bié）

互联网上的加密流量呈现增（zēng）多趋势。同时，为绕过传统的（de）流量检测技术，也有（yǒu）很多恶意软件（jiàn）通过TLS加密流量进行通（tōng）信。如何识别恶意和正（zhèng）常（cháng）流量，从（cóng）而有效及时（shí）阻断（duàn），需要用到基于AI技术（shù）的方法。

加密流量识别过程

整个（gè）工作分为（wéi）3大部分：

1、首先安全研究人（rén）员通（tōng）过获取的黑（hēi）白（bái）样（yàng）本集，结（jié）合查询开源情（qíng）报，域名、IP、SSL等的情（qíng）报信息，进行（háng）特征信息提取（qǔ）；通过对黑白（bái）样本的客户端签（qiān）名和服务器证书的签（qiān）名（míng）进行（háng）分（fèn）析；基于上述分析取证的特征向量，采用机器学习的方法，利用样本数据进（jìn）行训练，从而生（shēng）成分类器模（mó）型。这就形成CIS安全态（tài）势感知系统最核心（xīn）的（de）ECA检测分类（lèi）模型。

2、流探针提取网络流量中加密（mì）流量的（de）特征（zhēng）数据（jù），包括（kuò）TLS握手（shǒu）信息、TCP统计信息、DNS/HTTP相关（guān）信息以及3/4层协议（yì）统（tǒng）计信息，统一上报给AI分析系统（tǒng）。

3、AI分析（xī）系统结（jié）合自（zì）身（shēn）的大数据关联分析（xī）能力（lì），对探针（zhēn）上送的各类（lèi）特征数据进行处理，利用检测分类模型识（shí）别加密流量（liàng）中（zhōng）的异常C&C连接，从而发（fā）现僵尸（shī）主机或者APT攻击在（zài）命（mìng）令控（kòng）制阶段（duàn）的异常行为。

AI在（zài）网络安（ān）全（quán）应用总（zǒng）结

①借助AI技术的（de）自动化数据加工可提升数据处理效率，让安全（quán）专家更专注（zhù）于价值信（xìn）息，从中提取更（gèng）有（yǒu）效的规则、签名、情报。内嵌入静态规则（zé）引擎，简（jiǎn）单高效（xiào），是安全防御（yù）的（de）重（chóng）要（yào）手段，实际在广（guǎng）泛应（yīng）用。

②在威胁手（shǒu）段（duàn）不断变化和漏（lòu）洞（dòng）日益（yì）增加，常（cháng）规防御手（shǒu）段失效的情况（kuàng）下，更能适应变化的AI检（jiǎn）测模型成为最后的兜底、最后的（de）防线。建（jiàn）立成（chéng）百上（shàng）千的（de）AI检测模型的（de）集群，可以从各（gè）个方位形成（chéng）天罗地网，构筑最强力的（de）防线。

③我（wǒ）们（men）还必须从组织的安全（quán）管理的视角出发，从网络虚拟空间走（zǒu）向（xiàng）物理（lǐ）实体（tǐ）空间，实现（xiàn）用户友好的AI安全检测和威（wēi）胁闭（bì）环，协同业界顶尖的（de）安全专（zhuān）家能力，赋能（néng）给单个组织，抵御（yù）外部的（de）持续（xù）攻击，实现威胁（xié）的预防和根（gēn）治。安全（quán）能（néng）力来自对网络安全空间的认知理解，包括：实体（用户、主机、系统、应用（yòng）等），威胁（情报、漏洞），APT组织和（hé）其攻击技术（shù）。知识决定命运（yùn），安全知识多的（de）一方（fāng）会获得更大优势，构建多层次的AI推理引擎是知识应用的关键。

人工智（zhì）能技术能（néng）够解决静态规则引擎的弊端，从而加强威胁（xié）检测能（néng）力，并通过知识智能推（tuī）理来解决安全运维（wéi）面临（lín）的挑战。目（mù）前硬件生态的繁（fán）荣、AI芯（xīn）片的涌现为人工智能技术在网络安全领域（yù）的落地（dì）提供（gòng）了坚实（shí）保障。此外（wài），AI能够助力设备间以及云间协同，促进（jìn）安全互动（dòng）生态的发展，通过多方联动打造（zào）越发牢固的安全（quán）平台，为（wéi）企业筑起安全防护的钢铁长城。