网络空间威胁狩猎研究综述
近年来，随着网络的普及和信息化水平地不断提高，越来越多的公司把重要信息和机密文件存储在连接着网络的计算机上。但是，由于网络攻击的手段层出不穷，威胁狩猎的思想和理念孕育而生并且逐渐成熟。
由此，首先对网络空间威胁的定义和攻击流程模型进行介绍，再阐述了威胁狩猎的定义和核心技术，然后描述了威胁狩猎使用的工具；最后，概括总结现有的主流威胁狩猎的框架，比较各个框架的优缺点，并阐明了下一步的发展方向。
近年来，随着网络的普及和信息化水平地不断提高，越来越多的公司企业把重要信息和机密文件存储在连接网络的计算机上。由于计算机性能的不断提升、操作方式的持续优化以及网络传输速度的大幅提高，公司企业的运作效率得到了进一步地加强，劳动成本大幅度减少。
不可否认，稳定、安全的网络环境是保证公司企业长久发展的基石。然而，正是由于各大商业公司和政府部门内部网络中存储着重要信息和核心数据，获取这类信息带来的巨大收益使得攻击和窃取数据的事件层出不穷。
更重要的是，由于相关的网络空间威胁长期潜伏在主机中秘密搜集信息，用户和管理员难以及时发现，导致攻击发生时会造生更大的破坏和损失。
具体来说，攻击者通过连接内网与外网的边缘服务器，找到网络中存在的安全配置问题或者利用零日漏洞，获得进入内网的权限。之后通过提权、扫描等手段取得内网的完整信息，进而窃取用户的敏感数据。在这些网络空间威胁中，危害最大、波及范围最广的一类被定义为高级可持续性威胁(Advanced Persistent Threat，简称APT攻击)。
大量研究已经证实，APT攻击是对国家、政府、企业和个人的网络权益和信息产生破坏的主要攻击手段之一。
早在2018年初，印度政府为每个公民提供的12位生物特征身份认证凭证在跨平台社交媒体WhatsApp上被匿名出售。在2019年10月，俄罗斯发生了一起历史上最严重、泄露信息最多的事件，超过6000万条银行用户的个人信息在暗网上被公开出售。
由此可见，信息泄露与窃取的源头，也就是这些网络空间威胁产生的原因，一方面可能是内部不合理的网络配置和安全设置，另一方面还需要考虑外部的攻击和威胁手段，这样才能全方位地发现、处理并解决网络空间的威胁。
因此，建立网络空间的威胁狩猎平台来发现和防御攻击者的入侵和破坏直接关系到公司企业的发展和未来，具有十分重要的意义，已经成为国内外信息安全研究领域中备受关注的方向。
01网络空间的安全威胁
网络空间威胁指的是潜在的可以通过利用计算机漏洞产生危害的种种问题。而产生危害的方式包括未授权访问、数据破坏、机密数据公开、数据修改以及拒绝服务等。
由此，可以将网络空间威胁分为主动型和被动型两类。被动型威胁是被动地收集系统有意或无意公布或可获取的信息而不去尝试修改系统资源，而主动型威胁则是在被动型的基础上，主动篡改系统控制资源或者影响操作系统的正常运行。
实际上，早在2000年安全研究人员已经确立了网络空间威胁的标准
如图1所示，攻击主要可以分为三个部分，系统资源（攻击目标）、安全防御措施以及网络威胁（攻击行为）。首先，攻击者可以通过主动或被动方式获取攻击目标的信息。在掌握了足够信息的基础上，发现网络环境中存在的漏洞或者配置问题，选取相应的适用策略实现对目标机器的控制从而达到攻击者的目的。
目前，几种主流的攻击链模型都有着相似的流程，最先提出攻击链概念的是Lockheed Martin公司，并命名为Lockheed Martin空间攻击链。研究人员通过对攻击者的战术进行分析，将网络空间威胁攻击链分为三大阶段，分别是前攻击阶段、攻击阶段和后攻击阶段，如图2所示。
其中前攻击阶段是攻击者收集信息设计攻击方式的过程，包括侦测、武器化和传递三个步骤。攻击阶段是执行攻击的过程，包括利用和安装阶段。而后攻击阶段包括回连和控制目标的阶段。
总的来说，通过空间攻击链模型可以较快确定攻击情况，找到适用的的网络防御技术，实现一个智能反馈系统从而有效地减少攻击者实施攻击成功的概率。另外，安全公司FireEye也提出攻击生命周期。、MITRE开发了ATT&CK生命周期。
02威胁狩猎的概念和基础
曾经主流的安全防御软件是通过等待安全监控程序的警报时再执行紧急防御措施，而这种安全防御系统已经无法适应当前复杂的环境。因此，威胁狩猎防御机制则是在这个背景下被提出的。
2.1 威胁狩猎的定义
网络空间威胁狩猎指的是主动持续地在网络中搜索可以绕开安全检测或产生危害的威胁的过程。目前，一套网络空间威胁狩猎机制的核心竞争力包含三个方面：威胁攻击证据的数据质量、获取和分析数据的工具以及分析数据和使用工具的工作人员的技术。通过使用狩猎成熟度模型（Hunting Maturity Model）来检验一个防御机制的优质程度，狩猎成熟度模型定义了五个等级。
起步级：这个阶段主要由入侵检测系统、安全信息和事件管理系统（SIEM）或反病毒软件等工具侦查恶意行为。该过程主要基于自动报警系统，未实现从系统中收集数据的功能。
简易级：在初始级的基础上，会常规性地搜集最近的威胁情报信息来判断系统是否遭受相关攻击。
规程级：根据他人或其他更高级的狩猎模型制定的信息分析方法，根据输入的数据判断一些简单的恶意程序的行为或活动。
创新级：该阶段威胁狩猎具有制定特有的数据分析过程的能力，并涵盖了高级有效的技术例如相关数据分析、数据可视化以及机器学习等。
领路级：在创新级的基础上实现自动化改进现有数据分析方法。这样可以有效地减少运行相同进程的内存消耗，专注于改进现有的规程和创造新的规程。
狩猎成熟度模型不同阶段的最本质区别在于狩猎方式的差异。起步级的狩猎过程中，安全人员只能增加新的安全证书或者恶意文件的特征信息，因此从本质上来说起步级的威胁狩猎不是真正意义上的狩猎。而领路阶段的狩猎则是主动尝试新的方式来找到攻击者，根据已有信息从不同角度入手分析获得新的结论。
2.2 威胁狩猎的核心技术
一次完整的狩猎过程可以进行如下区分。在开始狩猎之前，需要明确网络结构、运行系统、防御机制可以抵御和侦测的攻击方式和准确性、潜在的攻击目标和工具使用的执行战略。之后则是需要明确相关数据信息的手段和技术。
目前来说，攻击者利用的漏洞、使用的工具和攻击方式相关的研究是最被重视的部分，大量相关问题被深入研究和详细记录，可以在各种最新的APT报告中获取。而最终的结果是使得每一次狩猎都可以拓展威胁狩猎防御机制的普适性，使得狩猎模式适用于更广泛更多样的攻击。
目前来看，威胁狩猎主要涉及到的技术可以大致分为取证技术和分析技术。
（1）取证技术
由上述内容可知，取证技术是实现威胁狩猎的基础。优质的指示器（IOC）可以快速定位攻击者的信息并及时地改进，具体分类如图3所示。
其中文件的哈希值是最简单最基础的指示器，即通过比对待检验的文件哈希值和恶意程序的哈希值来进行判断。目前仍然有大量杀毒软件使用哈希值来判断文件是否是恶意程序。随着金字塔高度的提高，金字塔模型越上层的信息收集工作越困难，需要对于数据的意义和攻击的手段有更深入的认识并进行总结概括，使用时的适用范围也更加广泛，而对于威胁狩猎来说也越重要。
（2）分析技术
丰富的分析技术可以使得威胁狩猎效果更加明显，具体可以分为如下几类。
日志分析技术：由服务或设备中获取的日志非常重要而且目前已有的安全防御系统并未合理充分地利用。与此同时，威胁狩猎平台的日志分析能力也直接影响了其抵御和防范攻击的能力。由于日志是威胁狩猎分析攻击的重要信息来源之一，因此明确可以获取日志的程序和出处十分重要。在Unix系统中，日志通常以文本文件的形式保存在/var/log中。Windows日志可以划分为4类：应用程序日志、安全日志、系统日志和转发的事件日志。这些日志大部分记录在%SystemRoot%\\System32\\Config下。
网络分析技术：包括读取理解捕获的数据包并判断网络流量是否异常的能力和熟悉网络中的不同设备的特性以及相互如何影响。
攻击分析技术：清楚攻击者在各个攻击阶段所使用的技术快速发现问题以及相关行为，了解攻击工具、恶意软件、鱼叉攻击以及软件配置问题可以帮助判断攻击者的思路来获取攻击行为的证据。
03威胁狩猎的工具和框架
目前，一套完整的威胁狩猎工具并不够全面，研究人员需要通过利用不同工具的特性来完成整个威胁狩猎的过程，本文将威胁狩猎的工具分为三个类别，分别是准备工具、分析工具和威胁模拟工具。
3.1 威胁狩猎准备工具
在准备阶段，安全研究人员需要通过还原攻击现场、保留攻击证据等方式筛选有价值的数据和信息。目前适用于各种平台的数据收集及整理工具是Facebook公司研发的Osquery。该工具将操作系统各种相关信息通过类似于SQL的方式汇总成表格方便研究人员快速获取和比对信息的系统分析工具。
其主要优势是可以像查询数据库信息一样查询操作系统，以此来查询错误配置、用户权限甚至文件可读性审核 。此外，其配套用户管理平台Doorman支持远程管理Osquery的节点，使得其支持分布式读取终端数据，获取全局信息的功能。
由于绝大多是攻击者会删除或毁坏攻击证据，所以磁盘恢复工具能有效的达到复现攻击现场和获取证据的目的。AccessData FTK Imager是一个从硬盘中恢复各种数据的取证工具。
该工具通过扫描硬盘驱动器，获取32位或64位系统的当前硬盘内容和分页文件信息。Bitscout是一款开源的基于Linux的包含一系列分析磁盘映像的工具，其允许用户创建自定义的磁盘镜像以及安全研究人员远程获取磁盘映像备份，方便研究人员分析。
而GetData Forensic Imager是一个基于Windows的可以获取、转换、修改取证镜像文件格式的工具。Magnet ACQUIRE是一个适用于各种主机和移动端操作系统的多类型镜像恢复工具。该工具拥有一系列可靠快速的数据提取技术，方便用户快速大量的获取恢复获取数据并有详尽的日志记录获取过程。X-Ways Forensics是一个基于Winhex十六进制磁盘编辑器的克隆和镜像取证工具，主要用于Windows主机和服务器上，相比较其他工具，该工具效率高、速度快硬件要求低且不依赖复杂数据库，使用较为广泛。
此外，网络流量的数据也是威胁狩猎的核心，有效地获取相关信息可以更加准确的进行威胁狩猎。因此，使用网络流量捕获工具可以实现对网络流量的数据的获取。Stenographer是数据包捕获程序，旨在快速将所有数据包缓存到磁盘。
该工具会在磁盘容量限制时删除最早的数据，适合在网络威胁发生之前和期间捕获流量，而无需明确需要记录的网络流量。其缺点是由于处理量大，难以高效处理复杂数据包。网络可视化工具AOL Moloch是一个开源的大型IPv4数据包捕获系统，并且可以方便地浏览搜索和导出捕获的数据。
该工具按照PCAP的形式存储所有网络流量，其优点是该工具强大的灵活性，缺点是配置复杂性较高。
3.2 威胁狩猎分析工具
威胁狩猎分析工具根据分析对象的类别，分为日志分析工具、内存分析工具和文件分析工具。
在日志分析工具中，Lorg是一个用于在大文件中提取关键日志信息的工具，通过基于签名的攻击和机器学习相关技术检测HTTP流量日志（例如Apache的access_log文件），判断是否存在可疑请求或异常情况。StreamAlert是由爱彼迎公司开发的基于无服务器的实时日志数据分析框架，能够使用用户定义的逻辑提取自定义数据源并触发警报。
其优点是有追踪溯源日志的能力，便于部署维护且能处理大量数据，自动融合类似警报并建立新的规则。此外，微软发布的Sysmon是专门为用户Windows操作系统和服务器设计的，用于记录详细日志信息的工具，其中包括进程创建、网络连接以及文件修改等重要操作。
Sigma则是一种方便用户定义开放签名格式、描述日志事件的工具，类似于指示器（IOC）和Yara规则用于检测恶意文件和网络连接，该工具可以使得研究人员共享、分析日志文件。Graylog是一个应用于分布式体系的日志管理系统，可以分析从不同服务器中记录的日志。
该系统的优势是支持大量数据格式，较好地控制授权和用户权限，并且能第一时间收到警报。缺点是该系统不能直接读取信息，需要手动导入，且生成的报告不够详细完整。
在三类静态分析工具中，内存分析工具常用于获取存储于内存中攻击信息。Memoryze是一款用于内存取证的命令行程序，在计算机运行过程中通过分析内存镜像，帮助用户检测恶意事件。
Windows SCOPE是用于分析易失性内存的取证和逆向工具，提供分析Windows内核，驱动程序，DLL以及虚拟和物理内存的功能。该工具还可以定期记录内存快照，跟踪系统内存的即时变化。Belkasoft Live RAM Capturer相比较之前介绍的工具更为轻量级，在受到主动反调试保护时仍然可以获取存储器的数据，提供不同版本减少空间占有。
除此之外，还有例如Linux Memory Grabber、Magnet RAM Capture、OS Forensics等内存获取和分析工具或脚本。
而在文件分析工具方面，目前绝大部分分析工具采用特征比对的方法进行威胁狩猎。采用IOC或Yara规则进行网络威胁识别的工具包括Fenrir、IOC Finder、rastrea2r、Fidelis Threat Scanner、 LOKI等。
另外一部分工具则采用自主收集计算机数据信息来进行分析。bulk_extractor是一个通过扫描数字证据文件提取例如电子邮件地址、信用卡号等信息的工具。其优势是可以处理压缩文件及部分损坏的数据，支持多线程分析文件内容构成单词表来进行数据展示。
此外，还有开放式计算机取证体系结构框架（Open Computer ForensicsArchitecture）基于Linux开发的后端平台并使用PostgreSQL进行数据存储。该框架集成了多个开源文件取证工具，包括The Sleuth Kit、Photorec等。其中The Sleuth Kit是一款用于Unix和Windows的文件分析工具，具有磁盘镜像分析、文件系统深度分析等功能，而Photorec则是帮助用户回复数据的工具。
RegRipper是用Perl编写的开源工具，用于从注册表中提取或解析信息（键，值，数据）并将其分析呈现。另外，专用于Windows的信息记录及文件分析工具还有AChoir、Crowd Response、IREC等。商业公司方面，Belkasoft公司开发的工具集Belkasoft Evidence Center可以通过分析硬件、硬件镜像、导出内存、分析IOS、黑莓和安卓机器的备份来提取各种电子证据。
3.3 威胁模拟工具
由于网络威胁并不是时常发生，而威胁狩猎的改善和提高需要大量的训练和总结，因此为了更有效地测试威胁狩猎平台的性能，安全研究人员开发公布了一系列的网络空间威胁模拟工具。
APTSimulator是执行Windows批处理脚本工具，它通过使用一组工具和输出文件模拟系统信息被泄露的情况，是一个小型且高度便携的检测测试系统。
AutoTTP是一个网络空间威胁攻击战术生成程序，通过手动重新运行复杂序列以进行回归测试，产品评估，为研究人员生成攻击数据。
此外，专门针对Windows企业环境的网络威胁仿真工具还包括Caldera、Cimsweep、BT3等。
04研究机构模型
但是当前现状的弊端也显而易见，大部分方法和工具只对网络空间威胁的一种技术或一个部分有较好的效果，而各种方法和工具不能相互兼容，这就导致了在整合到一起时无法起到真正的效果。
在这样的环境下，各个研究机构创立自己对办法建立威胁狩猎平台，本节将选取代表性的组织进行分析总结。
4.1 MITRE
通过ATT&CK攻击周期链，MITRE开发了基于ATT&CK分析方法，通过七个步骤实现威胁狩猎的开发工作，将分析方法分为七个步骤：确认行为、获取数据、建立分析、开发攻击仿真事件、模拟威胁、调查攻击、 评估效果。该方法的缺点是进攻防御非同时，导致不能做到即时对攻击事件进行反应，这会导致不能最大程度的减少损失。
明确行为：分析过程由明确攻击者的行为开始，找到共通行为、即时可用的数据以及可以指示恶意行为的证据。
获取数据：在分析之前，找到足够合适的数据非常重要。这就需要在系统上预安装适当的数据收集工具，例如Windows事件日志、Sysmon日志等。
建立分析：通过硬软件平台的支持，建立分析方法，例如建立安全信息和事件管理中心。分析分为四个部分：行为，这方面指攻击者常用的行为但并不违反安全规则不会报警；情况意识，在不同情况下不同的信息组合可以带来新的信息，例如单纯的用户登录记录并不能指出攻击者的存在，但是配合其他指示器就能产生不同的效果；异常，分析并非攻击行为但是异于一般行为的时间；取证，获取直接指示攻击者行为的证据。
开发攻击仿真事件：与传统渗透测试注重系统漏洞不同，攻击仿真者通过模拟确定的攻击行为，配合补充的攻击技术完成整个攻击的流程，核心目标是获取整个网络环境的控制权。
模拟威胁：在真实情况中根据上一步建立的攻击模型相对应地执行。在这个过程中研究人员可以检验威胁狩猎的效果并进行改进。
调查攻击：在攻击完成以后，研究人员通过威胁狩猎获得的数据和证据来倒推攻击的流程，找到缺陷加以改进。
评估效果：根据上两步的结果，综合整个实验过程评估威胁狩猎的效果，筛选数据并改进方法。
除了ATT&CK分析方法以外，MITRE公开分享了在网络空间威胁中存在的攻击手段，并总结各个国际APT组织擅长使用的战术战略，收集了相关的恶意程序样本，让安全研究人员可能更好的分享使用并进行威胁狩猎。
4.2 JPCERT/CC
结合目前成熟的网络空间威胁模型，日本计算机应急响应小组合作中心JPCERT/CC的研究人员根据攻击者使用工具和命令的阶段顺序进行深入调查，命令的使用频率进行研究。针对性的重点研究范围是攻击者在横向传播时Windows操作系统自带的命令行，特别是用户不常用但是攻击者需要使用的命令，区分这些命令的使用频率。
研究人员提出可以通过应用锁（Applocker）对系统所使用的命令指令进行限制，虽然不能阻止指令执行，但是记录的日志文件可以用于之后的取证。研究人员围绕日志记录审计规则和日志记录工具，例如Sysmon等，来建立针对Windows操作系统的威胁狩猎平台。
此外，该研究人员还基于Sysmon工具开发了Sysmon Search工具。Sysmon Search是一个基于ElasticStack的日志分析系统，通过将每条记录设置成一个节点可以直观的找到相互之间的关联。例如，如果明确了恶意程序的哈希值或者命令控制服务器，通过该工具能快速找到可能被感染相同恶意程序的其他主机，也可以通过指示器或者结构化威胁信息表达式（STIX）进行特殊查询。该工具也支持即时的查询，并对每台主机的网络交互、注册表和进程进行统计分析，找到可疑事件。
4.3 Sqrrl
Sqrrl于2012年成立专注于网络空间安全和威胁狩猎的公司。该公司建立了四步狩猎方法，建立假设、利用工具和技术调查、挖掘新的模式和战术以及自动化分析过程。
建立假设：狩猎由一个关于攻击行为的假设或合理的猜想开始。例如发现有用户异常地从外网访问内网核心资源，则去分析该用户账号是否被攻击。更高级的做法是根据用户的一系列活动和指令，对应计算这些指令相应的危险程度结合网络威胁攻击模型作为狩猎的开始。
工具和技术调查：使用例如相关数据分析以及可视化图形等技术调查分析假设。另一方面，通过对原始数据进行重组，实现构建新的恶意攻击模式和攻击流程以此明确攻击者的思路。
挖掘模式和战术：攻击者的模式和战术是最准确和重要的攻击信息。把第二步总结的战术技术和方法积累完善，根据信息的相关性，找到和恶意程序或三方服务有关的用户信息。
自动化分析过程：将已完成的狩猎过程由人工转向自动，并加入机器学习的方法使得威胁狩猎能适应更多的情况和环境。
Sqrrl公司的威胁狩猎平台通过对原始数据进行打散和重组，引入可视化图形来对复杂网络环境进行深入理解，通过大型数据分析实现即时查询实体行为，并且有自动化检测异常和攻击战术的功能。在商业公司中处于顶尖水平。
4.4 框架优劣比较
本节列举了三种不同的威胁狩猎平台以及对应的狩猎方式。其中MITRE的基于ATT&CK的方法较为全面，适用范围广，并且对已有的攻击组织使用的技术进行深入分析，较好地掌握了不同APT组织的战术技术和方法。该威胁狩猎平台的优点是集合了包括Windows，Mac以及Linux等多个平台的攻击方式和技术，缺点是主要的狩猎过程在攻击结束后，并不能即时狩猎降低攻击损失。
而日本的计算机应急响应小组合作中心的研究人员着重研究Windows内网环境的命令和执行工具，并收集攻击者的操作习惯通过对照以此对攻击者进行多层次的刻画和描述，可以较好组合和恶意行为相关的信息，但是只适用于Windows系统，目前只适用于部分企业内部网络环境，普适性有所欠缺。
第三个是Sqrrl公司开发的威胁狩猎平台，在收集攻击者的数据和战术的基础上，结合可视化图形、数据相关性分析以及机器学习等，目前来说是效果最好的威胁狩猎平台之一。
但由于商业软件技术封闭，若没有足够的交流合作和资金支持，未来发展前景并不清晰。除了上述三者外，还有如Splunk、HELK等开源的网络威胁狩猎平台，这类工具根据自身需求进行拓展和开发，同样形成初步的体系架构。
对比这些研究成果和技术的优缺点能够使得威胁狩猎的开发者有较全面的认识，促进相互之间优势互补，提升威胁防范和取证的全面性。
05结 语
在全球化大背景下的今天，网络的利用和普及越来越全面，人们也更加重视网络活动的安全性、对于威胁的防范能力。因此，对攻击者组织和技术的全面了解，建立一个威胁狩猎主动防御平台显得非常重要。
本文首先对网络空间威胁进行简要介绍和分析，列举了目前主流的攻击流程模型；再阐述了威胁狩猎产生的原因和意义，明确威胁狩猎的定位；然后，概述现有的威胁狩猎所涉及的技术并归纳分类，并论证了分析方法的理论正确性；之后，概括总结现有的各种威胁狩猎的框架，比较各个框架的优缺点。
目前来看，威胁狩猎的建立需要对攻击者全方位的了解，结合各种防御取证技术积累信息和数据。在拥有足够数据的情况下，利用机器学习等算法，实现自动化分析达到高成熟度狩猎过程。如何挖掘更多的可利用的数据，如何多元地利用已有的数据进行分析，还有如何提高狩猎的准确性和即时性有待进一步研究。
