【论文阅读】HOLMES通过关联可疑信息流进行实时 APT 检测

HOLMES通过关联可疑信息流进行实时 APT 检测

基本信息

题目:HOLMES: Real-time APT Detection through Correlation of Suspicious Information Flows

来源:S&P’19

概述:本文介绍了一种名为HOLMES的新方法,用于检测高级持久性威胁(APTs)。该方法通过分析攻击者活动中的可疑信息流之间的相关性来产生一个可靠的检测信号,并能够实时生成攻击者的高阶图,以便分析师进行有效的网络安全响应。作者对这种方法进行了评估,并发现它可以在高度准确的情况下检测到APT攻击,同时具有较低的误报率。此外,该方法还可以有效地总结正在进行的网络攻击并协助实时网络安全响应操作。

摘要

在本文中,我们介绍了 HOLMES,这是一种实现检测高级和持续威胁 (APT) 的新方法的系统。HOLMES 的灵感来自现实世界 APT 的几个案例研究,这些案例研究突出了 APT 参与者的一些共同目标。简而言之,HOLMES 旨在产生一个检测信号,表明存在一组作为 APT 活动一部分的协调活动。我们的方法解决的主要挑战之一是开发一套技术,使检测信号稳健可靠。概括地说,我们开发的技术有效地利用了攻击者活动期间出现的可疑信息流之间的相关性。除了检测能力外,HOLMES 还能够生成一个高级图表,实时总结攻击者的行为。分析师可以使用此图进行有效的网络响应。对我们针对一些真实世界 APT 的方法的评估表明,HOLMES 可以高精度和低误报率检测 APT 活动。HOLMES 制作的紧凑高级图表有效地总结了正在进行的攻击活动,并可以协助实时网络响应行动。

论文速读

方法描述

该论文提出了一种基于中间层抽象的高级持久威胁(APT)检测方法,称为HOLMES。该方法通过将低级审计数据映射到OS中性表示的安全相关事件来实现攻击行为的高阶抽象。这些安全相关事件被组织成一个中间层的抽象图形,其中节点代表系统实体(如进程、文件等),边表示它们之间的依赖关系。该方法使用MITRE的ATT&CK框架作为中间层抽象的基础,并定义了特定于ATT&CK的战术技术组合作为模式匹配的目标。最后,该方法使用信息流依赖性和权重来构建高阶状态图(HSG),以识别潜在的APT攻击。

方法改进

与传统的基于规则的检测方法相比,HOLMES方法具有以下优点:

  1. 基于中间层抽象:HOLMES方法通过将低级审计数据映射到OS中性表示的安全相关事件来实现攻击行为的高阶抽象。这种方法使得检测过程更加通用化和可扩展。
  2. 使用MITRE的ATT&CK框架:HOLMES方法使用MITRE的ATT&CK框架作为中间层抽象的基础,这使得该方法可以检测到各种类型的APT攻击。
  3. 定义特定于ATT&CK的战术技术组合作为模式匹配的目标:HOLMES方法定义了特定于ATT&CK的战术技术组合作为模式匹配的目标,这有助于提高检测准确性。
  4. 使用信息流依赖性和权重来构建高阶状态图(HSG):HOLMES方法使用信息流依赖性和权重来构建高阶状态图(HSG),以识别潜在的APT攻击。这种方法能够减少误报率并提高检测准确性。

解决的问题

该方法解决了传统基于规则的检测方法存在的问题,包括:

  1. 检测准确性不高:传统基于规则的检测方法通常需要手动编写规则,因此很难覆盖所有可能的攻击场景,导致检测准确率不高。
  2. 对新型攻击难以检测:传统基于规则的检测方法通常只能检测已知的攻击方式,对于新型攻击往往无法及时发现。
  3. 误报率较高:传统基于规则的检测方法可能会产生大量的误报,影响检测效果。
  4. 可扩展性差:传统基于规则的检测方法通常需要手动编写规则,当系统规模增大时,规则数量也会急剧增加,导致可扩展性差。

主要贡献

  • 构建一种可以实时检测APT攻击的系统,有效利用攻击活动可疑信息流的相关性
  • 将APT活动信息映射到杀伤链,设计高级场景图(high-level scenario graph,HSG)实现低层次(日志、警报)信息到高层次的映射(语义鸿沟),从而使得HOLMES能有检测良性或攻击场景
  • 系统和实验完整性:虚假依赖关系剪枝、降噪处理(紧密性)、HSG排序

什么是Semantic Gap?
    1、低级特征: 低级特征通常是从原始输入数据中提取的,例如图像中的像素值。在计算机视觉中,低级特征可能包括边缘、颜色、纹理等基本信息。这些特征通常在网络的浅层卷积层中提取。
     2、高级特征: 高级特征是通过多个卷积层和池化层等深度学习网络的中间层次生成的。这些特征对于更抽象的概念和语义信息更加敏感,如物体、场景、对象关系等。
     语义鸿沟的问题在于,尽管高级特征对于理解图像中的语义信息非常重要,但与低级特征相比,它们的表示更加抽象和难以解释。因此,在高级特征和低级特征之间存在一种差距,这使得计算机在理解和解释这些特征之间的关系时面临挑战。例如,计算机可能可以检测到图像中的一些边缘和纹理(低级特征),但它们可能无法完全理解这些边缘和纹理是哪种物体的一部分,或它们如何与整个场景相关联(高级特征)。
     而克服高级特征和低级特征之间的语义鸿沟也是深度学习和计算机视觉研究的一个重要目标,包括构建更强大的模型来捕捉这些特征之间的关系,以及开发用于解释和可视化深度学习模型的工具。这有助于提高计算机在图像理解、物体识别和语义分割等任务中的性能。 (引用自https://blog.csdn.net/change_xzt/article/details/133976955)

alt 这里的HSG利用ATT&CK框架映射作为中间层,连接低层次信息和高层次APT杀伤链,是因为低级别审计数据与攻击目标意图与高级杀伤链(kill-chain)视角之间存在巨大的语义差距。

alt 下面简单介绍一个运行时APT攻击溯源图(Provenance Graph)示例。如下图所示,可以看到攻击行为是从初始入侵到C&C通信,再到内部侦查、数据读取、权限提升,以及内部侦查、清除痕迹、窃取信息等。这其实就是一个溯源图,通过数据之间的因果关系生成这样的图,比如C&C通讯、提权、文件操作等进行关联。而上面是正常操作行为。 alt 实验结果表明,HOLMES能有效区分良性场景和攻击场景。下图是攻击场景所涉及流程(七维对应杀伤链)及阈值分数,能有效识别APT攻击。

实验部分

本文介绍了作者在红队与蓝队对抗性攻击中的实验结果。首先,作者使用了预先可用的数据集对HOLMES进行了评估,并计算出了最优阈值。然后,作者将HOLMES应用于实际场景中,并将其性能与先前已知的攻击情况进行了比较。最后,作者还讨论了HOLMES可能存在的误报和漏报问题。

在实验中,作者使用了九个来自不同操作系统的攻击数据集,每个数据集都包含了由红队执行的不同类型的攻击。同时,作者还使用了四天的良性审计数据来构建噪声减少模型。作者使用了TTP(攻击技术)和威胁等级等指标来评估攻击和良性子图之间的区别。通过设置不同的学习和路径因素,作者发现使用这些因素可以更好地区分攻击和良性子图,并降低误报率。

此外,作者还对HOLMES的实际应用进行了测试,并将其性能与已知的攻击情况进行了比较。在这个实验中,作者没有事先知道红队计划执行的攻击类型,因此需要HOLMES能够自动检测并报告异常活动。作者设置了阈值以过滤掉低风险的事件,并且只报告高风险的事件。作者发现,在这个实验中,HOLMES成功地检测到了多个攻击,并且没有产生任何误报。

总的来说,本文介绍了作者在对抗性攻击中的实验结果,并展示了HOLMES在实时检测和报告安全事件方面的有效性。虽然存在一些误报和漏报的问题,但这些问题可以通过手动检查和分析解决。 alt

alt
alt

总结

本文提出了一种名为HOLMES的实时检测系统,用于检测高级持久威胁(APT)攻击。该系统通过将主机审计数据映射到APT生命周期模型中的各个阶段来实现检测,并使用信息流关联不同的事件以识别攻击信号。此外,该系统还开发了一个高阶场景图(HSG),以便于呈现攻击情况并帮助分析师快速理解攻击规模和影响范围。实验结果表明,HOLMES能够准确地检测出APT攻击,并且能够在实时环境中运行。该系统的优点包括:使用了APT生命周期模型作为参考框架,使用信息流关联事件以提高准确性,以及提供了一个易于理解的高阶场景图来呈现攻击情况。该文的方法创新点在于使用了APT生命周期模型和信息流关联技术,这有助于提高检测的准确性和可靠性。未来的研究方向可以考虑进一步优化算法以提高效率,并探索如何在大规模网络中部署该系统。

优缺点分析

HOLMES

  • 攻击粒度更细
  • 从溯源图到攻击链的映射引入了HSG解决语义鸿沟问题
  • 能有效检测长期潜伏实时的APT攻击
  • 通过引入降噪算法解决HSG紧密性问题

对比其他方法

  • 基于统计特征的方法对时间跨度长、执行缓慢攻击的检测不佳
  • 基于系统调用日志的方法对实时攻击检测效果不佳

- END -


一个只记录最真实学习网络安全历程的小木屋,最新文章会在公众号更新,欢迎各位师傅关注!
公众号名称:奇怪小木屋

图片名称
博客园主页: 博客园-我记得https://www.cnblogs.com/Zyecho/

本文由 mdnice 多平台发布

数据集可视化效果可参见下方展示。 【数据集概况】 · 检测类别(中文):[保龄球(bowling)] · 训练集:594 张 · 验证集:75 张 · 测试集:74 张 · 总计:743 张 该数据集聚焦于室内保龄球馆场景,系统性采集了多角度、多姿态下保龄球在不同运动阶段的视觉特征,为保龄球运动过程中的球体识别与轨迹分析提供了高质量标注样本,具有明确的体育训练与智能辅助系统开发价值。... 【训练曲线与评估图】 【模型训练配置】 参数 | 值 模型 | yolo26n 训练轮数 | 100 epochs 输入尺寸 | 640x640 批次大小 | 24 优化器 | auto 初始学习率 | 0.01 训练设备 【关键指标汇总】 训练了 100 个 epoch,最终轮指标: 指标 | 数值 mAP50 | **0.9938** mAP50-95 | 0.6966 Precision | 0.9740 Recall | 0.9974 train/box_loss | 0.9113 train/cls_loss | 0.2862 val/box_loss | 1.1516 val/cls_loss | 0.3116 【训练过程分析】 100 轮训练后 mAP50 达到 0.9938,模型收敛良好。Loss 曲线前段快速下降,后段趋于平稳,val_loss 无反弹,没有明显过拟合。但 mAP50-95 为 0.6966,和 mAP50 差距 0.30,定位精度仍有优化空间。 【模型性能评估】 Precision 0.9740、Recall 0.9974,精召双高,模型对保龄球的检测能力强。 【预测效果展示】 验证集预测效果较好,检测框基本准确覆盖保龄球,置信度整体偏高。 【改进建议】 1. 丰富场景多样性:补充不同光照、背景和遮挡条件下的样本。 2. 提升输入分辨率:640 ...
内容概要:本文聚焦于电力系统中风场景的生成与削减问题,系统性地应用m-ISODATA、k-means和HAC三种无监督聚类算法对大规模风力发电数据进行处理,旨在降低风电不确定性带来的计算负担并保留关键时序特征。研究基于Matlab平台实现了完整的数据预处理、聚类建模与结果可视化流程,深入探讨了各算法在确定聚类簇数、划分数据结构及构建层次关系方面的机理差异,并通过实验对比验证了其在场景削减效果、计算效率与鲁棒性方面的性能表现。该方法为含高比例风电的电力系统提供了高效、可靠的典型场景集构建手段,支撑后续的随机优化、风险评估与调度决策。; 适合人群:具备电力系统分析基础、熟悉Matlab编程的研究生、科研人员以及从事新能源并网、电力系统规划与运行优化的工程技术人员。; 使用场景及目标:①应对风电出力强随机性与波动性,为随机规划、鲁棒优化等高级应用提供精简且具代表性的输入场景;②深入比较m-ISODATA(自适应确定簇数)、k-means(高效快速划分)与HAC(构建层次化场景结构)三类算法的技术特点与适用边界,指导实际项目中算法选型;③通过代码实践掌握从原始风速/功率数据清洗、特征提取、距离度量选择、聚类有效性评估到最终场景概率赋值的全流程技术栈。; 阅读建议:学习者应结合提供的Matlab代码进行动手实践,重点理解数据标准化、欧式距离与动态时间规整(DTW)等相似性度量的选择依据、聚类数目评估指标(如肘部法则、轮廓系数)的应用,以及如何通过削减前后场景的概率分布和典型性来检验结果质量,并可进一步将此方法迁移至光伏发电、负荷等其他不确定性场景的建模与简化研究中。
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值