个人中心
文章发布
退出
作者热门文章
- ubuntu12.04环境下使用kvm ioctl接口实现最简单的虚拟机
- Ubuntu 通过无线网络安装Ubuntu Server启动系统后连接无线网络的方法
- 在Ubuntu上搭建网桥的方法
- ubuntu 虚拟机上网方式及相关配置详解
25
4
CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.
这篇CFSDN的博客文章大数据安全分析之大数据分析的技术架构及关键技术由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.
下面我们就来看看大数据分析的技术架构及关键技术吧.
大数据安全分析之大数据分析的技术架构及关键技术 。
1、大数据分析的技术架构 。
大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成:
数据源 。
数据源是大数据分析的基础与前提，准确高质量的多源异构数据是安全分析效果的保证，进行安全分析需要收集的数据源包括:
日志数据：包括设备与系统的日志和安全告警信息.
流量数据：网络流量数据，包括Netflow数据和全流量镜像数据.
支持数据：包括资产信息、账号信息、漏洞信息和威胁情报信息等.
采集和预处理 。
对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据.
数据传输采集：根据不同类型的数据源，以及数据存在的状态，采用不同的传输与采集技术.
数据预处理：对数据进行解析、补全、标准化操作，从而提高安全分析的可信度，降低误报率.
数据存储 。
全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络行为数据建立索引，便于快速查询、管理分析和举证.
数据分析 。
利用关联分析、机器学习、深度学习等技术，从海量原始数据中自动挖掘出有价值的信息，最大的发挥数据的价值.
数据应用 。
依据数据分析结果，实现安全态势感知、安全预警、追踪溯源等应用.
2、大数据分析的关键技术 。
数据采集与解析技术 。
利用日志采集器实时以非格式化或半格式化采集原始数据，根据配置的解析规则和字段补全规则，完成数据的解析与数据补全。最终将解析的数据存入大数据存储中，以便后续进行实时或长周期的展示和统计分析.
大数据存储与处理技术 。
大数据平台计算处理能力达到日存储数据超过1T，支持千亿条数据的秒级处理，PB级数据管理与应用，保证高吞吐量与高数据压缩率，为安全智能分析提供实时或者长期的关联分析数据基础.
关联分析 。
通过关联分析引擎对采集的实时数据流进行深度关联分析，包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法，综合分析进行安全威胁检测、预警.
机器学习 。
通过机器学习和算法对大量的历史信息和安全信息的关联，以无监督学习(异常检测)为主，并有人工辅助的半监督学习(专家、管理人员反馈)，对威胁行为进行一个长周期的分析，找出安全威胁与攻击的异常行为和隐藏的威胁行为.
最后此篇关于大数据安全分析之大数据分析的技术架构及关键技术的文章就讲到这里了,如果你想了解更多关于大数据安全分析之大数据分析的技术架构及关键技术的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
25
4
0
1.摘要 在数据可视化、统计绘图和图表生成领域，Python 被广泛使用，其中 Matplotlib 是一个极其重要的基础三方库。本博客旨在介绍 Python 及其三方库 Matplotlib
为什么要学习pandas？ numpy已经可以帮助我们进行数据的处理了，那么学习pandas的目的是什么呢？ numpy能够帮助我们处理的是数值型的数据，当然在数据分析中除了数
0. 数据说明 本项目所用数据集包含了一个家庭6个月的用电数据，收集于2007年1月至2007年6月。 这些数据包括有功功率、无功功率、电压、电流强度、分项计量1（厨房）、分项计量2（洗衣房
由于我现在不知道自己在做什么，所以我的措辞听起来很有趣。但是说真的，我需要学习。 我面临的问题是提出一种方法（模型）来估计软件程序的工作方式：即运行时间和最大内存使用量。我已经拥有了大量数据。此数据集
我在 PostgreSQL 中有一个表，其结构和数据如下: Question | Answer | Responses ------------------------------
numbers = LabelEncoder() State_Data['Quality'] = numbers.fit_transform(State_Data['Quality Paramet
我一直在尝试解决这个问题: 我有一组数据点，对应于一组时间值。即 values =[1,2,3,4,5,6,7,8,4] times = [0.1,0.2,0.3,0.4]... 等等，这是一个示例速
哔哔一下 雪中悍刀行兄弟们都看过了吗？感觉看了个寂寞，但又感觉还行，原谅我没看过原著小说~ 豆瓣评分5.8，说明我还是没说错它的。 当然，这并不妨碍它波播放量嘎嘎上涨，半个月25亿播放，平均一集一个亿
在 Pandas 中是否有任何可重用的数据分析代码，可以在 html 输出中给出结果。 我已经尝试过来自以下链接的命令，但没有一个输出是 html 格式。 https://kite.com/blog/
吴京近年拍的影视都是非常富有国家情怀的，大人小孩都爱看，每次都是票房新高，最新的长津湖两部曲大家都有看吗，第一步还可以，第二部水门桥也不差，截止目前已经36.72亿票房。 某眼评分9.6，某瓣评分7.
我有一个 .csv 文件，其中包含来自 eBay 拍卖的以下数据: auctionid - 拍卖的唯一标识符 bidtime - 出价的时间(以天为单位)，从拍卖开始 投标人 - 投标人的 eBay
目录 1、爬虫 1.1 爬取目标 1.2 分析页面 1.3 爬虫代码 1.4 结果数据
我是 pyspark 的新手，我有这个示例数据集: Ticker_Modelo Ticker Type Period Product Geography Source Unit
我是一名优秀的程序员,十分优秀！