如何准确的发现和处理大规模异常流量

　　摘要

　　互联网的快速发展催生了云计算大数据平台出现，云计算，云存储，分布式计算框架等平台已经逐步形成一套完备的系统。随着网络应用的服务量在人们的生活中逐步增加。网络安全事件也呈现爆发性的增长。而网络中的入侵行为不仅对人们的日常生活产生了巨大的影响，甚至对国家的安全带来了危害。如何准确的发现和处理大规模的异常流量是一个非常有意义的课题。

　　本文以 spark,flume,hdfs 为基本框架，设计了一种大规模异常流量大数据分析平台，分别对数据采集，存储，计算等方面进行阐述，该模块均使用了 spark 和 hadoop 生态圈相关技术。

　　在算法设计方面分别使用了朴素贝叶斯和cart决策树算法分别对kdd99和darknet 数据集进行分类。提取了攻击数据中的主要特征值观察实验结果。

　　本文设计了基于云平台的网络安全分析平台，在 spark 平台上实现了基于贝叶斯分类器和cart 决策树的 DDoS 的检测方法。对上述网络安全检测方法进行实验测试，验证其有效性。

　　关键词：大数据平台，DDoS 攻击 ,Sparkmllib,NaiveBayes 和 Cart 决策树

　　目录
　　
　　摘要
　　
　　第一章 绪论
　　
　　1.1研究意义
　　1.2国内外发展现状
　　1.2.1信息安全事件检测研究现状
　　1.2.2传统的信息安全检测方法
　　1.2.3大数据挖掘技术在网络安全领域的发展应用
　　1.3本文主要工作
　　1.4论文的组织结构
　　
　　第二章 相关技术与理论
　　
　　2.1引言
　　2.2 DDoS攻击检测相关研究现状
　　2.2.1 DDoS攻击概述
　　2.2.2常见的DDoS攻击种类
　　2.3大数据分析相关技术
　　2.3.1 Hadoop生态圈
　　2.3.2 SPARK集群
　　2.4 Sparkmllib库与基于spark的数据挖掘算法
　　2.4.1分类算法
　　2.5大数据技术在安全领域的应用和优势
　　2.5.1安全大数据分析
　　2.5.2基于网络流量的大数据分析
　　2.5.3本章小结
　　
　　第三章 云检测平台的架构设计
　　
　　3.1引言
　　3.2云平台安全分析架构设计
　　3.2.1数据采集层
　　3.2.2数据存储层
　　3.2.3数据计算层
　　3.2.4本章小结
　　
　　第四章 基于spark的检测算法实现与实验
　　
　　4.1引言
　　4.2传统的开源安全管理工具
　　4.2.1 B ro和corsaro
　　4.3朴素贝叶斯算法描述
　　4.3.1贝叶斯算法原理
　　4.3.2朴素贝叶斯
　　4.4决策树算法描述
　　4.4.1决策树算法原理
　　4.5基于Cart决策树和贝叶斯算法的DDoS检测方法
　　4.5.1基本原理描述
　　4.5.2数据的特征选择
　　4.5.3 Darknet data数据处理流程
　　4.6实验验证
　　4.6.1分析的数据集特性
　　4.6.2衡量实验精度的性能指标
　　4.6.3实验环境的搭建
　　4.6.4基于spark的naivebayes和cart决策树机器学习算法实现
　　4.7实验过程及分析
　　4.7.1实验一基于darknet数据集机器学习算法测试比较
　　4.7.2实验二使用机器学习算法对kdd99数据集分类
　　4.8本章小结
　　4.9总结和展望未来工作
　　
　　第五章 总结展望
　　
　　5.1本文主要研究工作
　　5.2展望
　　
　　参考文献