网络流量异常中大数据挖掘技术的运用研究总结与参考文献

　　第五章 总结展望

　　随着互联网技术的创新，云计算大数据平台的商业化和企业化越来越普及，云计算大数据分析技术在安全监测上的应用会越来越多。使用大数据安全分析方法，不但能够解决海量数据的采集和存储，基于机器学习和数据挖掘方法，能够更加主动、弹性地去应对新型复杂的违规行为和未知多变的风险。

　　5.1 本文主要研究工作。

　　（1）设计了基于云平台的网络安全分析平台。

　　（2）在 spark 平台上实现了基于贝叶斯分类器的 DDoS 检测方法。

　　（3）在 spark 平台上实现了基于 cart 决策树的 DDoS 检测方法。

　　（4）对上述网络安全检测方法进行实验测试，验证其有效性。

　　5.2 展望。

　　虽然将大数据技术应用到信息安全检测当中是很有前景，但是我们同时也要解决一些问题才能发挥大数据真正的潜力。在异常检测方面，加入多数据源协同发现异常的能力。借助文章中设计的基于大数据分析异常检测平台，在未来设计异常检测算法中，应考虑到多数据源融合的情况。虽然大数据对网络检测安全领域技术（比如 SIME）产生了很大的改变，攻击和防御这两个永恒的竞赛的主题，因为大数据并不是万能的，所以安全研究人员必须不断探索和遏制复杂新颖的攻击方式。

　　参考文献：
　　
　　[1] 李天枫。 大规模网络异常流量云检测平台研究[D]. 天津理工大学， 2015.
　　[2]金爽。 基于 NetFlow 的实时安全事件检测技术研究[D].哈尔滨工程大学，2007.
　　[3]李润恒，贾焰。 在网络安全事件流中异常检测的方法[J]. 通信学报，2009,12:27-35+44.
　　[4]臧天宁。 僵尸网络协同检测与识别关键技术研究[D].哈尔滨工程大学，2011.
　　[5]卢强。 网络安全事件预警系统研究[D].天津理工大学，2012.
　　[6]张淑英。 网络安全事件关联分析与态势评测技术研究[D].吉林大学，2012.
　　[7]姚东。 基于流的大规模网络安全态势感知关键技术研究[D].解放军信息工程大学，2013.
　　[8]杨锋。 基于数据挖掘的入侵检测技术研究[D].哈尔滨工程大学，2006.
　　[9]乔鸿欣。 基于 MapReduce 的 KNN 分类算法的研究与实现[D].北京交通大学，2012.
　　[10]陈吉荣，乐嘉锦。基于 Hadoop 生态系统的大数据解决方案综述[J]. 计算机工程与科学，2013, 10:25-35.
　　[11]Cardenas A A, Manadhata P K, Rajan S P. Big Data Analytics for Security[J]. IEEE Security & Privacy Magazine, 2013, 11（11）：74-76.
　　[12]Li H, Lu X. Challenges and Trends of Big Data Analytics[C]// 2014 Ninth International Conference on P2P,　Parallel, Grid, Cloud and Internet Computing （3PGCIC）。 IEEE Computer Society, 2015:566-567.
　　[13]Kambatla K, Kollias G, Kumar V, et al. Trends in big data analytics[J]. Journal of Parallel & Distributed　Computing, 2014, 74（7）：2561-2573.
　　[14]Janakiram D. Emerging trends in Cloud Computing and Big Data[C]// IT in Business, Industry and Government（CSIBIG）， 2014 Conference on. IEEE, 2014:1-1.
　　[15]Casado R, Younas M. Emerging trends and technologies in big data processing[J]. Concurrency & Computation
　　[16]Thaker C S, Jat D S, Machanja A, et al. Big data: Emerging technological paradigm and challenges[C]//International Conference on Emerging Trends in Networks and Computer Communications. IEEE, 2015.
　　[17]Mahmood T, Afzal U. Security Analytics: Big Data Analytics for cybersecurity: A review of trends, techniques and　tools[C]// National Conference on Information Assurance. 2013:129-134.
　　[18] Taft, Darryl. How Apache Spark Is Transforming Big Data Processing, Development[J]. eWeek, 2015.
　　[19] Vizard, Michael. Apache Spark Adoption Fuels Big Data Analytics[J]. Channel Insider, 2015.
　　[20] Schell R. Security - A big question for big data[C]// IEEE International Conference on Big Data. 2013:5-5.
　　[21] Cardenas A A, Manadhata P K, Rajan S P. Big Data Analytics for Security[J]. IEEE Security & Privacy Magazine,2013, 11（11）：74-76.
　　[22] Zhao J, Wang L, Jie T, et al. A security framework in G-Hadoop for big data computing across distributed Cloud　data centres[J]. Journal of Computer & System Sciences, 2014, 80（5）：994-1007.
　　[23] Li S, Zhang T, Gao J, et al. A Sticky Policy Framework for Big Data Security[C]// IEEE First International　Conference on Big Data Computing Service and Applications. IEEE, 2015:130-137.
　　[24] ChihWang. Internet Information: Freedom or Security? A Big Question[J]. 图书情报工作， 2004（12）：19-26.
　　[25] Heni H, Gargouri F. A Methodological Approach for Big Data Security: Application for NoSQL Data Stores[M]//Neural Information Processing. Springer International Publishing, 2015.
　　[26]卢建芝。基于源端网络的防DDoS攻击的实现。计算机应用，Vol1.No ZI,2004 200、204
　　[27]高玉英。 基于贝叶斯理论的动态不确定度评定方法研究[D]. 合肥工业大学， 2007.
　　[28]基于混合马尔可夫链蒙特卡洛法的渗透率随机预测
　　[29]狄剑光， 陈光英， 孙东红。 网络异常检测[J]. 中国教育网络， 2006（5）：61-62.
　　[30]张烜。 基于应用层的DDoS攻击检测防御技术研究[D]. 北京邮电大学， 2009.
　　[31]分布式文件系统在G/S模式中的应用研究
　　[32]黑继伟。 基于分布式并行文件系统HDFS的副本管理模型[D]. 吉林大学， 2010.
　　[33]王磊。 一种高性能HDFS存储平台的研究与实现[D]. 西安电子科技大学， 2013.
　　[34]张轶。 RDB平台和大数据平台混搭式的数据中心设计[J]. 计算机技术与发展， 2015（5）：172-178
　　[35]林燕。 基于Web Service分布式文件存储系统的设计与实现[D]. 西安电子科技大学， 2012.
　　[36]朱赟。 Snort入侵检测系统的警报日志分析[D]. 上海交通大学， 2006.
　　[37]陈江航。 基于特征量突变级数模型的网络流量异常检测方法[D]. 华中科技大学， 2008.
　　[38]詹士才。 基于I/O流与相似度DDOS检测方法研究[D]. 大连海事大学， 2009.
　　[39]翟鸿雁， 熊伟， 曾纪霞。 一种自适应的人工免疫异常检测算法[J]. Computer Engineering and Applications,2011（16）：86-88.
　　[40]王风磊。 改进的聚类算法在入侵检测中的应用[J]. 电脑知识与技术， 2011, 07（27）。王传林， 史军， 周丹平。网络可疑行为检测技术研究[J]. 保密科学技术， 2010（2）：58-60.
　　[41]叶琳。 基于SVM的网络流量异常检测系统研究[D]. 云南大学， 2010.
　　[42]朱应武， 杨家海， 张金祥。 基于流量信息结构的异常检测[J]. 软件学报， 2010, 21（10）：2573-2583.王士玉。
　　[43]校园网络环境下网络蠕虫病毒的预警技术[D]. 中国海洋大学， 2009.
　　[44]胡海洋。 基于图灵测试的SYN Flood攻击防御研究[D]. 东北大学， 2008.
　　[45]姚钦锋。 基于数据挖掘的网络安全态势分析[D]. 上海交通大学， 2012.
　　[46]高玉英。 基于贝叶斯理论的动态不确定度评定方法研究[D]. 合肥工业大学， 2007.
　　[47]时光。 贝叶斯认识论初探[D]. 南京师范大学， 2008.
　　[48]张泊平， 程菊明。 基于贝叶斯理论的软件可靠性评估方法研究[J]. 电子质量， 2007（12）：43-47.
　　[49]梁彦。 基于分布式平台Spark和YARN的数据挖掘算法的并行化研究[D]. 中山大学， 2014.
　　[50]尚翠玲。 基于时序特征的贝叶斯垃圾邮件过滤研究[D]. 华南理工大学， 2012.