基于云计算的大数据处理技术探析

计算机应用毕业论文第五篇：基于云计算的大数据处理技术探析

　　摘要：随着科学技术的快速的发展，计算机数据的储存数量也越来越多了，在所有的领域需要储存的数量都很巨大。云计算使用在许多领域上实现了信息的储存、提取、传送和系统的功能，更好的完成了数据处理工作。作者通过介绍大数据的特征和应用，在分析大数据和云计算的关系基础上，叙述了使用云计算的大数据处理办法，对大规模的计算机平台进行了研究。

　　关键词：云计算技术; 大数据; 处理技术;

　　0 引言

　　以前的数据处理技术和处理的办法已经无法解决大数据自身的分散性、数目众多和非结构性的问题。大数据要求试下庞大和复杂的数据信息的输入和输出还有储存的功能，同时整体更新有关数据处理技术和框架。在这样的情况下，出现了云计算。精确、高效、快速的处理数据是我们现在最关心的问题，所以，在研究云计算的时候，人们遇到很多特别复杂的难题。

　　1 大数据和云计算之间的关系

　　云计算技术是用集中式远程计算资源池，根据需要然后在分配，给用户提供计算机服务技术，这个技术费用低、效果好，云计算属于数据处理方法，有以下特性：(1)透明。从物理方面分析、资源对每个用户都透明；(2)为所有行业提供无限的服务；(3)方便快捷，云计算可以根据终端用户的需求为其定制服务，同时服务具有很好的伸缩性；(4)获取数据时很容易，可以更好的实现资源共享，同时成本很低。

　　目前，云计算是最强大的数据处理、使用和存储的凭条，是最好的大数据处理技术。云计算可以给大数据提供储存的地方、处理能力很强，能够满足庞大数据的储存和传送，而这是以前的处理技术没有办法达到的。另外，云计算和其他的技术比较更看重计算和处理，云计算是大数据处理的工具，而大数据是处理的对象。

　　2 云计算和其关键技术的概述

　　在并行技术、分布式计算等的基础上，云计算技术的发展可以使用网络连接技术、数据计算、储存功能等，建立可以给使用者提供服务的资源池。云计算作为一种数据密集型的计算，其技术本质是存储、计算等软硬件资源的虚拟化。云计算在数据储存、管理和虚拟化等方面有自己特殊的技术。

　　2.1 数据存储技术

　　信息储存的安全性、数据读写的高效性是确保云计算技术实时的基础，通过分布式存储技术把数目众多的数据存储在服务器里，就能够实现对数据的备份处理，提升数据的安全性。另外，使用加密技术、冗余存储办法等，可以有效的避免数据泄露。其中GFS和非开源的GFS都是在云计算系统里被大家普遍使用的储存系统。

　　2.2 数据管理技术

　　云计算可以采取分布式处理和分析给使用者提供最好的服务，但对数据管理技术的管理能力有严格的要求。其中，开源管理模块HBase和BigTable数据管理技术是现在主要使用的数据管理技术。

　　2.3 虚拟化技术

　　这个技术是云计算系统里进行储存和计算的关键，主要使用有关方法把实际环境里的计算机系统、组件等放到虚拟环境里，接着根据系统、硬件和软件等组成虚拟化层结构。大多虚拟层分为三层，通过中间层连接上下层两层，给其提供相似的功能，确保其运行在这个环境里。虚拟化层改变了上下层之间的耦合关系，让上层的运行不依靠下层的实现。虚拟化技术的使用可以对有关系统功能的整合，确保资源可以在最大程度上被使用，同时做到节约费用，整合服务。

　　3 云计算模式下大数据处理技术

　　传统数据管理以采集、储存为主，而云计算背景里，大数据管理办法得到了改变，重点在数据的分析和挖掘，给有关人员提供管理和决策依据。

　　3.1 大数据采集技术

　　根据采集的方式不一样，可以把大数据的采集分为两种，就是集中采集和分布式采集。这两种方式各有自己的优缺点，我们通过这两种方式的优点说明。集中式收集可以掌控所有的数据，而使用分布式采集更加灵活。在大数据采集的时候，不仅对公司内部数据收集，也收集公司之间的信息数据，通过分布式计算方法，把不同的采集方法一起使用，提高数据收集的效率。就是在大数据收集的时候，对公司内部使用集中采集，对公司之间使用分布式收集办法。在公司内部设置多个服务器，把公司共享的信息数据进行储存，对中心服务器之间组织使用分布式数据收集方式。

　　依照结构种类不一样，能够把大数据分成结构化数据、半结构和非结构化的数据。在收集数据的时候，需要先对数据种类分析，根据种类不一样，使用云计算的拓展、容错等优点，实现对信息的同构化，实现数据的对接。

　　3.2 大数据存储技术

　　大数据最关键的特征是大，如果使用以前的数据存储放方法，不能达到储存需要。具体有以下的原因：(1)在大数据的模式下，数据量快速的变多，以前以单节点为主数据仓库在大量数据面前显得无能为力；(2)按行储存是以前数据仓库的形式，但是在实现视图、检索等要更多的维护费用。

　　在云计算模式下，大数据存储以列的存储方式为主，这种方法主要是根据数据属性储存，和按行储存不同，把所有属性放到一列存储。在信息投影的时候，只对涉及到的属性进行访问，提升了输入和输出的效率。由于相邻列数据种类差不多，所以使用这样的储存模式可以提升数据的压缩率，压缩之后减少数据传输的费用。

　　3.3 大数据联机分析技术

　　联机技术是大数据系统里面的重要内容，繁复的数据分析环节，其关键的地方在决策分析，给使用者提供实际的结果。使用联机分析方法，从综合数据分析开始，建立多维度的模型，得到整体的分析结果，给决策人提供参考。联机分析处理的特点就是分析数据，把仓库和联机分析技术一起使用，不仅可以计算数目众多的数据，同时还可以进行分析。

　　3.4 大数据挖掘技术

　　使用联机分析技术，大多的时候只能够得到表层的知识数据，但是对于数据潜在的联系却不知道。但是在云计算模式下，通过数据挖掘技术可以知道数据的本身，同时把数据之间的联系展示出来。利用概念、规律或模式等把它体现出来。现在，大数据挖掘方式主要是并行，在大型的数据处理时候有很大的优势。以前的串行数据处理的数据范围很小，需要的时间长，工作效率不高，而用分布式挖掘技术，通过分布式系统，使用集群、拆分等多种办法，提高数据计算的速度。另外，云计算模式下的挖掘技术可以发挥出并行的优点，和别的串行办法比较，并行挖掘可以通过计算机集群拆分分布式系统给的工作，进行拆分以后在处理，由更多的计算机一起工作，提高处理的效率，最大的节约数据处理费用。

　　3.5 大数据可视化技术

　　通过信息挖掘技术能够实现对大数据多角度的深入分析，可以得到更多有用的消息。在云计算上面就可以实现可视化，把上面的数据变得更加具体，让它可以形象的表现出来，把数据之间的关系更直观的让用户观看和理解。

　　可视化技术是数据储存空间里，用图形的方式把数据和数据库里面的有关数据表示出来。同时，在展示的时候利用一些方法，把图像里面的一些隐藏信息挖掘出来。以前的数据处理环节就是针对数据自身，对数据蕴含的信息进行分析。但是通过使用云计算可视化方法，不仅可以实现对非空间数据多角度图像的展示，还可以在图形出现的时候实现搜索的步骤，帮助用户更好的挖掘数据、并理解，提升检索的效率。

　　4 结语

　　综上所述，大数据必须有强大的储存量和计算能力，云计算作为新的计算办法，给大数据的使用提供了所需要的技术。大数据和云计算进行有机的融合，才能发挥出它们更大的优势，才能创造出更大的价值。在数据越来越多的年代，云计算给数据的延伸提供了很大的可能，根据云计算进行更高级别的数据处理是以后发展的趋势。

　　参考文献

　　[1]蔡炜.以云计算为基础的大数据处理技术探讨[J].数字技术与应用，2017(12):205-206.
　　[2]郑为建.云计算模式下大数据处理技术探究[J].信息系统工程，2017(2):16.
　　[3]韩冰.基于云计算模式的电子政务管理网站群解决方案研究[D].天津：天津大学，2016.