大数据时代概述

　　第 2  章 大数据时代概述

　　在"云计算"和"物联网"等新型技术概念还尚未被统一定义时，"大数据"已经不知不觉的成为了当今时代最热门词汇，无论是研究机构、商业界还是机关单位，都在开始探讨大数据。

　　2.1 大数据的概述。

　　大数据是信息技术的发展和现实生活需要相结合的产物，大数据现象在我们的现实工作生活中随处可以看到，可以说我们无时无刻不身处于数据的海洋里。

　　我们每天都在产生数据，例如电子商务每天的交易数据，传统的物流运输数据以及金融机构的交易数据，利用这些数据进行市场开发和经济预测等，其价值是难以估量的。海量数据资源成为重要生产要素、无形资产和社会财富，其对经济社会发展的影响日益深刻，开始引起社会各界的高度关注。2011 年，着名咨询公司麦肯锡根据其研究报告第一次明确提出，全球已进入大数据时代。 就在次年 3 月，美国宣布了对大数据进行开发和研究的计划，并提升至国家战略高度。至此，大数据正一步步成为与石油相媲美的宝贵资源和财富[51].

　　2.1.1 大数据的概念。

　　那么，究竟如何定义大数据？由于大数据的概念较为抽象，很难给出一个确切和公认的含义，大多是根据大数据的特征进行描述。不管哪种定义，"大数据"实质上是指信息技术快速发展的时代，对数据核心价值的再挖掘，是信息技术产业的新的具有颠覆性的技术变革与创新。大数据技术必然会对人们的工作、生活、思维产生重大影响，也将引起政府审计环境发生翻天覆地的变化，传统的数据只是政府审计的一部分，审计机构面对更多的是新型的数据形式。这就要求审计机关和审计人员紧跟大数据时代的步伐，适应新形势下审计工作环境的变化，从而转变观念、积极应对。

　　2.1.2 大数据的特征。

　　自从 2008 年《自然》杂志推出"大数据"专刊以来，大数据的特征就开始成为了学术讨论的焦点之一，随着讨论的不断深入，大数据的讨论开始上升到企业的数字化转型以及政府数据共享平台的高度。关于大数据的时代特征，也由最开始的 3V 转变为 4V,这些特征具体是指：

　　第一，海量数据。从 TB 级别，跃升到 PB 级别，甚至 EB 和 ZB 级别。根据国际数据公司 2011 发布的 Digital Universe Study 报告，数据信息以每两年增长一倍的速度上升，以 2011 年为例，当年全球的数据总量高达 1.8 万亿 GB,而十年之后将增长至 35GB.

　　第二，数据快速变化。大数据时代的各类信息快速变化、稍纵即逝，特别是涉及到电子商务领域的信息。例如网上交易，交易时间的短暂性导致交易信息瞬间消失，如果相关信息需求者对交易信息进行采集和分析，这就要求分析结果必须在瞬间给出，否则就会失去价值。

　　第三，数据类型多样性。传统的信息环境下，我们主要面对的是结构性数据，例如财务信息、ERP 系统等，大数据时代的背景下，更多的是半结构数据和非结构性数据，这些复杂的数据主要来自社交媒介和电子商务等，例如视频、音频、静态图像、股票指数、GPS 信息等等，这些数据信息随着技术的发展不断地更新和演变。

　　第四，价值密度低。大数据仅仅有海量数据和超大规模数据是远远不够的，数据本身还要具有价值性，但是收集 ZB 级的大数据虽然看起来是合理的，由于存在各种类型的数据，导致价值密度与传统关系型数据相比却低很多。价值密度低不是说数据库没有价值，而是针对大数据本身而言，以视频为例，长时间的视频监控过程里，可能有用的数据也就几秒钟的时间，而针对数据信息需求者而言，具有非常高的价值。

　　大数据时代，数据的新型特征给政府审计带来了前所未有的影响和冲击，政府审计部门必须在金审一期和二期工程的基础上，紧紧把握住"金审工程"三期建设的重大机遇期，利用云计算、大数据技术，充分挖掘大数据的价值，使政府审计实现跨越式发展。

　　2.2 数据价值。

　　大数据的目的不仅仅是拥有海量数据信息，更重要的是利用大数据技术对这些数据进行挖掘，发现数据背后的潜在价值。

　　2.2.1 数据转化与可视化。

　　数据可视化概念起源于 20 世纪 80 年代，含义是借助计算机、图像处理技术，对抽象信息进行处理并展现出来。传统的数据可视化，面临的主要是结构性数据，数据结构单一，可视化的结果主要是原始的统计图表等，例如直方图，折线图等。

　　信息科技在不断发展，数据信息的表现形式也逐渐多种多样。在大数据时代背景下，我们要处理的数据较以往相比显着增长，面对主要是极为复杂的异型数据，例如政府审计部门进行审计调查时的视频、音频以及交易日志等。与传统数据不同的是，这些异型数据往往是模糊混乱的，凭借以往的知识和技术，很难从中提取出潜在的有价值的信息，而大数据时代下，凭借大数据挖掘和分析技术，将抽象复杂的数据信息转化为具体的、可视化的信息，有助于我们更好地把握数据中的潜在价值，从而提高决策的效率和正确性。

　　大数据时代背景下，数据的转化和可视化处理流程。

　　2.2.2 提供依据并改善决策。

　　大数据时代来临之前，人类在做出决策时，习惯于寻找问题的源头和把握问题的根本原因，领导往往依靠来自组织内部的信息和对外部环境的直觉判断作为决策的依据，由于这种决策模式缺乏充分完整、科学性的预见，往往使决策者的视角变窄，甚至把决策引入歧途。大数据时代的到来给我们改善决策的质量带来了福音，大数据技术为我们整合、分析和开发结构性数据和非结构性数据提供了工具，提高了我们理解数据和学习数据的能力，通过数据可视化的途径发现潜在的风险和机会推动决策，提升我们的洞察力，而不再单单依靠直觉来做出决定。

　　站在政府审计的角度，大数据之所以能够为审计决策提供依据，并且进一步改善审计决策。首先是因为大数据为审计带来了海量和完整的数据集，而不再是依据数据样本进行审计，由于信息的完整性能够得以保证，通过对海量数据进行深入广泛的挖掘，可以使得审计决策更加理性化[52].其次，大数据时代给审计工作带来了先进的数据技术，在开展审计工作时，利用人工智能进行数据加工和处理，关注数据之间的相关性，用来分析潜在的价值和风险，并对未来进行实时预测和监督，云计算等先进技术提升了审计的技术含量，使得政府审计部门进行全数据审计有了技术保障。最后，扩大了审计数据的审计范围，不仅审查来自审计对象内部的数据，而且可以审计与审计对象相关的外部数据，例如展开审计工作时利用审计对象所在行业或部门的"混搭数据",整合供应商和电信等数据。这些外部海量数据将在很大程度上弥补仅仅依据内部数据决策的短板，进一步保障了决策的科学性。