第 5 章 基于大数据处理的管理模式下信息处理框架设计
在大数据背景下，管理的关键就是信息数据的整合与分析，在各个模块中，信息系统的存在尤为重要，数据的传递、收集、服务的提供都离不开信息系统，它是对整个管理模式的一个关键支撑。
5.1 需求分析
首先，对于通信系统而言，数据流动和交换能力、存储能力和计算能力是必须的。在大数据背景下的海量数据信息支撑下，实时的数据采集和处理、数据驱动的决策制定所需的海量数据的存储和分析，都需要信息系统能够提供高度动态、高度延展的基础能力保证。
其次，实现海量多模式数据的实时准确的共享也是必须的。数据是为企业业务提供必须的能力的关键因素。无论对于智能生产、网络销售还是智慧物流，都需要由数据驱动，实现多个业务的有机整合，协同工作。这就需要企业信息系统能够像人体中的循环系统一样，对于不同的上层业务应用提供统一的数据支持，针对不同业务，应对的数据格式，数据访问模式的不同需求，实现多格式、多模式数据的统一管理，实时共享。
最后，还需要有灵活敏捷的平台支撑。面对市场需求和客户群体的快速演变，如何实现快速应对是企业发展的根本所在。无论是智能生产、网络销售还是智慧物流，都面对这由于数据速度快速这样特点而需要快速响应这一问题。这样就需要企业的信息系统在现有业务功能的基础上，具备迅速重新组合提供新服务的能力。为了支撑这些新服务，能敏捷地调整自身能力提供和服务管理也是必备的功能。
传统的竖井式系统构架难以实现灵活动态的能力保障来应对快速多变的业务需求，业务应用也只能实现单独的业务单元，这样一来，企业的业务应用就会随着业务的变动而产生更改，甚至可能会导致业务集成的重构。此外，对于数据容量、数据流量及数据流动的实时性等方面，在传统的应用集成模式之下都存在着明显的限制。一种新的，能够提供大规模分布式系统中离散通信、存储和处理能力，并以灵活、可靠、透明的形式提供给上层平台和应用的新信息系统的构建成为了必须。它需要能提供针对海量多格式、多模式数据的跨平台、跨应用的统一支撑平台；还必须提供高度敏捷的高可用、实时响应的系统平台以支持快速变化的功能目标。
5.2 信息处理构架
基于云计算平台技术面向大规模分布式系统的资源汇聚、管理和调度功能得到了最大的利用，可以提供高性能可线性延展的分布式通信、存储和计算能力，对比传统的竖井式系统结构，这种结构能够更好的适应时代需求，能够应对由于大数据所带来的信息处理压力，使企业的管理更加快捷有效。
在此种模式下，信息交换将成为重点，应用或服务间的互动将由信息交换来定义（包含信息数据模型，涉及互动的不同服务在互动行为中的角色），系统中数据流依赖于分布式数据总线实现，而事件驱动、RESTful 架构及常见的SOA 模式都可以采用数据驱动集成模式描述。这样，信息系统中业务应用与基础构架之间的界限就模糊了。业务能力的开发、部署和运营都依赖于系统支撑平台所提供的资源、能力和管理功能。基于以上思路，我们可以得出基于云计算平台的企业新型信息系统构架（如图 5.1）。
此构架在逻辑上可分成能力层、平台层和资源层。能力层包含分布式数据总线（通信能力），分布式统一存储系统（存储能力），分布式工作流和调度引擎（计算能力和资源调度）；平台层包含统一服务管理框架，统一服务交付框架，统一数据管理和访问，以及自动化运维管理系统。系统的各个模块如下：
（1）运维管理系统
运维管理系统在现有的大量跨域、异构软硬件基础设施之上，快速搭建统一的资源和服务管理系统，提供面向系统平台和业务应用的高效的运维服务。它提供基础设施管理平台的快速构建能力，以及通过自动化方式进行大规模业务应用部署及全生命周期管理、资源和应用的监控报警，自动化故障排查修复等能力。
运维管理系统集成了策略引擎、分布式工作流、资源服务管理调度等机制，在搭建高性能的基础设施和应用服务运行平台的基础上，保证资源及服务的延展性、容错性和流动性，从而实现整体管理的高效和透明化。
（2）分布式数据总线
分布式数据总线支持常见的通信模式和通信模型，用于将系统中各个组成部分联接在一起，通过提供高容错、 高性能的数据传输和交换支持系统的各个组成部分之间的通信和协作。它起到神经中枢和循环系统的作用，从根本上保证了系统的实时性、动态适应性、延展性及松耦合性等。
（3）数据采集系统
数据采集系统是整个信息系统中数据的源头，所有来自企业内部和外部各个方面的数据都通过其进入到信息系统之中，它会对进入系统的数据进行过滤和整理。
（4）数据存储系统
分布式文件系统用于对总数量和总容量都很大的各类图片、视频等多媒体文件，以及其他非结构化数据的实时高效存储和访问。分布式实时数据库用于用户行为数据和系统日志数据等数量大、关联弱的结构化数据的实时性和高效性的存储和访问。关系型数据库集群用于实现海量强关系型结构化数据的存储和快熟访问。
（5）数据服务系统
数据服务系统是系统平台与上层应用之间的桥梁。它通过对信息系统中的数据层，能力层实现功能抽象，采用面向服务体系构架理念将系统平台中不同的功能单元通过服务之间定义良好的接口联系起来，消除不同功能模块以及数据提供者之间的技术差异，使不同的平台服务和业务应用协调运行，实现不同功能模块之间的数据交换与流动。
（6）服务交付
服务交付框架是数据流的终点，是用户使用信息系统的入口。对于用户请求进行处理、实施用户认证等相关判定。通过可延展的前端服务器集群和根据业务需求制定的负载均衡机制，来实现高性能可靠的服务交付能力。包括安全管理、接入管理等功能。
（7）分布式工作流引擎
分布式工作流引擎是系统中的执行者，用于实现对于基于大规模系统的分布式工作流进行定义、调度和执行，用于支撑大规模系统的自动化运维和分布式计算框架的实现。
在这一基于云计算平台的新信息系统下，高速可靠、易于扩展的数据交换和传输存储成为了可能。系统能够在网络情况不良好的情况之下依然保证数据通道的畅通性及数据交换的可靠性和安全性。分布在网络之上的各个组件间的数据流可以得到很好的控制。这样一来，海量数据的统一访问和集中存储得到了解决，数据实时性得到提高；通过大规模软件的快速部署、配置及基于策略的资源调度和管理机制，资源的自动部署和灵活调度得以实现，服务的执行效率，可靠性等都得到了很大程度的提升。从而，任务的完成可以更快且更加出色。
通过这一信息系统的构架，企业可以及时收集和分析各个子系统的信息，并整合分析出一份完整的信息，使之能够实现实时控制、动态调整和智能分析和决策。这正是大数据时代的管理信息系统所必须的。
