大数据能力开放平台的整体建设思路及体系构建

　　摘要：随着大数据技术的广泛应用，数据能力开放有助于通信运营商内部数据资源的整合，对其新业务的拓展有着重要意义。本文对通信运营商大数据能力开放平台的总体建设需求进行了分析，提出了大数据能力开放平台的整体建设思路以及体系构架，同时对传统的SOA构架思想进行了改进，为通信运营商大数据能力开放平台未来的发展建设提供了参考。

　　关键词：通信运营商； 大数据； 能力开发； 数据服务；

目录

　　0引言……………………………………………………………………1

　　1大数据开放的意义……………………………………………………………………2

　　2大数据能力开放平台建设的总体需求……………………………………………………………………3

　　3平台数据服务具体内容……………………………………………………………………4

　　3.1数据开发的影响因素……………………………………………………………………5

　　3.2数据来源……………………………………………………………………5

　　3.3数据的服务内容……………………………………………………………………5

　　4大数据能力开放平台构架分析……………………………………………………………………6

　　4.1平台构建的整体思路……………………………………………………………………7

　　4.2平台架构……………………………………………………………………7

　　4. 3大数据能力开放体系……………………………………………………………………8

　　5结束语……………………………………………………………………9

　　文内图表……………………………………………………………………10

　　图1数据服务能力开放平台构架……………………………………………………………………10

　　参考文献……………………………………………………………………11

　　0 引言

　　未来大数据的应用将会更为广泛，尤其是在企业的经营优化与资产变现上将会大放异彩，以大数据为基础的商业模式将会成为未来企业发展的趋势[1].在大数据技术已经成为未来科技发展趋势的今天，如何更加有效地利用这项技术的价值成为人们研究的重点。更多的企业关注大数据技术的开放与变现的问题，在探索大数据技术给商业模式带来变化的同时，大数据技术的应用已经越来越普及，并且给人们的生产生活带来了极大的方便，在许多重要的领域都起到了关键性的作用[2].

　　1 大数据开放的意义

　　对大数据需求的企业主要是利用大数据平台为自身提供二次数据开发的能力，这包括了数据的开发、分析、计算、存储等方面，帮助企业解决海量数据的应用场景问题，由此可见，通信运营商大数据平台要以开放的形式进行建设，将会获得以下收益：一是实现运营商内部数据资源的整合，避免了数据的重复采集、重复处理、重复储存，节省了数据开发的成本；二是有助于形成大数据的生态圈，增加了数据的自身价值；三是满足了运营商内部不同部门之间的应用需求；四是增强了大数据技术的变现能力以及与外部企业之间的合作能力，提高了数据的利用价值。

　　2 大数据能力开放平台建设的总体需求

　　（1）构建具有横向架构的数据信息共享平台。这些数据通常来源于互联网、应用软件客户端、IT数据系统、相关业务平台，运用大数据技术构建标准化的用户信息数据库；运用数据模型对数据信息进行深入挖掘和分析，为通信运营商提供更加真实的数据支撑，同时还能够为其宣传、营销等活动的顺利开展奠定准确的数据基础[3].

　　（2）平台具有不同层次的权限开放功能，包括数据库、模型与应用分析等；具备不同的数据开放权限，如自营、合作企业、第三方等；还应该保证数据传输、存储等方面的安全性，同时保护用户隐私避免出现信息泄露等问题。

　　（3）具备使用便捷的开放接口，其数据能力开放应使用标准化的API以方便第三方的使用，同时提供通俗易懂的使用说明文件，减少后续开发难度；能够满足开发、测试、运营等面的使用要求。

　　（4）平台具备集约化的运营服务。该平台的运营模式通常情况下采用一体化流程，注重对平台的通信能力、数据渠道、用户行为等很多方面的运营服务质量优化。

　　3 平台数据服务具体内容

　　3.1 数据开发的影响因素

　　通信运营商数据开发的影响因素主要包括以下四点：一是内容，实现数据的查询与下载服务，具有对数据进行分析和处理的功能；二是原则，平台建设需要依据公开、便捷和安全等原则；三是提供方式，以API技术服务为主；四是平台的运营管理规范。平台建设开放的数据要注重其安全、风险、权限等多方面的管理规范。

　　3.2 数据来源

　　通信运营商的数据主要来源于以下三个方面：

　　（1）来自用户的数据：包括用户许可、用户喜好、合同数据、用户网络数据、注册数据、调研数据，以及用户使用电子设备的数据。

　　（2）来自传感器捕获的与用户行为相关的数据：包括计算机客户端运行情况、用户使用系统型号、用户位置信息、网页广告点击率、用户偏好、购买行为，以及通讯呼叫记录等数据信息。

　　（3）来自挖掘的数据：包括用户断网的风险数据分析、对用户社交数据的分析与挖掘等。

　　3.3 数据的服务内容

　　（1）数据搜索服务。

　　包括搜索用户的位置信息、终端设备类型、网购数据等多方面数据。

　　（2）数据分析服务。

　　包含用户偏好、消费习惯、行为习惯、个性化信息推送等方面的数据分析[6].

　　（3）数据运算服务。

　　这项服务主要包含两个部分，分别是数据的挖掘和探索服务，前者主要是平台通过利用数据隔离、沙盒管控等方法给其他企业提供数据挖掘服务；后者则是平台利用大数据分析工具向其他企业提供数据探索服务。

　　4 大数据能力开放平台构架分析

　　4.1 平台构建的整体思路

　　（1）综合数据信息来源、开拓通信运营商的业务范围：综合企业信息数据资源，通过平台为外部企业提供开放数据服务，提升其精准营销的能力；为外部企业解决大数据问题以及提供相关数据服务。

　　（2）帮助合作企业进行商业模式的创新，给予大数据服务的支持，凝聚优秀的合作企业；向用户收取大数据服务费用或部分服务内容收费[7].

　　（3）大数据开放平台实现标准化、模块化，提升用户的操作体验。

　　4.2 平台架构

　　平台将其底层繁杂的数据业务、相关技术和具体流程的实现进行了抽象和封装，为平台用户提供了稳定的运行环境。如图1所示，本文在充分考虑通信运营商实际运营现状以及整个IT行业的发展基础上，对大数据能力开放平台进行了构建。

　　4.2.1 数据来源

　　数据来源包括：系统的业务数据；通信移动的连接状态、位置信息、终端类型等终端数据；网络通信协议数据、用户浏览信息、广告点击信息，以及用户网购信息等。

　　4.2.2 数据采集

　　平台建设的数据采集单元构建需要对数据库、文档等外部数据信息进行采集，以满足平台的使用需求；平台数据采集单元的设计可以根据任务优先驱动机制对符合条件的数据信息进行优先采集，但值得注意的是无论采集何种类型的数据都要以不影响平台的稳定运行，或者尽可能减小对平台运行的影响为前提。

　　4.2.3 数据储存

　　从上层被采集数据的特点可以看出，能力开放平台的数据结构体量大、结构复杂，而目前传统的数据储存方案是结构化的单一储存方式，这种方式已经不能满足SMP、RDBMS、MPP等多种架构的数据库的数据信息存储在平台之中。为了解决这一问题，本文采用分布式文件系统和分布式KEY存储引擎分别对平台数据采集单元采集获得的非结构化数据信息和结构松散或半结构的数据的行列进行混合存储，同时支持这些数据信息的在线存储以及线性扩展存储；在平台建设过程中需要在各个存储系统之间设计一个连接器，这样便于实现数据的转化和融会贯通，有利于提高通信运营商大数据能力开发平台分析数据信息的工作效率。

　　图1 数据服务能力开放平台构架  

　　4.2.4 数据处理

　　为了高效处理平台中的海量数据信息，需要平台进行分布式和实时流的处理计算能力。在分布式处理层中，对数据进行并行化处理和故障位置的自动化检测及主动修复；被处理任务能够实现自由地进出平台，自行感知任务的实时状态；区分任务的优先级，提升任务计算灵活度，从而提高平台的信息处理性能。在实时流处理层中，平台能够连续的对数据信息进行输入与分析，其分析计算度应该达到毫秒级；集中平台的计算能力优先处理动态数据流，具备高速率、低延时的特点。

　　4.2.5 数据分析

　　数据分析层是利用LOAP、引擎、专题、数据挖掘等操作对平台的存储与处理信息进行分析。平台海量的数据信息影响其自身的运算能力，数据的复杂结构也影响着平台的计算模式。为了顺利进行这一步骤，在通信运营商大数据能力开发平台构建时需要利用先进的计算机技术（例如MapReduce、流计算等），对采集单元采集获得的非结构化数据进行预处理；平台的构建能够实现数据非结构化向结构化的转变；且平台具有分布式计算能力；同时平台的建设还能为外部企业提供稳定的数据支持和数据挖掘、探索服务等。

　　4.2.6 数据服务

　　平台数据服务单元的设计会将底层处理数据信息的过程进行过滤和筛除，采用经过处理后完整的、安全可靠的数据信息为外部企业提供相应服务，这有利于提高平台的数据信息共享效率和数据处理效率。平台数据服务单元的设计在对外服务方面要具备可靠性、高效性和可循环性；在功能上要将用户所需要的数据信息呈现在平台之上，并对平台的操作进行定义，需具备数据目录、数据加密、数据调试、流量控制等基本功能，为用户提供便捷式的数据服务体验，实现从用户需求到维护更新全过程的维护管理；在技术上，提供数据信息的及时响应、并行化处理、异步化处理等关键技术的支持。

　　4.2.7 数据门户

　　数据门户作为通信运营商大数据开放平台的对外接口，能对不同的使用对象，推送个性化的数据服务内容，通过邮件、短信等形式将平台的主要业务内容以及分析应用推送给使用者。

　　4.2.8 基础管理

　　该部分的主要功能是对平台的安全、元数据、各子系统进行管理。元数据管理包含整个平台的构建与安全稳定运行；安全管理则是确保平台数据信息安全的重要手段，主要包括数据信息的安全传输、安全存储、安全访问控制等；系统管理的主要功能则是管理平台用户的基本信息，包括用户的登录名、密码、访问权限、认证信息等多个方面。

　　4.3 大数据能力开放体系

　　4.3.1 传统SOA架构的缺陷

　　一是实时性问题。SOA思路构建的平台是在信息同步的基础上进行的，其数据信息的处理是线性顺序，也就是说只有处理完前面的数据信息才能继续进行之后的处理步骤，影响平台服务系统的性能。二是服务效率问题。SOA思路构建的平台在进行一对多的共享服务时，必须获知即将服务的所有的用户信息，并对这些用户进行服务调用和计算力的分配，这会加重平台的计算负担。三是耦合度问题。平台服务是可以实现松耦合的，但是平台的建设并不是一蹴而就，而是一个徐徐渐进的过程。SOA思路构建的平台使用的是消息同步机制，一旦联系的双方一方存在异常，就会直接影响另一方的正常功能，而平台系统无法实现彻底解耦。

　　4.3.2 SOA架构缺陷的应对措施

　　SOA思路虽然可以将线性与预测内容进行联系，但却没有考虑动态业务的应答能力。平台建设的核心技术必须能够满足平台数据信息的分析、处理等功能。而事件驱动架构（EDA）却可以解决动态业务的应答能力问题，对其做出有效的处理，所以事件驱动架构弥补了SOA架构的不足。

　　通过上述应对措施，本文构建的大数据开放平台如果采用EDA架构，还需要满足以下特征：一是平台支持异步活动，平台推送的消息不再关注对方接收消息的具体情况，也不需要再维持一条源与端的链路。二是平台实现一对多的服务，通过平台在网络上公布任务信息，平台中订阅相关信息的系统可以进行相关处理。三是平台与外部系统彻底解耦，平台服务不再获取被服务系统的信息。

　　5 结束语

　　通信运营商大数据开放平台的建设是一个巨大的挑战，受到技术、组织构架、安全管理策略等因素的影响。近些年来随着大数据技术的发展，在未来一定会有更多志同道合的企业加入其中，最终形成一个良性的大数据生态圈，促进大数据技术在各个领域的深度应用。

　　参考文献
　　[1]张海峰，董昭，李娟，等。电信运营商大数据能力开放平台建设[J].电信科学，2017（4）：189-196.
　　[2]李大中，刘剑，邓景文。大数据能力开放平台创新和发展[J].大数据，2017,3（1）：72-79.
　　[3]陈荣平。通信运营商大数据能力开放平台建设[J].中国新通信，2019,21（8）：11.论文