软件工程硕士论文
摘 要
随着大数据时代的来临，河北省税务各个业务系统的数据量也在不断增长，从TB级别的数据量快速进入到PB级别的数据量，由于海量数据的出现，财税部门存在信息割据、数据凌乱、应用低效等问题。问题包括(1)数据采集问题，由于税涉及的数据源或系统比较多，数据采集使用技术比较落后，目前好多还使用dblink直接连接方式采集数据，严重影响系统性能；(2)数据共享问题，数据汇聚主要依赖部门逐层数据填报，报送效率低下，业务数据获取难、缺乏标准，数据质量低下，分析应用困难。
为了解决此问题，基于河北省财税的数据资源现状，梳理出目前的需求，首先，异构数据采集困难需求，也无法满足财税对数据资源的需求。其次是缺乏数据治理的流程或手段需求，由于前期烟囱式的系统比较多，数据比较分散，并且没有统一的数据标准。然后，税收预警需求，数据分析还停留在静态数据的分析，数据实时性差。最后是数据共享需求，数据由于没有做标准化，无法对数据进行对外提供数据服务。基于如上需求进行分布式架构设计，包括数据采集、数据处理、数据治理、税收预警管理、数据共享共5大模块进行设计。系统在上线运行一段时间后表明，系统具有可靠性好、可用性好、稳定性高、并发性能高等特点，对财税海量数据形成统一的财税数据资源中心，融合异构数据，利用大数据技术支撑上层业务场景，提升财税数据的对外服务能力。推动财税数字化转型，助力服务与治理能力提升。
关键词 ： 数据治理；财税数据管理；资源共享；数据资源管理。
Abstract
With the advent of the era of big data, the amount of data of various tax businesssystems in Hebei Province is also growing, from TB level data to Pb level data. Due to theemergence of massive data, the financial and tax departments have some problems, suchas information separation, data disorder, application inefficiency and so on. The problemsinclude: (1) data collection, because there are many data sources or systems involved infinance and taxation, the technology of data collection is relatively backward, and many ofthem still use dblink direct connection to collect data, which seriously affects theperformance of the system; (2) the problem of data dispersion, data aggregation mainlyrelies on the Department to fill in the data layer by layer, the submission efficiency is low,and it is difficult to obtain business data Lack of standards, low data quality, analysis andapplication difficulties.
In order to solve this problem, based on the current situation of data resources offinance and taxation in Hebei Province, sort out the current demand, first of all, thedifficult needs of heterogeneous data collection, but also can not meet the needs of financeand taxation for data resources. The second is the lack of data governance processes ormeans requirements, due to the early chimney system is more, the data is more scattered,and there is no unified data standard. Then, the demand of tax early warning and dataanalysis still stay in the analysis of static data, and the real-time data is poor. Finally, thereis the need for data sharing, because the data is not standardized, it is impossible toprovide data services to the outside world. Based on the above requirements fordistributed architecture design, including data collection, data processing, data governance,tax early warning management, data sharing a total of five modules for design. Afterrunning online for a period of time, the system shows that the system has thecharacteristics of good reliability, good availability, high stability and high concurrencyperformance, and forms a unified fiscal and tax data resource center for massive fiscal andtax data, merging heterogeneous data. Big data technology is used to support upper-levelbusiness scenarios and improve the external service capability of fiscal and tax data. Wewill promote the digital transformation of finance and taxation and improve the ability ofservice and governance.
Keywords : Data governance; fiscal data management; resource sharing; data resourcemanagement。
第1章 绪 论
1.1、课题研究背景和意义。
为发挥财税数据在提升政府治理能力方面的基础和保障作用，打造财税数据品牌，进一步提高“数据辅政”水平，用数据改进管理，用数据推动创新，开展财税数据管理系统建设。目前存在信息割据、数据凌乱、应用低效等问题。问题包括(1)数据采集问题，由于财税涉及的数据源或系统比较多，数据采集使用技术比较落后，目前好多还使用dblink直接连接方式采集数据，严重影响系统性能(2)数据分散，数据汇聚主要依赖部门逐层数据填报，报送效率低下，业务数据获取难、缺乏标准，数据质量低下，分析应用困难。因此，财税局要利用大数据技术构建数据管理平台，主要功能如下：
(1)构建数据采集功能，实现支持几乎所有的市场主流的数据源类型，包括数据库、消息队列、文件系统、网络站点等等；通过专门的数据服务组件，如JDBC、Web协议等方式与数据源进行连接，提供多源化、高稳定性的数据接入和传输服务。
主要支持的数据源包括：结构化数据库：
My SQL、Oracle、SQLServer、DB2等等；非结构化数据库：
Hive、Hbase、Elasticsearch、Mongo DB等；消息队列：
Kafka；文件系统：
HDFS、CVS、TXT、JSON、XML等；网络站点：
HTTP、FTP、Web Service等。
(2)海量数据处理，通过Hadoop大数据平台来提供离线计算和准实时计算功能，解决数据计算性能问题。
(3)数据开放共享，对数据按照标准进行梳理和融合，提供对外数据服务功能。
随着财税局数据化管理模式改革和风险管理的深入推进，大数据技术应用和财税数据挖掘分析需求不断增加。如何运用大数据技术，有效管理各类涉财税业务的数据，充分挖掘海量数据的潜能和效益，更好地服务领导决定；进一步提升财税数据的治理能力，推动财税数字化转型，助力服务与治理能力提升，已经成为财税系统迫切需要面对的重要内容。
梳理出已有的数据资源，以及预测数据未来发展的趋势，迫切需要利用大数据技术升级现有的技术架构，全面提升数据采集、存储、计算、管理能力，为财税大数据应用提供有力支撑。
智慧财税项目基础核心支撑服务，通过整合数据资源，实现交换共享，发挥数据价值。通过构建数据管理平台，实现多源异构数据源的采集、提高海量数据计算的效率以及对外提供数据共享服务。提供财税业务数据交换共享服务，为财税业务管理决策、业务创新提供大数据综合应用。
围绕“以数据应用为导向”的原则，遵循“数字政府”建设要求，结合财税信息化特点，以“数据汇聚流程为轴线，提供及时、高质量的共享数据”为核心设计理念，以数据管理办法与内在业务驱动为保障机制，建立覆盖政务外网、互联网的智慧财税数据支撑总体框架。梳理财税信息资源情况，将分散的财税数据资源进行汇集、整合，以“财税主数据”为核心的全局一体化数据建设管理思路，统一全局信息系统内各自独立管理的、分散的服务对象数据，确保服务对象在全局的唯一性识别以及服务对象数据的正确性和共享性。
强化数据应用，提高税收管理精准度。河北地税充分借助互联网的海量数据，通过深入分析具体行业的经营方式、行业特性，开展分行业纳税评估。
【由于本篇文章为硕士论文，如需全文请点击底部下载全文链接】
1.2 、国内外研究现状
1.2.1、国内研究现状
1.2.2、国外研究现状
1.3 、论文内容与目标
第2章 需求分析.
2.1、系统需求分析.
2.11、数据采集管理需求分析.
2.1.2、数据处理需求分析.
2.1.3、 数据治理需求分析.
2.14、税收预警管理分析.
2.1.5 、数据共享需求分析.
2.3、本章小结
第3章 系统设计.
3.1、系统架构设计
3.1.1、总体架构设计.
3.1.2、技术架构设计.
3.1.3、总体流程设计.
3.1.4、网络拓扑结构设计.
3.1.5、功能结构设计.
3.2、系统功能总体设计.
3.21、数据采集管理设计.
3.2.2、数据处理设计.
3.23、数据治理设计.
3.2.4、税收预警管理设计.
3.2.5、数据共享设计.
3.3、数据库表结构设计.
3.3.1、数据采集表
3.3.2、数据分析
3.3.3、数据仓库表
3.3.4、监控管理表
3.3.5、服务管理表
3.3.6、日志管理表.
3.4、本章小结
第4章 系统实现
4.1、系统功能实现
4.1.1、 数据采集模块实现
4.1.2、数据处理模块实现.
4.1.3、数据治理模块实现
4.1.4 、数据共享模块实现.
4.1.5 、税收预警管理模块实现.
4.2、本章小结.
第5章 系统测试.
5.1、测试概述
5.2、测试通过标准
5.3、测试策略.
5.3.1、测试设计
5.3.2、测试控制
5.4、缺陷严重度描述.
5.5、压力测试
5.6、本章小结.
结 论
基于大数据设计并实现了河北财税数据管控管理系统。通过本系统研究，综合运用云计算、大数据等技术手段，打通各部门之间的“信息孤岛”，建设对内数据汇聚、对外数据共享、数据集中存储的数据管控管理中心，建立大数据相应的规章、制度、机制和技术标准。数据管控系统包括数据采集模块、数据处理模块、数据治理模块、数据应用模块、数据交换共享模块、财税大数据应用模块共五个功能模块。
本文研究内容包含如下几个方面：
(1)数据集成处理。由于异构数据采集困难，甚至无法支持非结构化数据的采集，非结构化数据采集要采用比较复杂的技术手段来实现，开发效率比较低下，也无法满足财税对数据资源的需求。主要研究hadoop分布式技术在数据采集和数据处理上效率和性能上的提高。采用分布式大数据采集技术，财税数据采集具有海量和多源异构的特性，数据接入平台需具备自动化和标准化的属性，通过构建规范的数据接入流程，对多源异构的大数据体系进行标准统一，为数据处理做好前提准备。
(2)数据治理。缺乏数据治理的流程或手段，由于前期烟囱式的系统比较多，数据比较分散，并且没有统一的数据标准，造成数据没有统一的标准规范，数据质量比较差，没有专门的数据质量模块，只是后台写一些简单的脚本来检查数据的质量，目前还停留在比较简单的数据质量层面。主要研究对数据资源全生命周期的规划设计、过程控制和质量监督，通过规范化的数据治理，可实现数据资源的透明、可管、可控，理清数据资产、完善数据标准落地、规范数据处理流程、提升数据质量、保障数据安全使用、促进数据流通与价值提炼。构建数据治理体系，贯穿数据接入、处理、组织、服务、应用的全过程，通过建立数据资源目录，刻画数据血缘关系，引入数据分级分类、强化数据质量管理和数据运维管理实现对数据全生命周期的管理。
(3)数据共享。由于前期烟囱式的系统比较多，数据比较分散，并且没有统一的数据标准数据开放具有自定义开放规则，无法对数据进行共享，无法对外提供数据服务。信息共享服务体系将数据作为一种服务，向上层应用、跨域应用、跨平台应用提供种类丰富、类型多样的服务接口与服务能力，打破数据孤岛、实现信息共享、发挥数据价值、提升应用能力。
(4)税收预警。由于数据实时性比较差，缺乏预测模型。构建税收预警模型，引入算法，输入多种数据类型，调忧模型的准确度，实现税收实时监控预警。
关于系统的未来展望，主要实现财税数据数据交换，对内外部的数据交换共享，使用专门平台对数据交换共享进行管理支撑，促进内外部数据交换共享，财税建立统一规范及安全的数据交换共享机制，对于数据交换共享解决离线、零散、落后的处理方式，解决存在数据交换共享处理不规范、安全隐患大，线下来回沟通处理效率低下，实现跨层级、跨单位、跨部门之间的业务协同，对数据进行交换与共享，实现业务整合，对流程进行合理忧化，提高政务应用能力，提供更多的政务服务功能，发挥出财税大数据应用价值。
参考文献
[1]康军数字化转型下通信运营商数据治理的“困”与“道”[J].江苏通信,2020,36(03):58-64.
[2]王逸晨.基于数据共享及开放的数据治理体系研究[].中小企业管理与科技(中旬刊),2020(06):154-155.
[3]杨斌:信用数据治理系统设计与应用研究[]信息与电脑(理论版),2020,3211):145- 148.
[4]张敏.数据库安全研究现状与展望[]中国科学院院刊, 2011 .65-68.
[5]马亮,王晓东智慧校园数据治理与数据服务建设一以浙江 中医药大学为例[J].中国医学教育技术,2020,3403);322-325.
[6]梁正,余振,宋琦人工智能应用背景下的平台治理:核心议题、转型挑战与体系构建凹]经济社会体制比较,2020(03);67-75.
[7]刘桂锋,钱锦琳,张吉勇、我国高校科研数据治理模型构建研究[]情报科学,2020,38(06):17-24+31.
[8]邓晔安防系统数据中台的应用价值[J]中国安防,2020(06):65-68 .
[9]牛丽雪政府数据治理成熟度模型研究P]河北大学,2020(03). 15-17.
[10]黄如花我国政府数据开放共享标准体系构建[]图书与情报,2020(03):17-19.
[11]李刚政府数据市场化配置的边界政府数据的“生产要素”和“治理要素”二重性[J].图书与情报2020(03):20-21.
[12]严昕.公共图书馆数据治理框架构建研究[]图书馆,2020(05) 58-63.
[13]江锡强.人工智能技术在政府数据治理中的应用[J]计算机产品与流通2020(06):128-130.
[14]谢建全,王巧巧.基于数据治理的智慧校园建设探究[].电脑编程技巧与维护,2020(05):109-110+133.
[15]孙兆东强化数据治理落实高质量监管要求[N].中国银行保险报，2020-05-1 4(02).4-5.
[16]李柳音.数据治理中数据智能分类技术的应用研究[]卫星电视与宽带多媒体,2020(09):15-17.
[17]左小翠信息时代数据库安全体系的建立与管理一评 《数据治理与数据安全》[J].安 全与环境学报,2020,2002):788.
[18]周天绮.基于民政大数据的智慧居家养老服务平台的构建[] .物联网技术,201 6,6(03):87-88+92.
[19]帅考.智慧社区民间组织管理系统的开发[D]武汉工程大学,2015.59-66.
[20]刘丹丹积极引入“互联网+”新理念不断提升现代民政新境界[]中国民政,2015(1 0):30-31.
[21]纪江明智慧时代需求导向的一站式电 子民政[].上海信息化,201 5(01):52-55.
[2]谢娟.教育数据治理的伦理框架:价值、向度与路径[叨]现代远程教育研究2020.32(05):15-24.
[23]姚:阜金融数据治理体系建设[]金融科技时代20209;33-35.
[24]段盛华,于凤霞,关乐宁数据时代的政府治理创新一基于数据开放共享的视角]电子政务,2020(09):74-83.
[25]芮忠.基于数据中台的数据治理系统的实现[]科技创新与应用,2020(2)39 -40.
[26]陈文,张磊，杨涛数据治理视角下央行数字货币的发行设计创新[].改革,2020(09):68-79.
[27]胡雷地,徐清,李响.智能泛在感知环境下的多维数据融合研究及应用[].警察技术,2020(05):60-62.
[28]C ssie H,Keith M Electronic linkage and interogation of adhninistrative health, social care, andcriminal justice datasets: fe asbility concemning pr ocess and content[J] Infarnatics for H ealth andSocial C are,2020,45(4) .57-59.
[29]Majid A Ruithe,Elhadj B. Determining the enabling factors for implem enting doud datagovermnance in the Saudi public sctor by structural equation modelling[] Future G ener ati arnC omputer Systems2020,107(1):5-12.
[30]Chalotte D. Data as infastuctue? A studty of data sharing 1egal regim es[]. C ompettion andRegul ati an in N etwork Industnies2020,21(2)7-9.
[31]Jones K,Daniels H,Heys S,Lacey A. Toward a Risk-Utlity Data Govemance F ramnework forRese: arch Using Genomic and Phenotypic Data in Safe Havens: Multifaceted Review []. Jounalof medi cal Int emet rese arch,2020,22(5).56-58.
[32]Ben S Mohamed,Robel L,Chaste P,Perisse Didier TEDIS, a C omprehensive D ata Mode1 forIn Depth Clini cal Ass es sm ent of Pati ents Affected with N euro-Developm ental Disorders IncludingAuti smn. [J] Studies in he alth technology and inform atics2020,270(9) 36-48..
[33]Luca MElisa L,Ine V H oyweghen. Fit for purpose? The GDPR and the governance of Eur opeandigital health[J]. Poli cy Studlies 2020,41(5).78-96.
[34]Andres MSonsoles L, Alejandro P,J oaquin S,Gabriel H. Data Usage and Access C antral inIndustial Data Spac es: Imnplem enti an U sing FIWARE[I]. Sust anabilty2020,129).10-15.
[35]Kim H,Yi M A Study an the Policy Trends for the Revitalizati om of Medical Big Data Industy[J].Jounal of Digtal C onvergence,2020,18(4).87-92.
[36]F anbo M. The College Data Asset Management and Strateges of the Data Aset Uilizati on[]Itemati anal Core Joumal of Engine ening2020,6(4).52-64.
[37]吕欣,李阳发展和安全统筹推进数字经济高质量发展[]财经界,20(25):12-13.
[38]《数据治理之论》[J]中国信息界,2020(04)96(8)107-120.
[39]王淑萍基于大数据背景的数据治理实践分析[]通信世界,2020(23) :43- 44.
[40].《数据治理之论》[J] 中国信息界,20204);962)12-44.
[41]王淑萍.基于大数据背景的数据治理实践分析[]通信世界,2020(23);43-44.
[42]李黎农商银行数字化转型的思考与实践[]财经界,2020(24)9-10.
[43]高雪技术嵌入下的基层治理变革研究[D]中共上海市委党校,2020.33-35.
[4]齐力.企业如何开展数据治理和提升数据治理水平[]中国对外贸易,2020(08):24-25.
[45]马建,王维顺数据服务大局的探索与税收数据治理现代化的构想[]财政监督,2020(15).21-28.
[46]于玉宗.以数据治理为驱动的企业数据集成管理方法分析[I].信息记录材料,2020,21(08):164-1 65.
[47]马建,王维顺.数据服务大局的探索与税收数据治理现代化的构想[凹]财政监督,2020(15):21-28.
[48]刘露,杨晓雷新基建背景下的数据治理体系研究一以数据生命周期为总线的治理[]治理研究,2020,36(04):59-66.
[49]雷晓斌,郑绍红.大数据时代科研知识数据的治理路径创新[]企业科技与发展,2020(07);8-9+13.
[50]许弘,魏伟.商业银行数字化发展现状与路径探析[J]中国经贸导刊2020(13):68-70 .
[51]彭明,刘建峰,王常华、高校数据治理的现状分析与探索[J]现代信息科技，2020,4(1 3):137-139+142.
[52]高志华数据治理中数权的冲突与平衡[J].长白学刊,2020(04).51 -56.
[53]雷晓斌,郑绍红.大数据时代科研知识数据的治理路径创新[凹]企业科技与发展, 2020(07):8-9+13.
[54]彭明,刘建峰,王常华.高校数据治理的现状分析与探索[J]现代信息科技,2020,4(13):137-139+142.
[55]许弘,魏伟.商业银行数字化发展现状与路径探析[]中国经贸导刊,2020(13):68-70.
[56]夏义望政府数据:治理的维度解析与路径优化[J]电子政务,2020(07):43-54.
[57]王玥.数据治理研究N]深圳特区报2020-07-07(B04).1-2.
[58]周振国治理框架视域下的数据治理研究[J]农业图书情报学报，2020,32(07):57-62.
[59]陈锋ETL数据治理在高校信息化建设中的研究与应用[]中国教育信息化,2020(1 3):68-70.
[60]吴胜龙企业数宁化智慧经营之路探索[].能源,2020(07) 94-96.
[61]曹惠民地方政府数据治理绩效及其提升[]理论探索,2020(04).72-80.
[62]张彦.数据治理背景下我国公共部门项目管理模型设计[J]中国管理信息化,2020,23(13):189-193 .
[63]-种基于税务系统数据仓库的模糊数据挖掘算法的研究[凹]计算机工程与应用,2002,38(01 0):206- 208.
[64]俞华，朱小鹏.浅谈我国税务系统组织结构的现状优化问题[]当代财经, 200407):58-61.
[65]樊胜. CIS与B/S的结构比较及Web数据库的访问方式[J].情报科学，2001 .68-70.