各国的数据战略

 

 

当前,全球数据量仍在飞速增长的阶段。根据国际权威机构Statista的统计和预测,2020年全球数据产生量预计达到47ZB1,而到2035年,这一数字将达到2142ZB,全球数据量即将迎来更大规模的爆发。

大数据白皮书_大数据

 

 

数据要素市场化配置上升为国家战略

 

大数据白皮书_数据_02

 

2020年,数据正式成为生产要素,战略性地位进一步提升。4月9日,中共中央、国务院发布《关于构建更加完善的要素市场化配置体制机制的意见》,将“数据”与土地、劳动力、资本、技术并称为五种要素,提出“加快培育数据要素市场”。5月18日,中央在《关于新时代加快完善社会主义市场经济体制的意见》中进一步提出加快培育发展数据要素市场。这标志着数据要素市场化配置上升为国家战略,将进一步完善我国现代化治理体系,有望对未来经济社会发展产生深远影响。

 

各国加快布局探索数据未来发展之路

 

  • 美国联邦数据战略焦点从“技术”转移到“资源”

 

2019年12月23日,美国白宫行政管理和预算办公室(OMB)发布《联邦数据战略与2020年行动计划》(以下简称“《联邦数据战略》”),以政府数据治理为主要视角,描述了联邦政府未来十年的数据愿景和2020年所要推行的关键行动。

《联邦数据战略》的核心目标是“将数据作为战略资源开发”。《联邦数据战略》确立了40项数据管理的具体实践目标,分为三个层面。第一,重视数据并促进共享,如通过数据指导决策、促进各机构间数据流通等;第二,保护数据资源,如保护数据的真实性、完整性和安全性;第三,有效使用数据资源,如增强数据分析能力、促进数据访问形式多样化等。

 

  • 欧盟数据战略致力于发展数据敏捷型经济体

 

2020年2月19日,欧盟委员会公布了《欧盟数据战略》,以数字经济发展为主要视角,概述了欧委会在数据方面的核心政策措施及未来五年的投资计划,以助力数字经济发展。

《欧盟数据战略》对欧盟数据发展提出了明确的愿景目标——2030年欧洲将成为世界上最具吸引力、最安全、最具活力的数据敏捷型经济体。即,在保持高度的隐私、安全和道德标准的前提下,充分发掘数据利用的价值造福经济社会,并确保每个人能从数字红利中受益。为推进欧盟数据一体化和提升欧盟国家的市场主体竞争力,《欧盟数据战略》提出了四大支柱性战略措施是构建跨部门治理框架;是加强数据投入;是提升数据素养;是构建数据空间。

 

  • 英国期待数据战略助力经济复苏

 

2020年9月9日,英国数字、文化、媒体和体育部(DCMS)发布《国家数据战略》,支持英国对数据的使用,设定五项“优先任务”,帮助该国经济从疫情中复苏。这五项任务包括:(1)释放数据的价值;(2)确保促进增长和可信的数据体制;(3)转变政府对数据的使用,以提高效率并改善公共服务;(4)确保数据所依赖的基础架构的安全性和韧性;(5)倡导国际数据流动。除五项优先任务以外,英国《国家数据战略》还包括多项计划

 

大数据发展

 

近年来,大数据技术的内涵伴随着大数据时代的发展产生了一定的演进和拓展,从基本的面向海量数据的存储、处理、分析等需求的核心技术延展到相关的管理、流通、安全等其他需求的周边技术,逐渐形成了一整套大数据技术体系,成为数据能力建设的基础设施。伴随着技术体系的完善,大数据技术开始向着降低成本、增强安全的方向发展

 

大数据技术全景解析

 

大数据白皮书_数据管理_03

 

  • 大数据基础技术为应对大数据时代的多种数据特征而产生

 

大数据时代,数据量大、数据源异构多样、数据实效性高等特征催生了高效完成海量异构数据存储与计算的技术需求。

在这样的需求下,面对迅速而庞大的数据量,传统集中式计算架构出现难以逾越的瓶颈,传统关系型数据库单机的存储及计算性能有限,出现了规模并行化处理(Massively Parallel Processing,MPP)的分布式计算架构;

面向海量网页内容及日志等非结构化数据,出现了基于Apache HadoopSpark生态体系的分布式批处理计算框架;

面向对于时效性数据进行实时计算反馈的需求,出现了Apache StormFlinkSpark Streaming等分布式流处理计算框架。

 

  • 数据管理类技术助力提升数据质量与可用性

 

在较为基本和急迫的数据存储、计算需求已在一定程度上得到满足后,如何将数据转化为价值成为了下一个最主要需求。

最初,企业与组织内部的大量数据因缺乏有效的管理,普遍存在着数据质量低、获取难、整合不易、标准混乱等问题,使得数据后续的使用存在众多障碍。

在此情况下,用于数据整合的数据集成技术,以及用于实现一系列数据资产管理职能的数据管理技术随之出现。

 

  • 数据分析应用技术发掘数据资源的内蕴价值

 

在拥有充足的存储计算能力以及高质量可用数据的情况下,如何将数据中蕴涵的价值充分挖掘并同相关的具体业务结合以实现数据的增值成为了关键。用以发掘数据价值的数据分析应用技术,包括以BI(Business Intelligence)工具为代表的简单统计分析与可视化展现技术,及以传统机器学习、基于深度神经网络的深度学习为基础的挖掘分析建模技术纷纷涌现,帮助用户发掘数据价值并进一步将分析结果和模型应用于实际业务场景中。

 

 

  • 数据安全流通技术助力安全合规的数据使用及共享

 

在数据价值的释放初现曙光的同时,数据安全问题也愈加凸显,数据泄露、数据丢失、数据滥用等安全事件层出不穷,对国家、企业和个人用户造成了恶劣影响,

如何应对大数据时代下严峻的数据安全威胁,在安全合规的前提下共享及使用数据成为了备受瞩目的问题。

访问控制、身份识别、数据加密、数据脱敏等传统数据保护技术正积极向更加适应大数据场景的方向不断发展,同时,侧重于实现安全数据流通的隐私计算技术也成为了热点发展方向。

 

大数据技术发展趋势

 

  • 基础技术:控制成本按需索取成为主要理念

 

  1. 存储与计算耦合的自建平台造成了额外成本

  2. 存算分离有效控制成本

  3. 按需索取的处理分析能力服务化概念开始流行

  4. 国内外众多厂商深入进行了存算分离和能力服务化的实践

     

  • 数据管理:自动化智能化数据管理需求紧迫

     

  1. 数据管理依赖人工操作带来居高不下的人力成本

  2. 更加自动化智能化的数据管理平台助力数据管理工作高效进行

 

  • 分析应用:图分析需求旺盛引导数据分析新方向

 

  1. 传统数据分析方法难以应对图结构数据中关联关系的分析需求。

  2. 专注于图结构数据的图分析技术成为数据分析技术的新方向

     

大数据白皮书_数据_04

 

  • 安全流通:隐私计算技术稳步发展热度持续上升

 

  1. 基于隐私计算的数据流通技术成为实现数据联合计算的主要思路

 

大数据科研创新进展

 

大数据白皮书_数据管理_05

 

大数据白皮书_数据_06

 

 

大数据产业生态界定探讨

 

 

大数据白皮书_数据分析_07

 

大数据白皮书_数据管理_08

 

大数据白皮书_数据_09

 

大数据白皮书_数据管理_10

 

 

数据治理

 

 

关于数据治理的概念界定,一般有广义狭义之分。狭义的数据治理主要是指对数据进行治理的技术与活动,是组织内部对数据的处置与应用进行规范化的过程;广义的数据治理则是通过多样化治理手段激活与释放数据要素价值的一套行为体系,是发展数字经济的关键所在。从广义的角度,我们认为数据治理是企业、政府、社会、市场等多参与主体,通过技术、制度、人员、法律等多种方式,实现提升数据质量与应用价值、促进数据资源整合与流通共享、保障数据安全等目标的一整套行为体系。在数据治理的实施过程中,组织内部的数据管理,组织间社会化的数据流通和覆盖数据全生命周期的安全保障是三个关键议题。

 

组织内部的数据管理能力逐步提升

 

在企业和政府的数字化转型过程中,数据是基础性和战略性资源。只有夯实数据管理之基,才能提升数据资源质量,支撑上层的数据流转与应用,充分发挥数据资源的价值。

 

  • 企业积极实践数据资产管理

不同行业的数据资产管理实践模式有所差异。经过多年发展,企业数据资产管理的理论基础已逐步成熟,形 成了以国际数据管理协会(DAMA)的数据管理模型、数据治理研究所(DGI)的数据治理框架等为代表的理论框架,我国也于2018年发布了国家标准GB/T 36073-2018 《数据管理能力成熟度评估模型》,简称DCMM。但在大数据白皮书(2020年)40 各行业的具体实践中,理论的共性逐渐被行业的个性所替代。例如,金融行业普遍“管理制度先行”,针对性的建立数据质量部门、数据标准部门、数据开发部门、数据分析部门等相关管理部门,数据资产管理活动侧重于监管数据治理、信息系统、数据安全、应急预案。互联网企业通常 “实践探索先行”,将数据模型、数据仓库、数据分析作为核心应用,随着网络数据安全保护能力专项行动的开展和个人信息保护的加强,数据安全也逐渐成为互联网企业的关键数据资产管理活动。不同行业的数据资产管理综合能力差距明显。结合DCMM对于数据资产管理综合能力的等级划分(如表2所示)  ,与在DCMM贯标与评估工作中对各行业实践现状的观察与总结可以发现,金融、电信、互联网等行业的数据资产管理综合能力多处于稳健级和量化管理级,其它行业多数仍处于初始级和受管理级。

 

大数据白皮书_数据_11

大数据白皮书_数据分析_12

 

  • 政府数据管理水平不断提升

 

作为“数字中国”的有机组成部分,建设“数字政府”成为近年来各地积极推进的重要工作,在夯实数据基础之上,通过“用数据说话,靠数据决策,依数据行动”,增强政府决策的科学性、预见性和精准性。自2014年部分省市陆续成立大数据局开始,截至目前,全国共有20个省级政府和80个以上的副省级和地级市政府成立了专门的职能机构,对政府内部的数据资源进行统一协调管理。在此基础上,各地政府采取了多项举措进一步加强数据管理能力。

 

一方面,多地颁发的政府数据管理办法明确了数据权责清单

另一方面,各地加强了对数据质量、数据标准、数据目录、元数据、数据采集、数据审计和数据安全等方面的要求。

 

 

大数据白皮书_数据分析_13