协同引领大数据技术的应用

• Data Base Technique

协同引领大数据技术的应用

文/黄靖

以及图像等内容。即便如此，系统中数据运行从把握大数据释义与功能为依然高效，包括数据生成，存储，分析和移动摘等。数据的实时性有助于决策者及时决策。且 基点，解析我国发展大数据最有 要利因素和潜在困惑，探寻如何聚系统中数据价值密度低，数据存储量大，创造集力量攻克大数据核心技术，强的价值高。

化政府投资导向，改进、完善大数据政策支持体系，提高社会共1.3 大数据维度与指标关联度高

享开放度，以协同引领大数据技术可持续发展，更好辅助社会、在大数据的体系分析中衍生出两个重要科技、经济、民众生活决策。概念，即维度与指标，使大数据分析变得更有意义。维度是指可指定不同值的对象的描述性属性或特征，维度用来解析数据。指标是指可以按总数或比值衡量的具体维度元素，指标用来计量数据。维度和指标之间关联度高，尽管【关键词】大数据 政策和技术 协同引领

维度和指标均可单独运用，但在大数据分析和处理过程中相互结合运用。维度值和指标值、尤其是两者之间的数值关联，才让人们都懂其一直受到业界关注的大数据技术，没有中的内在含义。为了挖掘潜在的、深层次的更辜负人们的期待高速发展，并被广泛的运用到具价值的信息，维度与一个或多个指标关联在很多领域、行业、乃至民众个人生活中。本文一起运用，以有助于丰富大数据的内涵，增添从新的视角阐述大数据释义与功能，解析我国信息潜在功能，提升其运用的价值。大数据技术发展的最有利因素和潜在困惑，探讨政策和技术如何协同引领发展。

1.4 大数据延展性强

1 大数据释义与功能

伴随着科学技术的发展，互联网、云计算、人工智能、区块链等新兴技术的崛起，分布式对大数据的理解是仁者见仁、智者见智，处理技术、存储技术和感知技术的不断改进和孟小峰、慈祥认为“对于大数据尚未有一个公完善，应用功能不断增强。比如大数据金融的认的定义，不同的定义基本是从大数据的特征作用被不断强化，从应用于金融战略布局、整出发，通过这些特征的阐述和归纳试图给出其体风险防控，再到解决营业窗口柜面、及个人定义”。谢中起认为“大数据不是数据量的简优质服务，其解决方案层出不穷。此外，大数单刻画，也不是特定算法、技术或商业模式上据从采集、处理、存储、应用全过程与传统信的发展，而是从数据量、数据形态和数据分析息数据集合相比，在社会的各个领域，产业的处理方式到理念和形态上重大变革的总和”。各个行业，经济的各个方面都可运用，除指标、其实我们转化视角，可从四个方面进行深入的数值、具体运作差异外，其基本原理、内在逻理解和把握。辑，解决问题的思路基本是一致的，因此也具1.1 大数据内涵丰富

有更大的适用范围和应用效能。

2 大数据发展有利因素与潜在困惑

尽管人们对数据或许会有不同的认知和理解，但有一点是可肯定的，数据是机器或其现在大数据在我国不仅已成为社会和生它主体对标的物测量或观察的结果及记录，是产资源,而且在政策和技术的支撑下发展成新对客观标的数理归纳，数据可以是连续地记录兴产业。继续发展既有有利因素，也有潜在困数值，包括声音、图像等模拟数据；也可以是惑，缕清头绪、便于改进。离散的数值，像文字、符号等之类字符值(数字数据)。我们用科学的理性逻辑，从整体功2.1 大数据发展最有利的因素

能的视角去研究大数据，它有广义和狭义之分。前者指从物理界到数字界的映射和提炼。通过2.1.1 国家高度重视大数据战略

发现其数值特征，从而做出提升效率的决策行2014年“大数据”被首次写入政府工作报告，表明国家高度关注它，并不断推出新的为。后者通常是由IT行业给出释义，即通过举措，研究国家层面的发展规划，制定行动纲获取、存储、分析，从大容量数据中挖掘价值要，进行顶层设计，相继出台了一系列政策。的一种全新的技术架构。只有当数据的测量或譬如《促进大数据发展的行动纲要》，《大数观察值聚集成海量，经过分析、归纳等技术处据产业发展规划（2016-2020年）》，从宏观理才成为大数据，再通过有关系统整合成为支上对大数据发展进行顶层设计、统筹布局，配持决策的工具时，这才更具有使用价值。套推进国家大数据战略。

1.2 大数据可塑空间大

2.1.2 大数据产业体系逐步壮大

2015年我国大数据产业收入2800亿元，在现在信息系统中，大数据成海量状态，2017 年大数产业收入4700 亿元，同比增长它所采集、存储和计算的数据量超大，以突破30%；2018-2020年增速会保持在30%以上。1ZP 的数量级，这种数据存储形式相当于传统跨地区大型数据中心(IDC)现已超过300家，数据储存形式的几何式翻倍。其数据结构成具云计算平台的数据处理能力已跻身世界前列，有多样性，大数据的组成并不是单一的、固定上下游企业联动格局正在形成。大数据技术、的模式，其内容一般包括文本信息、网页框架

产业与服务成为资本关注的热点，大数据产业

184 •电子技术与软件工程󰀡󰀡Electronic Technology & Software Engineering

体系的壮大会进一步促进经济的繁荣。2.1.3 大数据技术体系初步形成

由于政策体系的支持，科研机构、企业等相关组织的积极配合，大数据技术在我国有了长足发展，2018年我国大数据领域公开的专利约占全球的40%，居世界发展前列。一批大数据技术研发实验室、技术中心、数据平台、投资基金等形式的支撑平台相继建立。大数据技术应用已从起始的电信业、金融业向政务、卫健、工业、科技等领域延伸。有些方面还处于国际领先水平。

2.1.4 大数据优秀企业市场竞争力日益增强

我国大数据产业链进一步完善，企业技术水平不断提升。在数据采集、存储、分析、安全与可视化等领域均成长起一批优秀企业，例如阿里巴巴、化为、浪潮、腾讯、中兴通讯等现代企业。由于在技术研发和市场开发均取得成功，在国际市场都有很强的竞争力，成为国内企业发展大数据技术的榜样。2.2 大数据技术发展潜在困惑

2.2.1 缺少支持大数据发展含金量高的政策

因为大数据技术研发和运用不仅需要产业资本的支持，也需要政策资金的引导。例如大数据处理中心建设、大数据核心技术研发、综合信息平台的建立，都需要聚焦产业和社会资本的鼎力支持。而目前，业内大数据企业普遍存在资本短缺、社会融资能力不强的问题，国家政策在这方面相对较为薄弱，资金短缺成为相关企业发展的瓶颈。

2.2.2 很多大数据尚未找到业务应用的突破口

发展大数据技术是要作为技术工具或方法要应用到具体领域和业务中去，支撑产业发展、服务社会民众。大数据技术研发和应用是一个长期复杂过程，稍有不当或误差都会影响成败，不是说做几个SAAS软件或RAAS软件就是大数据了，还需要组织专门的技术人才、配备专业的研发设施，进行科学、有针对性的研发，才能找准突破口，支持有关业务做大做强。

2.2.3 很多数据有待开发、或开发无序

我国普遍未形成成型的数据采集、加工、分析和应用链条，拥有大数据也未必可实现其价值。比如，医疗健康行业收集了大量数据，并没有找到合适的应用和实现价值的方法或渠道。我国的政府、公共服务、农业应用基本缺位，有些行业内数据缺少外部的补充。很多机构或企业期望用大量零碎数据去交易，能有多大价值也很难考量。其实很多数据本身存在错误、噪音等问题。

2.2.4 产业和民生大数据共享、开放度低

从大数据本身而言，有些不可共享、开放的。但是涉及到产业发展、特别是服务民生的应提倡共享、开放。因为数据壁垒会极大降低大数据资源配置效率。其重要原因是受制于前期基础设施建设和研发资金投入，这也是业界常说的“数据孤岛”问题，不仅数据价值难以发挥，甚至出现“数据劣币驱逐良币”现象。如果数据不能共享、开放，何谈整合、服务产

<<下转185页

Data Base Technique 数据库技术

•

数据中心发展研究

文/谢荣平 罗伟威

个中心支持多个应用系统，资源独立管理。第

摘 要本文简要回顾了数据中心发展历史，对数据中心发展现状进行总结，提出了以软件定义数据中心为特征的新一代数据中心的基本架构设想，并对架构各层进行了简要描述。二代数据中心通过虚拟化技术实现计算、存储等资源的复用、共享，缓解了第一代数据中心资源独占问题，但在数据中心内部，不同硬件资源（计算/存储/网络）管理、维护分离，建设耗时长，维护技术高。如图2所示。

第三代数据中心是云数据中心，实现了单中心内的资源统一管理与资源共享。第三代数

【关键词】数据中心 软件定义 分布式

据中心基于虚拟化技术，将计算、网络、存储等基础设施深度融合，简化基础设施的建设和维护，但多中心间资源无法共享。如图3所示。

间各自为政成是第四代数据中心需要解决的问题。

第四代数据中心需能够实现多数据中心之间物理分散、逻辑统一，使各数据中心之间的资源统一管理和调度，以达到整体效率的最优化，能够整合布于全球的数据中心，使其像一台大型的服务器一样对外提供服务。去地域化、自动化、数据中心可定义是第四代数据中心的主要特征。

在现阶段，包括VMware、HP、华为等公司均推出了其分布式数据中心解决方案，包括基于网络技术的进步实现数据中心的分布式建设、基于云计算技术的进步实现中心间的计算/网络/存储资源的灵活应用以及基于集中化管理技术的进步实现了跨中心的业务备份、冗余和控制。各公司解决方案主要是基于前期产品的发展和补充，大部分是局限于基础设施层，实现了第四代数据中心的区地域化和部分自动化能力，而在数据中心可定义能力上面仍

1 数据中心发展历史

第一代数据中心是传统的离散数据中心，采用以系统为中心的“烟囱式”结构，物理资源和应用强耦合、资源无共享，一个应用系统对应一套设备，服务器、网络和存储等所有资源与单个系统静态捆绑在一起，形成“系统孤岛”，系统部署与管理异常复杂。如图1所示。

第二代数据中心是虚拟化数据中心，一

2 数据中心发展现状

当前，数据中心发展到了第四代，即分布式云数据中心。第三代云数据中心重点是解决单中心内部的管理与资源共享问题，随着用户需求的发展，各类企业、政府存在着建立跨地域的分支机构的需求，因此各区域、各区域的数据中心应运而生，如何避免各数据中心之

<<上接184页

业和社会。

设施、基础技术、战略技术，并且为鼓励企业和社会各界投资于大数据的核心领域和重点技术给予政策引导和资金支持。比如对于符合国家支持大数据政策的项目，社会共享的信息系统或者信息平台的投资者，国家有关管理部门可采取资金补贴，降税减费的方法以于支持。以资鼓励龙头企业提升大数据核心竞争力，夯实大数据发展的基础，引导中小企业内筹外引投资，让大数据企业走内外兼修的发展道路，加快大数据国际化发展步伐。3.3 改进、完善大数据政策支持体系

改进和完善国家支持大数据技术发展的政策，切实增强其政策体系含金量，加大政策与技术共振力度，着力深化大数据行业应用。当前大数据行业中的应用主要表现在数据处理、用户画像以及企业管理效率优化等方面，下一步应重点推动大数据在更深层次与实体经济的融合，协同改进大数据、云计算、物联网相关产业，形成联动发展机制，鼓励大数据企业不断提升大数据平台和应用的可适性和便捷性，优先支持面向各应用行业的产品，服务和解决方案的开发，简化大数据底层繁琐复杂的技术，推动大数据行业联动。达到顶层规划与具体支持措施并举。

3.4 丰富大数据信息资源、提高社会共享开放度

运用大数据解决的问题通常涉及多部门、多领域、多个体、多视角，单一的行业、单纯

的数据量积累很难全面让人们认识事物的整体全貌，掌握其运行规律。只有将不同侧面、不同局部的数据汇聚起来并加以关联，才能产生对事物的整体性和本质性的认识。科学汇聚数据方可挖掘价值，数据关联使数据实现价值。因此，必须推动数据共享、开放。政府、企业是大数据的主要拥有者。要推动大数据转化为发展动能，就要保障数据供给和合理合法的共享应用，服务我国产业和社会民众。

3 政策、技术协同引领发展方略

从大数据发展战略出发，国家科学技术的发展潜力与它拥有数据规模、信息体系、运用效率、以及掌控数据的能力密不可分。所以，加大国家政策、技术的协同引领大数据的发展刻不容缓。

3.1 由政府聚集社会力量攻克大数据核心技术各级政府组织作为国家科技发展的主导力量，应设法运用政策和制度来推进科研、高校、行协、企业、用户协同配合，联合攻关，突破大数据发展的关键技术瓶颈。包括大数据供给层面的区块链技、数据交换技术，数据处理层面的大数据存储管理、新兴计算技术，数据分析层面的大数据基础算法、机器学习、智能技术，大数据应用层面的大数据可视化、真伪判定技术。加强大数据基础问题研究，围绕大数据理论体系、大数据计算系统与分析理论、大数据驱动的颠覆性应用等重大基础研究进行前瞻布局。以加强技术的综合应用，推动互联网、大数据、人工智能同实体经济深度融合。 3.2 强化政府投资导向、扩大企业内筹外引资金的力度

大数据发展战略关乎我国在世界的影响力和竞争力，必须强化政府的强大力量，让政府政策投资引导企业、社会投资于大数据基础

参考文献

[1]孟小峰,慈祥.大数据管理：概念、

技术与挑战[J].计算机研究与发展,2013(01):146-169.

[2]谢中起,卞航.基于大数据技术的环境决

策信息支持系统创新与发展[J].湖北函授大学学报,2016(01):56-57.

[3]李伟,江明夏.大数据时代下的计算机信

息处理技术[J].信息通信,2014(08):129-129.

[4]雷庭：我国大数据产业发展的影响因素研

究[D].北京交通大学硕士论文,2017.

作者简介

黄靖（1991-），大学本科学历。大数据架构师。研究方向为大数据架构和开发技术。

作者单位

上海柯林布瑞信息技术有限公司 上海市 200233

Electronic Technology & Software Engineering 电子技术与软件工程• 185