APPLICATION应用 69 面向智慧城市的大数据开放 共享平台及产业生态建设 孙傲冰1l2。季统凯 ~ 1.中国科学院云计算产业技7 U新与育成中心,广东东莞523808; 2.国云科技股份有限公司,广东东莞523808 蓍; ∞眦 摘要 从政务数据资产的属性入手,按照“一云、一引擎、四大主题库、一个应用门户、三类典型应用”的思路, 搭建智慧城市大数据开放共享平台:基于云基础设施环境,实现大数据统一管理引擎,建设城市公开信 阳 息等4类大数据主题库;建立安全访问控制模型,通过大数据统一访问接口,将加工后的数据供给授权的 第三方应用开发商调用。基于庞大用户群,建设一个应用发布、数据定制及评价的统一门户,打造需求、 数据、资金合理流向的产业生态。 关键词 大数据;智慧城市;数据资产;开放共享平台;产业生态 中图分类号:TP301 文献标识码:A doi:10.1 1959/j.issn.2096—0271.2016043 g;∞ ∞ ∞ ecology construction for smart ci Abstract According to the framework of one cloud.one engine.four theme library,one portal,three typical applications from the point of data asset,one big data open sharing platform based the cloud infrastructure was built,and one unified management engine of big data was realized.Four big data heme ltibraries as government information,public information and etc were created.The big data security access control model was also described.Through the unified cross—language platform interface,the big data could be accessed by the third party application developers.One portal for smart ciy tfor data or applications customization and evaluation for data providers,application developers and users was created,and one ndustriial ecology of big data demand,application development and capital providing was aimed to create. Keywords big data|smart city,data assetf open platform。industrial ecology 2016043.1 70 l BIG DATA RESEARCH大数据 1引言 据不完全统计,我国已有95%的副省 级以上城市、76%的地级以上城市,总计 230多个城市提出或在建智慧城市,计划 投资规模近万亿元。总体来看,我国各地 的智慧城市建设尚处在起步阶段,部分城 市提出了总体的建设规划和思路,但仍以 专项项目建设为主,单个项目的作用尚不明 显,缺乏统一的模式可以参考或借鉴…。 自2011年大数据成为产业的热点以 来,美国、日本、英国等信息技术强国都 在推动智慧城市建设与大数据技术的结 合,以面向市民提供更加精准、实时、个性 化的社会服务『2I 3】。2014年3月,美国 整合6个部门投资2亿美元启动“大数据 研究和发展计划”,推动大数据应用与社 会服务的紧密结合。2013年6月,日本公布 了“创建最尖端IT国家宣言”,提出开放 公共的及社会服务数据,以大数据技 术为核心把日本建设成为一个具有“世界 最高水准的广泛运用信息产业技术的社 会”。2015年6月,英国宣布将在信息 化基础设施方面投入巨资,加强围绕社会 服务数据采集和分析,同时吸引企业在这 一领域的投资,从而期望在数据中占 得先机。 我国各级地方也积极探索利用 大数据技术,促进的数据流通,推动 智慧城市的实现[4]。如上海市开展数 据资源向社会开放工作,在2015年已确定 190项数据内容作为2014年重点开放领域。 从市场角度来看,企业是嗅觉最灵敏、最 能挖掘用户需求并提供最佳服务的主体。 2013年,铁道部与太极集团签署协议,由 太极集团负责其12306网站的开发、建设 及运维,通过数据的开放共享,解决了春 运购票难、实名制等许多曾经被认为“不 可能解决的问题”。2O12年开始,国家民 航信息中心也开发其数据运营接口,从而 在此基础上产业了众多面向航空服务的移 动端App软件,如“航旅纵航”为旅客提供 航班的最新信息,“飞常准”则基于大数据 分析为旅客提供航班起飞时间的预测等。 对于而言,数据在各种智慧城市系统 中“睡眠”是毫无价值的,只有让数据流动 起来,在监管的前提下让市场决定其 去向,才能充分发挥其价值,从而为群众 提供更加优质的服务 。2014年以来我国 密集制定了《关于促进智慧城市健康发展 的指导意见》《“互联网+”行动计划》《运 用大数据加强对市场主体服务和监管的若 干意见》《促进大数据发展行动纲要》,推 进数据开放共享,推动智慧城市的建设。 2现状及分析 2.1建设的主要矛盾 各种智慧城市管理系统中的数据如果 只在单一的系统内流动,那么其价值只发 挥了不到10%。智慧城市数据只有突破单 一系统的界限,从在一个系统内流动到被 尽可能多的系统共享,才能实现价值的最 大化[5]。如图1所示,我国各级部门仍 存在一些“意识壁垒”,困扰了现有的智慧 城市系统及现有电子政务系统间的数据共 享,同时也为智慧城市的建设产生了阻碍, 主要问题如] (1)数据所有权问题 一些部门认为智慧城市业务系统 是哪个部门管理的,系统中的数据就是哪 个部门的,把数据共享出去将会造成其利 益的损失。这些部门需要调整意识,即其 系统中的数据是属于国家的,该部门只是 APPLICATION应用 图1我国智慧城市建设中的“数据壁垒” 代行国家职能,进行数据采集和箭理 如 何共享和使用数据需要由上级主管部 门进行统一的部署14,6】。 不高,无法有效共享,_T作效率低下l4 l1 。 (2)数据安全责任问题 因为智慧城市安全的责任归其管理部 门,一些部门认为只有不共享才能保证不泄 密。随着当前信息技术的进步,数据存安全 2.2主要问题分析 智慧城市的建}殳需要、企业与个 人数据的充分联动,需要统一的规划、管 理干¨运维,必须避l篼陷入传统的信息系统 建设模式。 (1)避免建成新的“数据孤岛” 授信条件下,实现共享的技术已经成热,只 有数据共享才能为用户提供更多便利的服 务,智慧城市数据共享也是大势所趋。 新建成的智慧城市工程或系统能够 扩展数据采集的手段,增强数据存储和 处理能力。但采集的数据如果只被单一系 统利用,系统间仍桐互隔离,将无法解决 数据广泛共享的瓶颈问题。会建设出新的 “数据孤岛”。 (2)避免与现有系统和“历史数据”的 切割 (3)数据价值认知问题 一些部门认为其管理的系统中的数据 只对其业务有价值,没有认识到其数据有 为其他部门或企业和市民提供服务的 价值。 (4)数据精确性认知的问题 一些智慧城市的信息系统缺乏统一 管理的流程和规范,导致采集到的数据质 量不高,不同的时间、地点或操作人员采 集的数据质量不一致,导致数据间相互矛 盾,存在较多的“数据冲突”。 (5)数据采集意识局限性的问题 一新建成的智慧城市系统必须能够从 旧有的政务管理系统中获取数据,避免数 据的重复采集,给企业或个人带来不便。 现有政务系统是智慧城市工程的基础,忽 略了这个基础则会使新系统成为“无水之 源”,增加众多重复的工作,且无法保证不 同系统间的数据一致性。 些与智慧城市业务相关的信息系统 沿用了多年,采集、汇总和分析手段未能随 信息技术的发展共同进步,如还在使用老 的单机数据库系统,导致数据采集的效率 (3)避免传统的项目运维模式 如果新建系统又划归现有各委、办、 72 l BIG DATA RESEARCH大数据 局或职能部门管理,受旧有的管理机制和 据资产具有价值属性,其价值需要在数据 的应用和流通中体现。数据资产按其归属 可以分为个人数据资产、企业数据资产、政 府数据资产。 个人数据资产是个人数据的总和,包 意识的约束,系统所能应用的范围和服务 的对象范围将大幅缩小。因此智慧城市工 程,应能够“统一规划、统一管理、统一运 维、统一共享”,确保智慧城市工程的顺利 落地。 (4)数据应具备开放应用模式 智慧城市的系统必须具备可扩展性, 能够与现有信息系统间进行数据交 换,避免功能的重复建设和开发,并为未 来的应用扩展留下充足的接口。 (5)数据建设必须具备统一的标准和 规范 智慧城市建设应充分参考现有的电子 政务、行业数据的交换标准,充分考虑现有 的技术手段和未来的发展需要,设计统一 的数据模型,建设统一的数据标准和规范, 在确保数据安全的前提下,建立统一的智 慧城市大数据库,实现数据的充分共享。 智慧城市中,“智慧”是目标,“服务” 是关键,“数据”是核心。现有智慧城市总 体规划,如果以专项项目建设为主,虽扩 展了数据采集的手段,增强了数据存储和 处理能力,但采集的数据仍只在单一系统 中流动,系统间仍相互隔离,没有有效解决 “数据孤岛”的瓶颈『6]。因此智慧城市建设 的核心仍然是促进数据流通、汇聚和集成 利用。 3建设框架 3.1建设依据 数据资产指企业、自然人、国家拥有 或者控制的能以价值或有用性来计量或判 断的数据资源的总和,包括各种数据库系 统、文件系统和应用系统等管理的所有数 据【7]。数据资产与实物资产具有相似性。数 括个人在公共平台、私有信息系统中的数 据及其个人文件等。企业数据资产指企业 拥有数据的总和,包括运营的服务平台、 企业信息系统、数据库系统、文件系统等 管理的数据。数据资产指部门拥 有数据的总和,包括其代行国家管理职能 采集的各种公共数据、企业数据、市民数 据以及其自有的业务数据等。 现有电子政务系统、规划中的智慧城 市工程以及未来建设的政务系统皆是国有 的数据资产隅,9I。的数据资产与的 土地资产有相似性,都为国家所有,地方 可以行使管理权,但可以由委托 开发商(企业)进行开发。 3.2建设思路 针对智慧城市数据资产统一开发及应 用的需求,建设广义概念上的智慧城市数 据统一开放和运营平台,目标是围绕智慧 城市数据资产形成3个主要的社区,打造智 慧城市的用户、服务、技术有机交融的产 业生态系统『1。,¨】。智慧城市大数据开放共 享平台的产业生态建设如图2所示。 ・数据供应社区:基于智慧城市数据 资产的统一采集和整理,并可以购买第三 方的数据资产,经过数据的统一采集、清 洗、存储和索引,形成智慧城市大数据开 放共享平台自有的“统一数据资产”,并通 过各种业务系统不断扩充,形成智慧城市 大数据供应社区。 ・资金供应社区:围绕智慧城市建设 的要求,面向硬件建设、应用开发、数据提 供等需求,聚集资金提供机构,形成长期 APPLICATION应用j 73 应用开发社区 }鳓静 擎威浪 ll政J; 酾lll 懿 黟努盛 _ 。 :矗} 女 ∞一u …■ 。 市氏艉触雕毫 l | 智慧城市大数据开放共享平台 统一应用按日 资 统一规划ll统_髑¨统一运维 统一授权 统一共享 金 供 应 区 ——统一数据资产 社 j L—一厂__. j —一r —j L—一广_——j L— 一 数据供应社区 l掰 费 l{ i以爨糖|舞 臣务_I ll以巍 餮渔I l 以数 器 蛾目 I l 政务数据资产 I l 智慧城市数据资产 I l 第三方数据资产 I 图2智慧城市大数据开放共享平台的产业生态建设 的、稳定的资本社区,支持符项目建设。 ・应用开发社区:基于智慧城市大数 据开放共享平台,聚集互联网应用、移动 应用、大数据应用的开发企业,以数据服 地的开发权给下属的同有资产僻理企业, 由其完成基础建设,然后引入企业做进一 步的开发。智慧城市大数 开放共享平台 的建设与现行的国有实物资产开发机制一 致,与现有围有资产运营管理的惯例和法 规并无抵触 。 务为导向,提供更多优质、创新、便捷的应 用。智慧城市大数据开放共享平台只需要 关注其统一数据运营平台建设,将应用开 发交由第j方应用开发商。第三方开发商 在开发应用时,也会对智慧城市数据的扩 展提 新的要求,从而推动现有智慧城市 业务系统的进一步完善。通过用户和市场 决定如何使用钾慧城市数据以及如何构建 系统,最终有用户、有市场的应用自然会持 续发展,而没有用户的应用则自然被市场 4总体方案 4.1平台建设框架 如图3所示,本文就实际的智慧城市大 数据开放共享平台建设提f{』一个具体的解 淘汰,实现市场机制的优胜劣汰。 帮慧城市大数据开放共享平台,原 生就具有众多的、企业和个人用户, 决方案.按照“一云、一引擎、四大库、一 门户、j大典型应用”的思路.构建基于自 主云计算技术的火数据服务甲台…,主要 包括以下内容。 ・一云: 于自主可控的云操作系统 并积淀了海罱的数据信息,对于互联网 企业具有巨大的吸引力。智慧城市围绕 数据资产开放,将形成其“数据运营” 搭建政务服务内网云、云、灾备云,建 设基于云计算技术的智慧城市大数据开放 共享支撑环境。 ・一引擎:基于用户上下文的授信模 201 6043.5 的自我造』fl【及扩展能力,从而打造 智 慧城市_I:程滚动循环发展、相互支撑的 产业生态系统I 】。当前,可以让渡土 74 }BIG DATA RESEARCH大数据 图3智慧城市大数据开放共享平台建设框架 型、大数据资源统一注册框架、大数据统 一访问接口、大数据统一管理框架、大数 据统一业务框架等技术,建设大数据统一 4。2主要建设内容 基于智慧城市云基础设施环境,实现 智慧城市大数据统一管理引擎,建设智 慧城市公开信息、政企信息、地理信息、 行业信息四类大数据主题库;建立智慧 城市大数据安全访问授信模型,按授权 完成面向不同场景和主体的数据抽取、清 洗、统一存储,完成数据脱密、授信及受 控访问等安全流程建设;通过大数据统 一驱动及管理引擎,为上层应用提供大数据 支撑服务。 ・四大主题库:基于大数据引擎采集 的数据,构建公开信息大数据库、市政 地理信息大数据库、政企业务信息大数据 库以及行业领域大数据库四大主题库¨51; ・一门户:建设一个经过授权及验证 的服务可信应用门户,发布经审核授权 的开发商提供的服务应用,包括移动端 和Web端;为服务对象提供安全的应用 下载机制,提供用户对应用的评价机制。通 过市场机制促进应用的优胜劣汰。 ・三大应用:通过应用门户,提供围 访问接口,将加工后的数据供、企 业、个人或第三方应用开发商进行调用; 基于城市用户的庞大用户群,开发面向城 市信息公开、业务、公共服务三类典 型应用,建设一个智慧城市大数据应用发 绕智慧城市的城市信息公开及定制、城市 业务服务、城市公共服务三大类典型应用 示范[161。 布、数据定制及评价的统一门户,形成数 据提供者、应用开发者及用户相互促进的 智慧城市大数据共建共享的平台,打造需 APPLICATION应用l 75 求、数据、资金合理流向的产业生态ll7I。 (2)虚拟环境动态配置管理 智慧城市大数据开放共享平台主要建设 内容如图4所示。 利用云计算平台的虚拟机功能,遵循 云计算资源按需弹性获取策略,参考虚拟 机模板镜像文件一产生OS实例的技术方 4.2.1智慧城市大数据开放共享平台支撑 环境建设 (1)面向大规模服务器节点的云计算 资源管理 法,根据智慧城市大数据应用需要,动态 建立针对用户的虚拟机应用环境,动态部 署应用所需的数据、软件和计算机环境, 提供基础设施服务,使用户无需购买和安 装数据、软件和计算机设备,即可随时随 地使用平台资源完成业务应用。 (3)可信云应用安全保护技术 提出并实现了一套基于云计算平台的 智慧城市应用信息安全保障机制及实现 针对智慧城市大数据应用的特点,实 现单管理域万级服务器进行动态资源供 应、QoS保证、性能故障定位、过载保护和 功耗管理机制;支持大规模在线用户访问 情况下的任务调度、资源调度、负载平衡 和故障恢复;实现自动错误检测和错误隔 离,保证系统的不问断服务和高水平服务 质量;实现云环境下高效的大规模系统部 署和数据迁移、备份及恢复 1。 架构,利用Keystone技术实现了平台各组 件、虚拟机、第三方设备的统一身份认证 与授权;利用Iptables、Etables等Linux网 络过滤技术以及与第三方IDS/IPS、防火 图4智慧城市大数据开放共享平台主要建设内容 76 l BIG DATA RESEARCH大数据 墙实现硬件绑定,实现网内、网外的安全防 护与访问隔离;通过统一的监控框架采集 各虚拟资源运行时信息,并通过后台审计模 块,对平台进行日志审计及合规性报告[191。 4.2.2大数据统一驱动及管理引擎 (1)海量多源异构数据源的封装注册 与统一管理 基于大数据处理机制,研究创新型异 构数据库统一共享支撑处理访问方法, 研究使用三层数据控制架构和面向流程 及基于成分的功能组件对不同数据源及 集成应用开发进行模块控制管理,研究分 布数据源的自主接入,研究基于REST的 封装器(wrapper)封装,对0rac1e、SQL Servet、MySQL、DB2 SyBase、Key— Value文件系统HDFS、Bigtable、HBase 等统一接入。研究在OS基础上,进行数据 管理层级颗粒化划分,在分布式环境下, 根据用户需求产生不同的数据库实例,并 实现数据库实例在OS之间的迁徙,实现数 据管理与个人信息资产双向监督与隔离。 研发支持关系数据和大数据文件操作,实 现大数据环境下异构数据源的资源迁移、 数据加载、传输表空间、数据文件导出、数 据备份、数据恢复,同时支持云计算与大 数据平台服务器监控、异常参数告警,简化 大数据存储及安全管理的复杂性【6_。 (2)弹性大数据分布式存储与大规模 计算聚集框架 研究基于行业应用弹性需求的大数据 分布式存储与大规模计算聚集框架,聚集 框架提供了对存储驱动集合LocalDis K 驱动、NAS驱动、IP—SAN驱动、FC—SAN 驱动、分布式存储驱动集合中的原始数据 记录进行大规模数据分析计算的能力。通 过使用聚集框架,用户能够直接从集合中 提取数据记录并获取所需的分析结果。 聚集框架提供对外统一的操作接口,不同 的是,聚集框架还提供了一系列函数及操 作对查询结果进行处理。研究基于虚拟机 和底层LocalDis K驱动、NAS驱动、IP- SAN驱动、FC—sAN驱动、分布式存储挂 载到虚拟机上的存储,构建统一框架的分 布式存储与计算集群,将采用计算与存储 一体化架构,即虚拟机将承担存储节点的 角色,也要承担计算节点的角色。这样分布 式的计算将产生在分布式的存储之上,提 升大规模计算的执行效率。 (3)虚拟环境下应用与云中间件的数 据交互可靠性保证 实现Web应用和大数据访问中间件之 间的松散耦合机制,也就是说当云平台中 资源监控失效后,不影响虚拟机中应用的 继续运行,当终端通过浏览器发起web访 问请求后,云平台中的ApacheJ] ̄.务器获取 客户访问,并根据负载均衡原则将请求分 发给云平台中虚拟机的应用服务器。实现 应用服务器中监控插件的自检功能,当应 用压力小于配置的压力时,通知云平台“资 源中控”回收资源。“资源中控”根据配置 会保证虚拟机的最小运行数量。 (4)存储驱动集合细粒度分区与重映射 实现智慧城市租户/用户可以通过将 一个大数据集合中的数据切分到多个复制 组中,以达到快速并行计算的水平分区切 分方法,针对行业租户/用户与流行大数据 工具结合时存在的问题,研究关系型数据 与非关系型数据之间的统一处理方法;将 一个集合全局关系的属性分成若干子集, 并在这些子集上做投影运算,将这些子集 映射到另外的集合上,从而实现集合关系 的垂直切分;水平分区在子集合之间可以 通过垂直切分操作进行重映射。基于存储 驱动集合细粒度分区与重映射方法,对上 层应用可构建面向时空大数据分布式存 储、冗余备份与透明迁移、分布式并行索 引查询、元数据采集、多元数据统一管理 APPLICATION应用1 77 等中间件工具【2们。 4.2.3智慧城市大数据库建设 (1)城市信息公开大数据库 智慧城市大数据库建立在云计算平台 的基础上,以网络信息处理、数据挖掘、 复杂系统建模方法、决策科学等为技术手 段,研究大规模网络信息监测与舆情分析 关键技术及服务平台、规模的网络信息的 智能监测、信息过滤与分类、信息检索、情 报挖掘、舆情与社会态势分析、虚拟网络 实体建模与分析、网络突发事件预测与预 警等难点问题,为部门、企业组织提 供网络信息的全面监测、实时感知、态势 分析、预测预警、管控决策和内容安全方面 的服务和应用[9]。 (2)智慧城市业务系统大数据库 针对智慧城市业务系统可公开信息, 综合资源库、业务系统生产库、文件服务 器,研究基于大数据的ETL采集工具、实 时数据RDs同步系统以及异步文件采集 系统。研究建立触发器机制的数据库通过 ETL进行采集,每个来源对应一个采集任 务,通过多任务并发采集提高采集效率。 确保数据采集过程对源数据库无干扰, 解决以往大数据采集难题。针对不同类型 的公开数据资源,建立信息汇集、整 理、管理标准规范和共享机制,使用数据 源(节点)整合及数据汇交相关技术,构建 和部署公共安全数据集成管理平台。针对 海量公共安全数据和产品的多源性和异构 性,面向其数据汇交、数据整合、数据整 理、质量控制等技术需求,为海量多源数 据的共性处理、多源异质信息的综合集成 与显示提供多源数据协同处理技术和批量 化快速处理能力。 (3)空间地理信息大数据库 针对城市地理信息大数据存储技术, 特别是基于遥感数据大文件存储进行优 化,支持智慧城市专向平台建设。在充分 考虑时空大数据的特点以及不改变原有分 布式存储系统的高可用、可扩展、高并发、 安全性等优势的前提下,结合剖分技术原 理,针对时空大数据应用做出改进、优化。 实现遥感海量小文件的合并、分割、存储, 实现遥感海量小文件和大文件统一的分布 式存储。实现多源异构地理信息大数据融 合技术,实现通过空间配准和内容复合, 生成一幅比单一信息源更准确、更完全、 更可靠的新图像技术。研究遥感大数据 挖掘与分析技术,利用高性能、高可扩展 性、高可用性的云计算技术,通过分布式 存储和并行计算模型,实现时空大数据的 高速处理和遥感信息产品的批量生产,从 而解决遥感数据处理需要耗费大量计算 资源的问题。 (4)城市行业领域专项大数据库 行业领域专项大数据主要通过汇集 相关行业数据对外提供市民服务。主要从 宏观经济、环保、交通、食品药品安全等领 域,对数据进行汇集。针对目前存在的数 据库类型和版本较多、理解难度大、存在 单点故障、难以保证系统的高可靠性等问 题,实现大数据系统统一管理技术,提供 数据库迁移、数据加载、传输表空间、数据 文件导出、数据备份、数据恢复服务,同时 支持服务器监控、异常参数告警。在行业 数据汇集上,根据网点的分散性、存储的 可扩展性、业务逻辑的复杂性与需求,实 现异构平台资源和数据的接入与采集,实 现新的存储机制,让数据可以以冗余方式 部署在多个存储节点上,通过存储节点分 布性提高系统的读写速度【l7]。 4.2.41.三大典型应用方向 (1)信息公开及定制服务应用 ①城市信息公开服务 实现城市信息公开目录及细粒度匹配 78 f BIG DATA RESEARCH大数据 模型,实现智慧城市服务对象(市民、机 构、企业)的信息取向模型,实现高效的 信息源及受众的匹配算法。改变当前城市 部门信息公开的单向“灌输”模式, 基于本项目实现用户能够参与的公开信息 查询、跟踪与平台可以主动推送相结合的 信息公开的全新服务模式。根据国家 信息公开要求,重点围绕行政审批信 息公开,建设信息公开模型及关键字提取 模型;推进财政预算决算和“三公”经费公 开、保障性住房信息公开;推进食品药品安 全信息、环境保护信息公开;推进空气质 量、水质环境、建设项目环评等信息的公 开;实现安全生产信息、价格和收费信息、 征地拆迁信息、公共企事业单位信息的可 查询、可跟踪【l2】。 ②城市热点信息跟踪 基于实时采集的互联网大数据库,挖 掘本市热点信息,建立官方的热点信息发 布渠道;提高管理部门对舆情信息整体管 控、综合分析、研判处置的能力,并为有关 部门制定发展规划及运营决策提供全面、 准确、科学的数据支撑。主要建设内容包 括:构建基于互联息的舆情信息采集 和解析子系统,获得本市相关热点新闻和 舆情信息,对其中的关键信息进行自动化 抽取和清洗后,存入互联息数据库;构 建基于并行计算的分布式处理架构,实现 对多通道数据的融聚和对舆情大数据的快 速分析与计算;构建互联息自动分类 平台,实现市民对公共安全问题的投诉、 建议、曝光、分享的自动分类,能够与第三 方平台对接,支持不同平台间的数据导入、 导出;构建舆情信息预警平台,通过不同数 据来源的协同计算,根据用户自定义的条 件,实现对热点词汇相关信息的预警和可 视化展示fl6】。 ③市民信息定制化服务 基于平台整合的公开信息、互联 息、行业信息等,实现面向市民的数据 定制技术;实现数据资源、用户行为等海 量数据的采集与整合,建立支持不同领域 语义的时空海量大数据仓库;研究基 于领域语义和知识模式的信息索引技术, 集成用户兴趣评估、导向、集点预测的 知识分析方法及其软件,实现大数据平台 下的个体及群体资料、行为数据、兴趣爱好 分析预测及信息精准推送应用系统[18】。 (2)智慧城市业务服务 ①企业信息服务 建设度面向行业、产业、企业、经 营的大数据主题库,通过互联网爬虫、行 业数据库API、标准数据适配器等,实现行 业数据的实时采集和动态更新;通过与云 计算技术结合,实现数据采集服务器端的 弹性可伸缩。建设以企业经营状况、财务状 况、产品成果、同类企业比较确值等为基 础的企业健康度评估模型,实时对科技企 业发展的健康度的估值;建设影响评 估服务平台,以税收、补贴、上市等支持为 导向,提供企业走势分析等服务,帮助企业 有针对性对进行了解和判断。最终成 为面向不同行业、企业、平台的综合性、个 性化公共服务应用。 ②企业征信服务 建设企业征信平台,基于企业完税、合 同执行、资产负债等要素,建立企业征信评 估模型,支持企业估值和融资评估;以可定 制的数据服务向导为基础,建立企业白定义 的风险预警机制,实现定制化的市场动态、 行业动态、突发事件的动态预警,支持企业 快速应对市场和变化[14l。 ③个人/企业I机构业务跟踪 基于城市各委、办、局面向企业和个 人提供的互联网在线服务,建设与个 人、与企业、与机构的服务匹配 模型,拆解各项目服务的服务步骤,形成政 府业务服务的分步骤在线跟踪标记,如个 APPLICATION应用I 79 人对人力资源局、科技局、税务局等的服 务关系模型;平台能够通过受控访问模式 获取服务的状态信息,通过推送给用户应 用终端,实现用户对于业务的全局掌 控。加强与个人的互动及信息互通,改 变智慧城市服务以自身组织架构为中心的 模式。 ④电子证照服务 基于各委、办、局主管的业务系统,向 个人/企业/机构提供电子证照查询及验证 服务,通过移动或Web应用客户端供用户 打印或直接用作身份证明。改变纸质证照 易丢失、资源浪费的现状。对于用户未经 授权的证照使用提供报警,从源头上控制 照的危害。 (3)城市公共服务 ①公共场所安全预警服务 基于空间地理信息的公共场所安全 监测关键技术,接入市政安全、交通等监 控系统数据,整合成公共场所安全监测保 护等的图像资源和监测数据源,实现公共 场所安全信息的共建共享、统一管理和服 务。研究公共场所人流、车流安全峰值预 判、辨别以及火警报警的快捷监测技术, 采用GIS系统和三维图方法标注拥挤点、 火点位置,根据信息数据资源做出打火方 案及灾后评估。以公共场所安全各级监测 过程中产生的资源动态变化数据为基础, 包括历史数据、过程数据、临界数据等,实 现公共场所安全数据的及时更新、数据获 取和统计分析,提高公共安全数据的时效 性和可靠性。采用GIS空间信息管理和遥 感技术对城市的热点公共场所信息进行管 理,适时采集和上报变化数据[1j。 ②环保监测信息服务 利用大数据平台采集及存储的大量环 保监测系统分析数据,将环保监测点的地 理位置与空间地理数据相结合,实现在地 图上直观地观测全市各监测位置的环境信 息。发生自然灾害时,利用空间地理数据, 对全市进行指挥调度,将自然灾害带来的 损失减少到最低限度。利用大数据平台存 储的实时及历史环境数据,提供实时、历 史环境信息查询及相关的数据服务。通过 对环境要素的大数据挖掘,使用大数据挖 掘工具分析近年来环境变化情况及趋势, 对未来环境安全进行预判,对环境发展态 势进行评估【3l。 ③城市规划及备案信息服务 基于城市规划建设相关部门的业务数 据,建设市政规划及建设备案信息服务应 用。当前,各种互联网GIS平台中的路名和 建筑名采用的是用户自定义或一般约定的 名称,缺乏规范的统一及官方的认定,容易 对用户造成误导。此外,为避免一些违章建 筑或无证楼盘的交易,亟需提供官方认可 的市政道路名称信息、建筑备案信息等; 建立支持影像服务的城市规划及建设数 据整合模型、土地利用监管技术方法和应 用系统,通过深入挖掘高分辨率影像数据 信息内容,实现影像数据与市政规划业务 数据的有效整合、优化信息查询的流程和 管理模式,实现变更后城市规划业务信息 的共享与对外发布,支持用户对信息的定 制和跟踪。 ④公共交通信息服务 基于、交通等管理部门的路段、卡 口数据建设实时公共交通信息大数据库, 面向交通信息服务的特殊性,实现实时交 通数据的智慧化分析算法,包含快速路段 匹配算法、快速路况分析统计算法、路网 拓扑中自动生成检测路段的相应算法等; 实现交通云平台接口实施技术,不同层次 的接口形式,实现拥堵路段预测、预报,结 合用户定制或行为数据作为触发条件,实时 通知用户避开交通拥堵路段。基于公共交 通接入信息系统,按需向用户推荐公共交 通工具,提示班次、等待时间等信息[20】。 80 I BIG DATA RESEARCH大数据 5效益分析 一个城市的全体居民都是智慧城市大 数据开放共享平台的潜在用户,因此平台 建设具有天然的产业号召力,从而催生数 据供应商、资金提供商、应用开发商共同 发展的产业生态,并形成产业聚集。 ・平台建设将进一步推进智慧城市的 共建共享。城市居民或企业不再仅仅是平 台服务的受众,而是平台建设的共同参与 者,其价值主要体现在两个层面:一是数 据提供者层面,能够为智慧城市大数据开 放共享平台提供各种类型数据;二是通过 对系统应用的使用和评判,为平台的第三 方应用开发商提供商业应用开发环境,形 成大数据应用的商业环境。 ・平台将催生围绕智慧城市大数据的 应用创新:一些第三方应用开发商不参与 大数据的直接共享,而是基于开放数据开 发企业级或用户级应用产品,在为现有数 据提供增值的基础上,深度挖掘数据的价 值,打造一个围绕平台的产业生态【6】。 ・平台将打造围绕互联网的智慧城市 服务:“互联网+”已经上升为我国面向全 民创新、万众创业的国家战略,也为未来 智慧城市建设提供了新的要求和思路。互 联网“以用户为中心”的原则,为未来“互 联网+智慧城市”勾画了蓝图,即能够以市 民、企业等服务对象为中心,建成“一站 式”的业务办理、信息查询、信息推送、服 务访问等综合型的互联网公共服务平台。 ・平台将推进城市主管部门的服务创 新:智慧城市大数据开放共享平台将进一 步发挥互联网、云计算和大数据技术在政 府服务职能转换中的作用,推动抓住 “互联网+”的机遇,形成围绕智慧城市数 据运营的公共创新创业平台,建设面向智 慧城市的专属开发社区和应用商店,逐步 实现“网上”一站式服务平台,将为城 市的转型升级提供更加有力的支撑[1】。 6结柬语 我国各级主管部门都在积极探 索围绕智慧城市的建设,如何充分发挥市 民、企业和其他机构的积极性,形成一个 良性互动的城市或城镇化发展模式[121。本 文所述的智慧城市的大数据开放平台建设 工作正在推进中,得到了和产业界的 大力支持。城市大数据的开放共享符合信 息技术及社会发展的趋势,在应用中将不 断完善并推台建设及运营机制的进一 步形成。本文描述了一个智慧城市大数据 开放共享平台的建设参考架构,重点围绕 智慧城市大数据开放共享平台建设中的难 题,从数据资产的高度出发,给出了一个具 体的解决方案。每一个具体的城市的发展 阶段不同,会有其文化和产业特色的差别, 切入点和发展道路的选择或将不同[12,151。 但最终智慧城市大数据平台要建设一个数 据创造、数据消费、数据投资的良性的产 业循环,形成数据提供者、应用开发者及用 户相互促进的依存体系,打造需求、数据、 资金合理流向的产业生态。 参考文献: [1]李德仁,姚远,邵振峰.智慧城市中的大数 据….武汉大学学报(信息科学版),2O14, 39(6):631-640. LI D R,YAO Y,SHA0 Z F.Big data i13 smart city[J].Geomatics and Information Science of Wuhan University,2014,39(6): 631-640. 【2]陈铭,王乾晨,张晓海,等.智慧城市评价指 标体系研究一一以“智慧南京”建设为例…. 城市发展研究,201l,18(5):84—89. CHEN M,WANG Q C,ZHANG X H,et a1.Study on the system of evaluation for wisdom city constructi0n一一Nanjing as the case[J].Urban Studies,201 1,18(5): 84-89. B A T T Y M, A X H A U S E N K W, GIANN0TTI F.et a1.Smart cities of the future[J】.The European Physica1 Journal Special Topics,2012,214(1):481-518. 邬贺铨.大数据时代的机遇与挑战[J】.信息安 全与通信保密,2013(3):9-10. WU H Q.0pportunities and challenges i13 the era of big data[J].Information Security and Communications Privacy,2013(3): 9-10. KITCHIN R.Big data.new epistemologies and pa radigm shift s[J】.Big Data& Society,2014,1(1):1—12. 孟小峰,慈祥.大数据管理:概念,技术与 挑战[J】.计算机研究与发展,2013,50(1): 146-169. MENG X F.CI X.Big data management: concepts,techniques and challenges[J]. Jou rnal of Computer Research and Development,2013,50(1):146—169. 徐志伟,谢毅,海沫,等.人机物三元计算中 的通用计算账户与个人信息资产代数[J】_计算 机研究与发展,2013,50(6):1135—1146. XU Z W,XIE Y,HAI M,et a1.Universal compute account and personal information asset algebra in human——cyber——physical ternary computing[J】.Journal of Computer Research and Development,2013,50(6): 1135-1146. KITCHIN R.Big data and hum an geography Opp0rtunities,challenges and risks[J].Dialogues in Human Geography, 2013,3(3):262-267. 于施洋,杨道玲,王璨璇,等.基于大数据的 智慧门户:从理念到实践….电子政务, 2013(5):65—74. YU S Y,YANG D L,WANG J X,et a1.Smart government Portal based on big data:from theory to reality[J]. E—Government,2013(5):65—74. APPLICATION应用 [1O]NEIROTTI P,DE MARC0 A,CAGLIAN0 A C.et a1.Current trends in smart city initiatives:some stylized facts[J].Cities, 2014,38(5):25—36. [1l】甄峰,秦萧.大数据在智慧城市研究与规划中 的应用[J】.国际城市规划,2014(6):44-50. ZHEN F,QIN X.The aPP¨cation of big data in sma rt CitY reSearCh and planning[J].Urban Planning Internati0na1. 2014(6):44-50. [12]王家耀,邓国臣.大数据时代的智慧城市『J]. 测绘科学,2014,39(5):3—7. WANG J Y.DENG G C.Smart city in big data era【J].Science of Surveying and Mapping,2014,39(5):3—7. 【13】石晓冬大数据时代的城乡规划与智慧城市【JI .城市规划,2014(3):48-52. SHI X D.Urban—rural planning and smart citY in big data era[J].CitY Planning Review,2014(3):48-52. [14]FAN W,BIFET A.Mining big data: cu rrent statu s,and forecast to the future[J】.ACM SIGKDD ExPlorations Newsletter,2013,14(2):1—5. [15】王珊,王会举,覃雄派,等.架构大数据: 挑战,现状与展望[J].计算机学报,2011, 34(10):1741-1752. WANG S,WANG H J,QIN X P,et a1. Architecting big data:challenges,studies and forecasts[J].Chinese Jou rnal of Computers,2011,34(10):1741—1752. [16】张永民.智慧城市总体方案【J】.中国信息界, 2011(3):12-21. ZHANG Y M.Total solution for smart city『J】. China Information Times,201l(3):12—21. [17】SUCIU G,VULPE A,HALUNGA S, et a1.Smart cities built on res-1ient cloud comPuting and secure internet of thi12gs[C1//The 19th International Conference on Control Systems and Computer Science(CSCS),May 29—31, 2013,Bucharest,Romania.New Jersey: IEEE Press.2013:513-518. [18】徐志伟,李国杰.普惠计算之十二要点【J】.集 成技术,2012,1(1):20—25. XU Z W。LI G J.A dozen essential issues 8 1 82 BIG DATA RESEARCH大数据 of computing for the masses【J】Jotl rna1 of integration Fechnobgy,2012,1(1):20 25 26(4):1—7 20】KHAN Z,AN JUM A,S()OMRO K, et a1 C1Oud b a sed b g data a na1Ytic S l9 J许庆瑞,吴志岩,陈力田智慧城市的愿景 架构….管理_]:程学报,2012,26(4):卜7 X LI Q R,WU Z Y CHEN l T Fhe vision. architeCt LlFe and reSeaFCh modelS 0f sma rt fO r sm a rt futU re ci Li0 s[C1//T h e 6th 1nteFnati0na1 ConfeFellCe on Uti1itv and Cloud Computing,December 9—1 2,2013, CitY…]ouFF1al of Industrial Engineering DreSden.GPFI"1"1any NeW JerSey:IEEE Pr0ss.20]: :38]一3R6 aod Engi rleering Manage rnent,201 2, 孙傲冰(1978一),男,博士,中国科学院云计算产业技术创新与育成中心电子政务事业部副研究员、主任,国 云科技股份有限公司技术副总裁,电子政务集成与应用国家工程实验室分中心主任,主要研究方向为云计算、 物联网、网格计算、分布式图像处理等。先后主持国云科技股份有限公司云操作系统、云终端、云存储、电子政务 云、教育云的研发T作,负责公司多个政务云、教育云、电子商务云平台等项目的建设。参与和主持国家及省部级 研究课题15项。在《软件学报》、IJGUC、IJCNS、Grid 2007、CGrid2007等国内外重要学术期刊及会议上发表 学术论文19篇,其中,SCI检索8篇,EI检索25篇。申请国家专利8项,软件著作权4项。 季统凯(1972一),男,博士,中国科学院云计算产业技术创新与育成中心研究员、主任。n2008年起,主导电 子信息领域新兴技术~一云计算在东莞的落地实施,推动电子信息技术、成果在地方的转移转化,为地区经 、济、社会发展服务。主持和参与TlO多项国家、省市级科研项目,包括国家“863”项目、中国科学院重点创新集 群建设项目、广东省中国科学院全面战略合作重大项目、广东省粤港招标、粤港招标东莞专项东莞市重大科技 、专项计划等。带领团队申请国家发明专利45项,申请国际发明专利(PCT)3项,取得计算机软件著作权25项获 ,得授权实用新型专f]20项,在国内外重要会议及期刊上发表论文30余篇。 收稿日期:2016-02-28 基金项目:国家住房和城乡建设部智慧城市科技研发项目(No.2016-K3-008);广东省科技厅基金资助项目(No2014B010118001. .No.2O15BOl013l001。No.2015B010109001) Foundation Items:The Science and Technology Development Program of Ministry of Housing(N02016一K3—008).The ,Science and Technology Department Foundation of Guangdong Province(No2014B010118001.No.2015B010131001。 .NO.2Ol5B01O1O9OO1) 2016043.14