环保大数据信息共享管理平台方案研究
2015年11月27日 15:01 作者:□闫甜 天讯瑞达通信技术有限公司□闫甜 天讯瑞达通信技术有限公司
一、 引言 随着环境信息化建设的逐步深入,各级环保部门产生的 数据量急剧增加。数据产生的范围也逐步扩大,涵盖环保科 学研究、环保行政执法、环境监测分析、环保基础设施建设、生态保护以及其它环保行政主管部门。大多数数据都以最原 始的形态存在,不利于数据信息互通和共享,造成大大小小 的信息“孤岛”。而大数据是需要新处理模式才能具有更强 的决策力,洞察发展力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术的战略意义不在于掌握庞大 的数据信息,而在于对这些含有意义的数据进行专业化处理, 并转化为具有决策功能的信息。本文研究的重点是利用物联网、云计算、大数据技术对这些数据进行有效融合,搭建环 保大数据信息共享管理平台,为环境管理提供决策支持。 二、平台的定位 针对环保系统各业务之间缺乏联系,系统内部数据管理 及信息共享困难等问题,环保大数据信息共享管理平台作为 一个科学、完整、统一的信息共享平台,打破环保行业各系统之间的信息孤岛,促进信息的互联互通,实现环保信息与 业务的共享,从而提高环境保护行业的综合决策能力和公共 服务能力。【摘要】 借助物联网、云计算、大数据相关技术构建环保大数据信息共享管理平台,并提出一套信息共享管理平台体系架构,对于集中整合环保系统数据资源、提升环保系统数据共享水平具有重要实践意义。 【关键词】 物联网 云计算 大数据 数据共享 云桌面 该平台综合应用“物联网、云计算、大数据管理”等先 进技术,为环保行业用户提供新型数据管理平台,为大数据 运营提供新的合作模式,主要实现功能如下:(1)多源、异构数据采集。通过RFID技术、传感器 等物联网底层传感技术,实时采集污染源、生态等信息;(2)海量数据处理。包括海量异构数据的融合转换、 数据云存储、数据实时分析及环保数据挖掘等; (3)云桌面安全管理。引入云桌面从根本上保障数据 存储安全,作为数据运营的基础。 三、平台设计理念 环保大数据信息共享管理平台拥有行业领先的设计理 念,围绕环保行业大数据的“感知、管理、存储、展现、应用” 等五个层面的需求,提出了针对性的整体创新技术方案。 四、平台系统架构 环保大数据信息共享管理平台架构由数据采集、数据存 储、应用展示三大系统模块构成如图 1。 (1)分布式采集系统:基于“桌面云”技术,统一各 类数据的逻辑模型,建立统一的物联网数据采集系统;(2)环境数据中心汇聚存储管理平台:通过数据格式 的转换,统一建模,构建异构信息的集中存储管理平台; 图 1 环保大数据共享平台系统架构 (3)环境数据应用展示 平台:实现仪器设备及环境监测信息的统一展现、发布以及 运营管理系统; (4)云计算和存储中心: 基于 IaaS虚拟化技术,为环保 数据信息共享管理平台提供弹 性服务承载系统。 五、平台核心功能架构 围 绕 环 保 行业 大 数 据 的 “感知、管理、存储、展现、应用”,提出了整体创新技术方案如图 2。 5.1 数据感知层 为 解 决 当 前 仪 器 设 备 分 散、品牌各异的难题,构建物 联网的环境数据采集体系,统 一采集规范,建立统一数据采 集平台,针对各类型设备开发接口,管理接入各类型的物联 网设备,实时异构信息的统一采集;5.2 数据管理层 考虑到传统利用 PC服务器连接仪器设备采集数据的方 式易发生数据外泄的状况,基于桌面云的环境数据安全管理, 采用桌面云主机连接仪器,保证采集数据存储在服务器上、 无法拷贝,从最根本上解决数据安全问题,保证数据的产业 价值;5.3 数据存储层 参 考 文 献 [1] 彭庆 . 基于大数据技术的数据共享平台方案研究[J]. 电信技术,2014(10):22-25. [2] 吴勇,张红剑 . 基于大数据和云计算的智慧环保解决方案[J]. 信息技术与标准化,2013(11):38-41. [3] 朱丽 . 大数据技术在环保数据共享平台建设中的应用[J]. 信息系统工程,2015(5)95-96. 环保数据具有复杂性和动态性,涉及多部门/地区/领域, 需要处理大量的数据,基于环境专题数据建设“IaaS-PaaS- SaaS”三种层次的多元化云服务,弹性架构设计,为应用数 据平台提供弹性服务承载体系; 5.4 数据展现层 当前不同品牌、型号的仪器设备所产生的实验数据不能 集中管理、集中查询且人工收集管理耗时耗力,对多源异构 的海量数据进行数据转换、主题建模、分析展现,可保证所 有监测站的环境数据可以统一汇聚、处理和展现; 5.5 数据应用层 传统环评业务采用人工报送检测形式,由各站点自行负 责,管理松散,没有运营机制,空置率相当高,导致丰富数 据资源无法产生经营效益。为强化环境数据、仪器设备运营 共享管理,在运营管理模块加入了数据运营和计费功能,让 环境检测工作流程化,将原有手动化的检测流程改造为业务 开通运营流程,数据不仅可以流转起来,还可作为资产参与 运营,实现闲散设备的自我造血,自我运转。 六、结束语 本方案适用于环保行业 IT支撑系统数据整合,无论是 为了降低数据存储成本,提高数据共享效率,还是为了探索 大数据技术引入,或是实现支撑系统各域的数据融合,都可 参考本方案架构进行搭建。