|
阅读：3475回复：0
基于大数据的空气质量数据可视化
武 装 覃爱明
（首都经济贸易大学，北京 100070） 摘 要：近一个世纪以来，由于工业化、城市化的飞速发展、人类活动的加剧造成了世界性的能源、交通规模的持续扩大，城市人口的急剧膨胀，各类生产活动和生活中所产生的大量有害物质被排放到空气中，改变了空气的组成成分，形成了空气污染。空气污染是世界和中国大多数工业城市所面临的最为严重的环境问题。开展空气质量监测、数据分析与可视化的研究可以全面掌握城市空气污染源的排放数据和各种空气污染物在不同空间区域内的浓度数据，可以对影响城市空气质量的因素有所了解和把握。本文提出了利用空气污染观测资料和先进的大数据Hadoop平台，对空气监测数据进行数据挖掘和分析的思路，依据逐年逐日的天气现象数据，针对地区空气污染状况以及时间分布特征的影响进行研究，并以可视化的方法对空气污染物的时空分布特征与预测进行探讨。 关键词：大数据；可视化；空气质量；监测 中图分类号：N37 文献标志码：A 文章编号：1000-8772-（2015）03-0249-03 收稿日期：2015-01-19 基金项目：北京市哲学社会科学规划项目（14SHB015）；北京市教育委员会社会科学研究计划项目（SM201410038013）；首都经济贸易大学高等教育研究项目（项目名称:我校科研团队成长性及水平评价研究）；北京市属高等学校高层次人才引进与培养计划项目（项目名称: 非完备信息系统中决策树生成算法及其优化研究）。 作者简介：武装（1970-），男，河北唐山人，博士，副教授。研究方向：大数据，可视化。 一、引言 空气污染对人类及其生存环境造成的危害与影响，已逐渐为人们所认识。近年来中国地区空气污染加剧，其中雾霾污染正演变成为城市大气污染的主要表现之一，引起了普通民众和科学界的广泛关注。空气污染对城市居民的健康风险、由此造成的经济损失以及对居民的健康影响都是不可估量的。空气污染主要通过三条途径危害人体：一是人体表面接触后受到伤害，二是食用含有大气污染物的食物和水中毒，三是吸入污染的空气后患上种种严重的疾病。不仅如此，空气污染危害生物的生存和发育，大气污染物对仪器、设备和建筑物等，都有腐蚀作用，空气污染还造成臭氧层破坏、酸雨腐蚀和全球气候变暖[1]。世界卫生组织和联合国环境组织发表的一份报告指出：“空气污染已成为全世界城市居民生活中一个无法逃避的现实。”如果人类生活在污染十分严重的空气里，那就将在几分钟内全部死亡。工业文明和城市发展，在为人类创造巨大财富的同时，也把数十亿吨计的废气和废物排入大气之中，人类赖以生存的大气圈成了空中垃圾库和毒气库。因此，大气中的有害气体和污染物达到一定浓度时，就会对人类和环境带来巨大灾难。 自从计算机开始应用于可视化技术以后，人们发现了许多新颖的可视化技术，现有的技术也得到了改进。新技术和新平台的出现，使可视化技术可以实现用户与可视化数据之间的交互，从采集分析数据到呈现数据可视化也实现了一体化。中国近几十年来经济发展迅速，矿物能源大量消耗以及环境保护措施的欠缺，导致中国许多地区发生了严重的空气污染和水污染。空气污染是一个非常复杂的系统问题，它不仅涉及到人为与自然排放，同时也要考虑到当地气象以及区域气候条件的影响。大数据时代的来临，促进了更加智能的数据可视化工具的出现，云计算和虚拟化技术的不断发展使得大数据在应用层面更加丰富，再加以数据可视化，这样的大数据分析才更有意义，效率也才会更高。本文提出了以大数据分析为基础的空气质量数据可视化思路，对掌握城市空气质量在时间和空间维的变化发展趋势，对污染控制、环境管理和公共事业发展均有一定的理论意义与实用价值。 二、大数据 （一）大数据的特征 大数据是一个体量特别大，数据类别特别大，超过传统数据库系统处理能力的数据集。大数据首先是指数据体量（volume）大，指大型数据集，至少在10TB规模以上，一般达到PB级的数据量；其次是指数据类别（variety）大，数据来自多种数据源，数据种类和格式包括了半结构化和非结构化数据；接着是数据处理速度（velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理；最后一个特点是指数据真实性（veracity）高，比如社交数据、企业内容、交易与应用数据等新数据源。 3V是大数据时代的显著特征，这些特征正在给现在的IT企业带来巨大挑战。大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化信息资产。 （二）基于Hadoop的大数据分析技术 Hadoop是一个能够对大量数据进行分布式处理的软件框架，以可靠、高效、可伸缩的方式进行数据处理，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它具有高可靠性、高扩展性、高效性、高容错性，并且成本较低。Hadoop的组成如图2所示，其中MapReduce和Hdfs是Hadoop的核心。Hdfs是分布式文件系统，提供高吞吐量的应用程序数据访问，对外部客户机而言，Hdfs就像一个传统的分级文件系统。可以创建、删除、移动或重命名文件等[2]。MapReduce用于大规模数据集（大于1TB）的并行运算，通过把对数据集的大规模操作分发给网络上的每个节点实现可靠性，每个节点会周期性地返回它所完成的工作和最新的状态[3]。 三、空气质量的数据分析可视化 （一）数据可视化 数据可视化旨在借助于图形化手段，清晰有效地传达与沟通信息。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。数据分析可视化旨在利用数据挖掘和数据分析能力基础之上，充分挖掘人对于可视化信息的认知能力优势，将人、机的各自强项进行有机融合，借助人机交互式分析方法和交互技术，辅助人们更为直观和高效地洞悉大数据背后的信息、知识与智慧[4]。 数据可视化应用在环境监测上，要包括污染程度、类型、交叉程度、分布区域、危害、所波及的人数等各种具体海量数据和基于数据之上的综合分析，可以增强空气质量数据呈现效果，让用户以直观交互的方式实现对空气质量数据的观察和浏览，从而发现空气质量数据中隐藏的特征、关系和模式。没有有效的数据分析作为支撑，就很难实现有力的空气环境治理。 （二）可视化在空气质量监测中的具体实现 可视化方法不仅可以用于数据的理解和分析，也可用于空间以及时间知识的呈现。空气质量数据可视分析利用人的感知，并且提供好的可视分析方法，帮助人们发现问题以及解决问题。空气质量指数（Air Quality Index，AQI）是定量描述空气质量状况的无量纲指数，针对单项污染物的还规定了空气质量分指数。参与空气质量评价的主要污染物为 SO2、NO2、PM10、PM2.5、O3、CO等6项[5]。在进行空气质量数据可视分析工作中，对污染物数据属性之间的关联分析，可以了解各个污染物之间的关系，发现一些隐藏的信息。 信息可视化的过程分为以下3个阶段。 第一，数据预处理：数据预处理将采集来的信息进行预处理和加工，使其便于理解，易于被输入显示可视化模块。 第二，绘制：绘制的功能是完成数据到几何图像的转换。一个完整的图形描述需要在考虑用户需求的基础上综合应用各类可视化绘制技术。 第三，显示和交互：显示的功能是将绘制模块生成的图像数据，按用户指定的要求进行输出[6]。 （三）空气污染可视化对比分析实例 1.不同污染物的对比分析 可以把某个特定时间段、特定地点的主要污染物进行可视化比较，并显示质量等级[7]，见图4。 2.某地区污染物的每日空气质量评价 可以绘画某个时间，某个地点，污染物的质量等级，每个方块的颜色代表不同的质量等级[7]，见图5。 3.绘制某地区某一时间段内污染物的含量变化[7]，见图6。 上述实例显示，环境空气质量预警可以根据某一区域或者某一城市的空气污染物排放状况及未来一段时间内气象条件、大气扩散情况等因素，通过监测、评价、预测等手段，确定大气环境状态和环境质量变化的速度和趋势，以及达到某一变化限度的时间，预测未来一段时间内的大气污染程度以及对人们日常生活带来的影响和危害，以可视化的方式表现出来，具有先觉性、预见性和超前性的特点。对加强环境监督和管理， 改善提高环境质量等方面具有十分重要的作用[8]。 四、结束语 本文提出了综合利用大数据的Hadoop平台和可视化方法，对空气污染时空分布特征进行分析的思路，能够研究气象要素对空气污染空间分布的影响，同时结合逐年逐日空气污染指数资料，揭示了不同地区在不同时间尺度下空气污染状况、污染物以及空气质量等级的时间变化规律。 参考文献： [1]潘琳，齐庚申，王伟，孙宝盛.天津市空气质量变化趋势及主要影响因子分析[J].环境污染与防治，2011，33（10）: 106-109. [2]百度百科.Hadoop[EB/OL].（2014-12-22）[2014-12-30]http://baike.baidu.com/link?url=-749Wmqim3lgUugPFp1yu315ondM4U9O1AN-kskFqoMAXJi7MX6EcabxKG4K9fX2eNNnYRQdJmHemAVFcccVuq [3]百度百科.MapReduce[EB/OL].（2014-12-23）[2014-12-30]http://baike.baidu.com/link?url=gYgTerXJFbKmcjKqfvVr2qUfI5IgqdZiPLUt83fyL2EUlU4jkhlyXh_Um8VkFceV932HWG3hVgy3doLdhKNBKa [4]蒋志方.城市空气质量预测模型与数据可视化方法研究[D].山东大学，2011. [5]百度百科.空气质量指数[EB/OL].（2014-11-25）[2014-12-30]http://baike.baidu.com/link?url=XTP7rEl2Ik7On1x5IIPqNnlN8f1-SR_B2-_f8eQHLvWoEXrrrjuwj3TlF1Xymk2glBta18BlTZrn4eE65Q9CNGPLSd6LIfPL65_sqZfAmCDZQuGeiy5Dvg5jb5W2PtblodyIw2zKq3qC4RFt95WtX_ [6]杨彦波，刘滨，祁明月.信息可视化研究综述[J].河北科技大学学报，2014，35（1）: 91-102. [7]EPA. Visualize Data [EB/OL].（2014-10-08）[2014-12-30]http://www.epa.gov/airdata/ad_viz.html [8]王德敏.空气污染数据可视化方法研究及可视化系统实现[D].山东大学，2012. （责任编辑：王帅） |
|
