hnfangjing
路人甲
路人甲
  • 注册日期2006-11-30
  • 发帖数7
  • QQ
  • 铜币151枚
  • 威望0点
  • 贡献值0点
  • 银元0个
阅读:2874回复:3

[原创]论城市地理信息系统的复杂性

楼主#
更多 发布于:2007-12-18 22:24
<P ><B >摘要:</B>本文首先介绍了城市地理信息系统的概念,提出其复杂性,并从模型建立,数据获取、融合、存储与检索等建立城市地理信息系统的基础工作方面论述了它的复杂性。<p></p></P>
<P ><B >关键词</B>:城市地理信息系统   复杂性   数据融合   海量数据<p></p></P>
<P >一、     引言<p></p></P>
<P > 城市地理信息系统(Urban Geographic Information System),是地理信息系统的一个分支,是一种运用计算机硬件,软件和网络技术,实现对城市各种空间、非空间数据的输入、存贮、查询、检索、处理、分析、显示、更新提供应用,并以处理城市各种空间实体及其关系为主的技术系统。它是城市基础设施之一,也是一种城市现代化管理、规划和科学决策的先进工具。要提供完整全面的信息服务,使得它具有十分复杂的特点。<p></p></P>
<P >二、城市地理信息系统的复杂性<p></p></P>
<P  align=left>地理信息系统的建立是一个复杂的过程,需要用到许多先进的技术,包括数据的快速获取与更新,海量数据的存储,先进完善的建摸方法,方便快捷的查询与定位,逼真的图形显示与交互等。城市地理信息系统作为地理信息系统的一个分支,再加上城市所独有的特点,使其变得十分复杂,下面,主要从城市地理信息的建立过程中的基础步骤和工作来论述它的复杂性。<p></p></P>
<P  align=left>1、空间建模的复杂性<p></p></P>
<P  align=left>  空间模型的建立在城市地理信息系统设计与实现中起着举足轻重的作用,它是对现实世界的第一层抽象,用于对信息世界的建模,是设计和实现地理数据库的基础,为数据的组织做了准备。<p></p></P>
<P  align=left>在城市当中,有各种各样的地理要素与地理现象,再加上城市日新月异的发展。用传统的方法对其建模已不足以表现现实世界,需要将那些传统的方法和新的建模方法结合起来,才能充分表现城市的复杂性。其中,三维模型是应用比较广泛的一种,其建立过程如下图所示:<p></p></P>
<P  align=left> 由上图可以看出,建立三维模型并不是一个简单的过程,需要综合考虑多种因素,运用多种数据,十分的复杂。<p></p></P>
<P  align=left>另外,已有许多用于空间数据库和时态数据库的数据模型和查询语言被提出,其中大部分都是对SQL的扩展。在已有的对时空数据库的研究中,对两种数据模型作了比较深人的讨论。一种带有时态属性的数据模型已经在时态数据库中得到了广泛的应用,但它实际上是在原有记录的基础上简单地加上时态属性来描述时态信息。另一种是将时标加人到原有属性中来构建表示时空数据的时标属性。<p></p></P>
<P  align=left>2、数据获取的复杂性<p></p></P>
<P >在城市地理信息系统中,数据分为很多种,既有二维的,又有三维的,既有高程数据,又有居民点、河网、公路等。传统的地理数据的获取主要有三种:现有地图矢量化,扫描航片和卫星遥感影象,实地测量。其中,现有地图矢量化和实地测量主要获取的是二维的数据,而且,数据更新较慢,满足不了城市地理信息系统对多时态,多维度信息的需求,因此,遥感影象成了数据获取的主要手段。<p></p></P>
<P ><FONT face="Times New Roman">     </FONT>由于在地理信息系统中,没有一个标准来约束数据的形式,使得初始数据多样化,这也为数据的获取增加了难度,提高了城市地理信息系统的复杂性。<p></p></P>
<P ><FONT face="Times New Roman">    </FONT>下面介绍一下作为数据主体的三维数据获取的技术及复杂性<p></p></P>
<P ><FONT face="Times New Roman">       </FONT>三维空间数据具有时间特性、空间特性和尺度特性。三维空间信息获取,<FONT face="Times New Roman"> </FONT>究其实质是空间定位采集。综观测绘技术发展,对于空间数据的野外获取方式可分为点方式和面方式。前者指利用天文大地测量、<FONT face="Times New Roman">GPS</FONT>测量、全站仪测量及其它常规地面测量方式逐点或逐断面地采集地表点的空间坐标及属性。后者指利用航空航天遥感方式获取大面积影像记录,从中提取出几何和物理特征性。<p></p></P>
<P ><FONT face="Times New Roman">    </FONT>点方式三维空间数据获取技术<FONT face="Times New Roman"> <p></p></FONT></P>
<P ><FONT face="Times New Roman">(1)</FONT>应用<FONT face="Times New Roman">GPS</FONT>对坐标的获取技术<FONT face="Times New Roman"> <p></p></FONT></P>
<P >利用常规<FONT face="Times New Roman">GPS</FONT>接收机,可以高精度短时间测定各级控制点的平面坐标;若在测区中联测位置合理、数量足够的高程已知点,还可使<FONT face="Times New Roman">GPS</FONT>水准满足四等水准测量的精度。<FONT face="Times New Roman">GPS</FONT>动态测量<FONT face="Times New Roman"> (RTK)</FONT>在生产中的广泛应用,使不布设各级控制点,仅依据一定数量的基站就可以高精度快速测定像控点、界址点、地形点和地物点的坐标成为可能。<p></p></P>
<P ><FONT face="Times New Roman">(2)</FONT>应用全站仪对坐标的获取技术<FONT face="Times New Roman"> <p></p></FONT></P>
<P >全站仪由电子经纬仪、红外测距仪和记录器<FONT face="Times New Roman"> (</FONT>记录器外置可称为电子手薄,也可以内置成一体化设备<FONT face="Times New Roman">)</FONT>组成,在测站上可以实时获取待测点的水平角、<FONT face="Times New Roman"> </FONT>垂直角和斜距等原始观测数据,而且在同一瞬间内得到平距、高差和坐标。<FONT face="Times New Roman"> <p></p></FONT></P>
<P >面方式三维空间数据获取技术<p></p></P>
<P >目前,利用遥感影象来提取地理信息,主要是用各种遥感影象处理软件来完成。目前较为流行的软件有<FONT face="Times New Roman">ERDAS</FONT>、<FONT face="Times New Roman">ENVI</FONT>等。利用这些软件,可以提取相关的地面上自然的和人文的各种信息,较上述方法更为方便快捷。<p></p></P>
<P ><FONT face="Times New Roman">   </FONT>虽然面方式的获取技术比较方便快捷,但是它的代价较高,因此要在现实基础上获取精确的三维数据,需要这几种方法的综合运用,在这中间,就涉及到了不同数据的转换与匹配,这也就增加了数据获取是的难度与复杂性,关于这方面问题的解决,将在数据融合中做详细的介绍。<p></p></P>
喜欢0 评分0
hnfangjing
路人甲
路人甲
  • 注册日期2006-11-30
  • 发帖数7
  • QQ
  • 铜币151枚
  • 威望0点
  • 贡献值0点
  • 银元0个
1楼#
发布于:2007-12-18 22:26
<P 12pt 0cm 12pt 24pt; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 24.0pt" align=left>3、数据融合的多样性与复杂性<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>不同的组织和个人获取数据的方法不同,所获得的初步数据类型和格式也不一样,如果这些不对这些数据进行进一步的处理,在往后的应用中,就会出现种种不便。那么,将来源不同的数据进行类型匹配或转换就称为数据融合。数据融合方式与技术:多源数据的融合是数据的一种有机组织 ,由数据政策和数据集成技术两种方式来实现。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 18pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 1.5" align=left>数据政策方式:是通过强制性措施统一数据标准,建立各种数据的转换接 口,保证数据能够在 同一系统中直接使用。这种方式实现数据的集成 比较有效,但制定一套适合不同部门需求的数据标准是非常闲难的。且面临各部门利益冲突等非技术因素的干扰。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 27pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.25" align=left>集成技术方式:通过一定的技术手段实现多源数据集成,对生产部门的生产模式和原有数据不进行大量的改变。数据集成与融合技术有效地解决 了数据模型不可能表达的复杂的 、空间数据单元(实体)不确定的城市规划。 数据集成技术方法基本都依赖于 GIS强大的海量数据存储、空间数据处理与分析技术、方便的数据库操作以及属性数据处理等功能。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 27pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.25" align=left>现在使用比较普遍的数据以及它们之间融合的种类有:<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>1)、多源规划数据空间坐标的统一<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>GIS数据库具有明确的地理空间位置,是建在一定坐标系下的地理坐标。目前,空间参照系统多种多样,所获取的数据的空间坐标大多数情况下是不统一的。城市各种空间信息(CAD格式韵地形数据、成果数据、道路交通数据等)必须融为一体。将各种坐标系 (CAD的相对坐标系、建筑坐标系等)下的规划数据转换为统一坐标系,大比例尺数据转换为城市坐标系。小比例尺数据转换为北京“<st1:chmetcnv w:st="on" UnitName="”" SourceValue="54" HasSpace="False" Negative="False" NumberType="1" TCSC="0">54”</st1:chmetcnv>坐标系;高程统一为“1985国家高程基准”。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>2)、空间数据与属性数据的融合<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>城市地理信息系统承担了科学、准确、高效地提供各种信息,为政府决策提供实时准确的数据基础,系统的核心是空间数据和属性数据。空间数据与属性数据的融合主要依靠数据库的结构和操作方法 ;即建立相应的空间数据与存储空间信息的空间数据表之间的关联,每个空间对象建立相应的索引。如图:<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>3)、多级比例尺空间数据的自动切换<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>无级别比例尺数据制图综合技术是GIS以大比例尺空间数据库为基础,通过数据的特征提取与归并,使 GIS输出的空间信息随显示比例尺的变化自动增减,实现无级别比例尺空间数据的自动转换或切换。即将不同精度 、不同比例尺的数据组织成图层 (LAYERS),根据每一图层的最佳显示比例尺设定其能够显示的比例尺范围(Visible scale range)。当数据查询时,系统根据当前的视图比例尺判定显示哪层数据,随比例尺的变化(放大),所能够显示的数据图层的比例尺也不断变化,从而实现多级空间数据的自动切换。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>4)、DEM与遥感影像数据的融合与集成<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>数字高程模型(DEM)是描述高程值在连续地形表面上的变化,反映城市地形起伏,表达城市3维空间信息;遥感影像经过图像几何纠正、滤波增强、图像分类、影像融合、坐标匹配等一系列处理过程,形成不同分辨率的正射影像产品,反映城市的地形地貌以及城市用地的规模和布局,描述城市2维空间信息。DEM与遥感影像融合的关键技术是影像匹配和影像变换。这两种数据的融合使城市的地貌和城市用地状况在计算机中可进行3维描述,在道路交通规划设计时可定量地描述道路的坡度、坡向、排水方向、T程建设的土方量,给规划设计和规划管理带来更为直观、清晰的城市地理信息,提高城市决策的科学性。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>5)、CAD与 GIS数据的转换与融合<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>目前,我国城市中很多领域普遍采用CAD(AutoCAD、GPCAD)进行规划的设计与制图。CAD格式的规划数据以图形表现为主,难以进行必要的空问分 析和满足管理查询的需要;实现CAD数据与GIS数据的无缝转换和数据融合,必须建立统一的CAD数据标准,在CAD制图和设计过程纳入到GIS的图形与属性的统一管理机制,根本上解决 CAD与 GIS数据的相互转换,最大程度地实现空间数据在规划设计、规划管理、信息发布、决策支持等方面的信息资源共享。否则会出现信息冗余或信息损失。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>6)、时态规划数据的融合<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>城市地理信息系统是一个可描述时态特征的时态GIS系(TemporalGIS,TGIS),把构成GIS的空间、属性两要素拓宽为空间、属性 、时间三要素。时态特征是城市空间数据的基本特征,它描述了同一空间单元在时间序列上表达的不同信息。基础数据描述地形要素的时态变化;遥感影像描述城市建设用地规模的变化。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm" align=left>6)、成果数据的组织方法及其与其他数据的集成<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>成果数据的无缝接边:成果数据同基础数据一样是分幅的,区别在于成果数据是按行政区界或规划区界进行划分,图幅是不规则的。将连续的城市空间划分为若干互相连接的子空间,由于制图误差的存在.会出现同一规划要素 (道路、管线 、图斑 )在图幅接边处产生缝隙的现象。作为空间上连续的成果数据库,必须消去缝隙,保证数据逻辑和物理上的一致性。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0" align=left>从上面的论述可以看出,目前,城市地理信息系统中的确存在很多不同格式的数据。而且,对这些数据进行融合和集成也是十分必要的,这是建设城市地理信息系统中不可缺少的步骤,集成的多样性以及复杂性也大大的增加了城市地理信息系统的复杂性。<p></p></P>
<P 12pt 0cm 12pt 24pt; LAYOUT-GRID-MODE: char; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 24.0pt" align=left>4、海量数据存储与检索的复杂性<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 18pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 1.5" align=left>在城市地理信息系统中,不仅有描述实体性质的属性数据,还有反映地理实体空间位置分布特征以及与其他空间实体相互关系的空间数据。不仅有传统的文字型、数值型等传统数据,还有图像、图形、声音等多媒体数据,这些特征使得城市地理信息系统中的数据量十分庞大,因此如何高效的存储和管理这些空间数据成了整个城市信息系统的瓶颈。<p></p></P>
<P 12pt 0cm; LAYOUT-GRID-MODE: char; TEXT-INDENT: 18pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-pagination: widow-orphan; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 1.5" align=left>海量数据所带来的具体的问题有以下几种:<p></p></P>
举报 回复(0) 喜欢(0)     评分
hnfangjing
路人甲
路人甲
  • 注册日期2006-11-30
  • 发帖数7
  • QQ
  • 铜币151枚
  • 威望0点
  • 贡献值0点
  • 银元0个
2楼#
发布于:2007-12-18 22:28
<P 12pt 0cm 12pt 0.1pt; TEXT-INDENT: -3.25pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: -.3gd; mso-char-indent-count: -.38; mso-layout-grid-align: none" align=left> 数据量过大:这是城市地理信息系统的空间数据被成为海量数据的主要原因。<p></p></P>
<P 12pt 0cm 12pt 0.05pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: .05pt; mso-layout-grid-align: none" align=left>      软硬件要求高:系统资源占用率高。对海量的数据进行处理,除了好的方法,最重要的就是合理使用工具,合理分配系统资源。一般情况,如果处理的数据超过TB级,小型机是要考虑的,普通的服务器如果有好的方法也可以考虑,不过也必须加大CPU和内存。<p></p></P>
<P 12pt 0cm 12pt 24pt; TEXT-INDENT: -24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 24.0pt; mso-char-indent-count: -2.0; mso-layout-grid-align: none" align=left>     要求很高的处理方法和技巧:具体的方法和技巧有:<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>1)、确定好的建模方法和处理方案<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>对海量数据的处理,明确切实可行的处理方法和流程最为关键。在建立处理模型时要充分考虑到海量数据数据量大、数据格式复杂的特点,建立好的处理模型。好的处理模型应该是处理中最快的,能够便于扩展,便于处理更大的数据量,便于实施等等。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>2)、选用优秀的数据库工具<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>现在的数据库工具厂家比较多,处理海量数据对所使用的数据库工具要求比较高,一般使用Oracle或者DB2。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>3)、编写优良的程序代码<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 23.9pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 1.99; mso-layout-grid-align: none" align=left> 处理数据离不开优秀的程序代码,尤其在进行复杂数据处理时,必须使用程序。好的程序代码对数据的处理至关重要,这不仅仅是数据处理准确度的问题,更是数据处理效率的问题。良好的程序代码应该包含好的算法、好的处理流程、好的效率、好的异常处理机制等等。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>4)、对海量数据进行分区操作<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>将不同的数据存于不同的文件组下,而不同的文件组存于不同的磁盘分区下,这样将数据分散开,减小磁盘I/0,减小了系统负荷,而且还可以将日志、索引存放于不同的分区下。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>5)、建立广泛的索引<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>    对海量的数据处理,对大表建立索引是必需的,建立索引要考虑到具体情况,例如针对大表的分组、排序等字段,都要建立相应索引,一般还可以建立复合索引,对经常插入的表建立索引时则要小心。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>6)、建立缓存机制;<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>当数据量增加时,一般的处理工具都要考虑到缓存问题。缓存大小设置的好坏也关系到数据处理的成败<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>7)、使用临时表和中间表<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>数据量增加时,处理中要考虑提前汇总。这样做的目的是化整为零,大表变小表,分块处理完成后,再利用一定的规则进行合并,处理过程中的临时表的使用和中间结果的保存都非常重要,对于超海量的数据,如果大表处理不了,只能拆分为多个小表。如果处理过程中需要多步汇总操作,可按汇总步骤一步步来。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>8)、定制强大的清洗规则和出错处理机制<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>海量数据中存在着不一致性,极有可能出现某处的瑕疵。例如,同样的数据中的时间字段,有的可能为非标准的时间,出现的原因可能为应用程序的错误,系统的错误等等。在进行数据处理时,必须制定强大的数据清洗规则和出错处理机制。<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 30pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.5; mso-layout-grid-align: none" align=left><p> </p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>9)、建立视图或者物化视图<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>    视图中的数据来源于基表,对海量数据的处理,可以将数据按一定的规则分散到各个基表中,查询或处理过程中可以基于视图进行,这样就分散了磁盘的I/O。<p></p></P>
<P 12pt 0cm; TEXT-INDENT: 24pt; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-char-indent-count: 2.0; mso-layout-grid-align: none" align=left>综上所述,在空间数据的存储过程中,存在各种各样的问题与方法技巧,但是目前,海量数据的存储与检索还处在探索阶段,并没有一个完善的、统一的存储与检索技术。在对数据进行操作时,人的经验与水平所占的比重较大。不同的操作人员对同一数据的操作可能产生不同的存储与检索方法。数据操作过程的复杂性、多样性与技巧性也增加了城市地理信息系统的复杂性。<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left><p> </p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left><p> </p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left><p> </p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>三、结束语<p></p></P>
<P 12pt 0cm; LINE-HEIGHT: 120%; TEXT-ALIGN: left; mso-para-margin-top: 1.0gd; mso-para-margin-right: 0cm; mso-para-margin-bottom: 1.0gd; mso-para-margin-left: 0cm; mso-layout-grid-align: none" align=left>    模型的建立,数据获取、融合,海量数据存储与检索,在城市地理信息系统的建立过程中,是必须要做的基础性工作。而且,这几个方面要不断的循环往复,不断修正,不断去粗存精才能为整个城市地理信息系统打好基础。由前面的论述得知,这几项工作都具有复杂性、多样性的特点。那么不可避免的,城市地理信息系统作为这些方面的技术和其他技术与方法的集成、融合也具有非常复杂的特点。<p></p></P>
举报 回复(0) 喜欢(0)     评分
呼叫转移
路人甲
路人甲
  • 注册日期2007-12-10
  • 发帖数5
  • QQ
  • 铜币129枚
  • 威望0点
  • 贡献值0点
  • 银元0个
3楼#
发布于:2007-12-20 16:23
<P>好!</P>
<img src="images/post/smile/dvbbs/em02.gif" />
举报 回复(0) 喜欢(0)     评分
游客

返回顶部