土壤动物多样性监测规范-土壤动物物种及多样性数据库和共享信息平台建立
2025/11/21      点击次数:91   

土壤动物物种及多样性数据库和共享信息平台建立

本部分主要任务:第一,搜集整理各采样区气象数据、人口数量与交通、土地利用数据、土壤类型数据、植被类型、地势与地貌、农业垦殖数据等,按照GIS数据构建标准,实现数据的格式标准化处理,并提交土壤动物物种多样性信息管理平台,与土壤动物多样性数据一起,实现信息入库与共享;第二,结合平台获得的土壤动物物种多样性数据和多种环境要素,按照空间内插算法的特征和土壤动物多样性空间分布特征,并结合环境要素信息,在专题地图制作规范的要求下,实现不同土壤动物类群的空间分布专题图制作。

1数据收集与整理

1.1 土壤动物数据

土壤动物数据来源于前述章节采集,分为基础数据(必须提供)和特色数据(可选提供)两类。数据依存形式,具体包括实物标本、视频和照片、原始记录表格和整理入库的EXCEL表格。

1)基础数据包括  地理位置、土壤植被、生境特征、标本状况与保存条件、分类特征、DNA信息、种群大小、群落构成等;

2)特色数据包括  功能性状、谱系特征、营养级与食物网结构、生态功能作用、生物量等。

1.2 气象数据

气象数据来源于中国气象数据,中国气象数据网气象资料依托全国综合气象信息共享平台(CIMISS)统一数据环境和服务接口,提供完整、及时、稳定、准确的气象数据服务。

1.3 人口数量与交通

人口数量数据来源于中华人民共和国国家及各省市统计局年度数据。交通数据来源于最新的导航地图包括高速公路、铁路、国道、省道、县道、乡道和其他道路。

1.4 地势与地貌数据

    利用数字高程模型(digital elevation modelDEM)为基本数据进行地势与地貌数据的提取,是获取所需地表信息的快速有效手段。

目前常用的DEM数据包括:SRTM DEM 数据,来自美国航空航天署(NASA)和美国国家测绘局(NIMA)共同主持实施的航天飞机雷达地形测量计划处理得到的DEM数据,覆盖全球80%以上陆地范围。自2015年起,30 mSRTM数据被提供开放下载,成为目前可免费获取的分辨率最高、覆盖范围最广的DEM数据。国家基础地理信息中心的1:50000 DEM数据精度高、质量好,但由于数据本身涉密,实际应用中无法向外界直接公开工作成果。另外,ASTER DEM数据是免费的DEM数据,精度为30 m

通过中国科学院计算机专项网信息中心国际科学数据服务平台,可以下载到数字高程模型数据,经过投影转换、拼接、重采样、裁切而成,数据格式为ArcGISgrid格式。

1.5 土壤类型数据

1)中国土壤数据库  中国土壤数据库以自主版权为主的权威性公开出版物,若干由南京土壤所主持研究项目获取的数据以及中国生态系统研究专项网陆地生态站部分监测数据为数据来源。上述数据均是在国家、中国科学院统一规划下,有组织的在全国范围内进行的。

2)中国1400万土壤类型图  该图的编制单位为中国科学院南京土壤研究所,出版时间为1978年,由地图出版社出版,投影方式为Albers等积圆锥投影,图像精度在0.41.6 km1999年由中国科学院地理研究所对其进行了数字化并公开发布。

3)中国科学院南京土壤所基于新的土壤分类系统上,于2002年完成中国1:100万的土壤数据库,该数据库是目前较为详细的数字化中国土壤图件。

本书我们综合分析各种土壤类型数据,同时利用实测土壤类型数据,对已有土壤类型数据进行验证和订正,得到精度较高的土壤类型数据。

1.6 植被类型数据

植被类型数据集通过对《1:1000000中国植被图集》的矢量化完成。该图集由著名植被生态学家侯学煜院士主编,由中国科学院有关研究所、有关部委和各省区有关部门、高等院校等53个单位250多位专家共同编制的。详细反映了我国11个植被类型组、54个植被型的796个群系和亚群系植被单位的分布状况、水平地带性和垂直地带性分布规律,同时反映了我国2000多个植物优势种、主要农作物和经济作物的实际分布状况及优势种与土壤和地面地质的密切关系。由于本图集属于现实植被图图种,故反映出我国植被近斯的质量状况。

1.7 土地利用数据

Landsat8-OLIBJ-1 CCDHJ-1 A/B CCD等为数据源,以面向对象的影像分类技术为主要手段,开展我国土地覆盖的补充调查与空间制图;结合地形、水分状况、植被物候期等特征,调整、细化土地覆盖分类系统以满足土壤动物生境评估的需要。利用地面调查数据对各调查区土地覆盖监测结果进行验证,并对监测结果进行误差分析。

在《土地利用现状分类标准》国家标准和《全国第二次土地调查》分类系统基础上,结合工作任务,将调查区土地利用类型分为建设用地、耕地、道路、林地、草地、水体及沼泽等。并根据野外调查和土地利用调查数据检验分类结果(表1)。

1建库流程

2 数据库建设

建库流程主要包括:准备工作、数据收集与整理、数据汇总与拼接、质量检查、数据库参数设置、数据入库、运行测试等,具体流程如图1所示。

 

1调查区土地利用分类系统

一级类

二级类

含义

编码

名称

编码

名称

01

耕地

 

 

指种植农作物的土地,包括熟地,新开发、复垦、整理地,休闲地(含轮歇地、休耕地);以种植农作物(含蔬菜)为主,间有零星果树、桑树或其他树木的土地;平均每年能保证收获一季的已垦滩地和海涂。耕地中包括南方宽度<1.0 m,北方宽度<2.0 m固定的沟、渠、路和地坎(埂):临时种植药材、草皮、花卉、苗木等的耕地,临时种植果树、茶树和林木且耕作层未破坏的耕地,以及其他临时改变用途的耕地

0101

水田

指用于种植水稻、莲藕等水生农作物的耕地。包括实行水生、旱生农作物轮种的耕地

0102

水浇地

指有水源保证和灌溉设施,在一般年景能正常灌溉,种植旱生农作物(含蔬菜)的耕地。包括种植蔬菜的非工厂化的大棚用地

0103

早地

指无灌溉设施,主要靠天然降水种植旱生农作物的耕地,包括没有灌溉设施,仅靠引洪淤灌的耕地

02

园地

 

 

指种植以采集果、叶、根、茎、汁等为主的集约经营的多年生木本和草本作物,覆盖度大于50%或每公顷株数大于合理株数70%的土地。包括用于育苗的土地

03         

林地

 

 

指生长乔木、竹类,灌木的土地,及沿海生长红树林的土地,包括迹地,不包括城镇、村庄范围内的绿化林木用地,铁路、公路征地范围内的林木,以及河流、沟渠的护堤林

0301

乔木林地

指乔木郁闭度≥0.2的林地,不包括森林沼泽

0302

竹林地

指生长竹类植物,郁闭度≥0.2的林地

0303

红树林地

指沿海生长红树植物的林地

0304

森林沼泽

以乔木森林植物为优势群落的淡水沼泽

0305

灌木林地

指灌木覆盖度≥40%的林地,不包括灌丛沼泽

0306

灌丛沼泽

以灌丛植物为优势群落的淡水沼泽

0307

其他林地

包括疏林地(树木郁闭度≥0.1.<0.2的林地)、未成林地、迹地、苗圃等林地

04

草地

 

 

指生长草本植物为主的土地

0401

天然牧草地

指以天然草本植物为主,用于放牧或割草的草地,包括实施禁牧施的草地,不包括沼泽草地

0402

沼泽草地

指以天然草本植物为主的沼泽化的低地草甸、高寒草甸

0403

人工牧草地

指人工种植牧草的草地

0404

其他草地

指树木郁闭度<0.1,表层为土质,不用于放牧的草地

05

居工用地

 

 

指主要用于人们生活居住的房基地及其附属设施的土地,用于商业、服务业的土地,用于工业生产,物资存放场所的土地等

06

水域及水利设施用地

 

 

指陆地水域,滩涂、沟渠、沼泽、水工建筑物等用地。不包括滞已垦滩涂中的耕地、园地、林地、城镇、村庄、道路等用地

1101

河流水面

指天然形成或人工开挖河流常水位岸线之间的水面,不包括被堤坝拦截后形成的水库区段水面

1102

湖泊水面

指天然形成的积水区常水位岸线所围成的水面

1103

水库水面

指人工拦截汇集面成的总设计库容≥100000㎡的水库正常蓄水位岸线所围成的水面

1104

坑塘水面

指人工开挖或天然形成的蓄水量<100000㎡的坑塘常水位岸线所围成的水面

1105

沿海滩涂

指沿海大潮高潮位与低潮位之间的潮浸地带。包括海岛的沿海滩涂。不包括已利用的滩涂

1106

内陆滩涂

指河流、湖泊常水位至洪水位间的滩地;时令湖、河洪水位以下的滩地:水库、坑塘的正常蓄水位与洪水位间的滩地。包括海岛的内陆滩地。不包括已利用的滩地

1107

沟渠

指人工修建,南方宽度≥1.0 m、北方宽度≥2.0   m用于引、排、灌的渠道,包括渠槽、渠堤、护堤林及小型泵站

1108

沼泽地

指经常积水或溃水,一般生长湿生植物的土地。包括草本沼泽、苔癣沼泽、内陆盐沼等。不包括森林沼泽、灌丛沼泽和沼泽草地

1109

水工建筑用地

指人工修建的闸、坝、堤路林、水电厂房、扬水站等常水位岸线以上的建(构)筑物用地

1110

冰川及永久积雪

指表层被冰雪常年覆盖的土地

07

其他用地

 

 

指上述地类以外的其他类型的土地

注:该土地利用分类采用中华人民共和国国家标准《土地利用现状分类》GB/T 21010—2017

 

2.1 准备工作

1)方案制定  根据实际情况制定建库的工作方案和技术设计书,并报上级管理部门备案,或者采用上级部门统一制定的方案。

2)制度准备  根据实际情况制定相关工作制度,包括质量控制、数据安全保密管理、进度管理等相关制度。

3)人员准备  配备专业技术人员及监督检查人员,负责建库工作的组织管理、技术管理、数据入库、监督检查等工作。

4)软硬件准备  根据数据建库软件的系统环境要求,配置计算机、数据输入输出设备、数据存储设备等硬件;搭建操作系统、数据库建库系统、数据库管理系统、地理信息系统等软件环境。

2.2 数据收集与整理

1)空间数据  基础地理要素、气象数据、人口数量与交通、土地利用数据、土壤类型数据、植被类型、地势与地貌、农业垦殖数据、不同土壤动物类群的空间分布数据和其他规划图件。

2)非空间数据  非空间数据主要包括元数据、规划文本、规划表格数据等。

2.3 数据汇总与拼接

对不同作业区的数据,特别是矢量数据,要按照统一的格式和标准进行汇总和拼接。

1)矢量数据  通过坐标转换、同类文件拼接等操作将不同分区的数据合并为一个完整的数据。

利用专用数据转换工具或软件系统,数据格式转换成符合入库要求的数据格式;以及将不同分区数据通过投影变换到统一数学基础。转换后的数据应满足以下要求:

①空间实体无丢失;

②空间实体位置无偏移;

③空间实体的几何精度符合要求;

④空间实体属性内容无缺失;

⑤数据统一到同一坐标系和投影带上。

将不同分区的数据,采用图层合并的方法,分层进行矢量数据和属性数据的接边。拼接后的数据要重新构建拓扑关系。图形数据拼接应满足如下要求:

①接边后实体的图面点位误差应满足该比例尺下的误差要求;

②接边后的数据应具有正确的拓扑关系;

③拼接后不同分包区之间数据在接边处的逻辑关系应保持一致。

2)表格数据  对不同分区同一类型的表格数据,通过表格追加的模式进行数据汇总。

2.4 质量检查

1)入库前质量检查  为保证建库数据的质量,调查数据入库前必须对外业调查资料和收集到的相关资料进行真实性检查和格式内容检查,确保资料内容的完整性,精度与参数的准确性(表2)。

2)入库后质量检查  数据入库后应对数据库成果进行全面检查。入库后,应保证数据库成果满足相关标准规范的要求。矢量数据图层和权属表格的数量应与入库前一致,各个矢量数据图层的对象数量应与入库前一致,各个数据表中的记录数量应与入库前一致。数据库检查主要包括结构完整性和符合性检查、图形数据检查、属性完整性和正确性检查、图属一致性检查和接边检查、拓扑错误检查等。检查完后,应填写检查记录表(表3)。

 

2 数据入库前质量检查表

检查项

检查内容

是否符合要求

备注

矢量数据几何精度和拓扑检查

数据基础

 

 

几何精度

 

 

完整性

 

 

拓扑关系

 

 

属性数据完整性和正确性检查

完整性

 

 

正确性

 

 

逻辑一致性

 

 

图形和属性的一致性检查

图形要素与属性表记录对应

 

 

注:对检查出的错误进行全面修改,确实无法修改的备注原因。

 

3数据入库后质量检查表

检查项

检查内容

结果

备注

数据成果

数据内容是否完整

 

 

数据组织是否正确

 

 

数据逻辑一致性是否正确

 

 

数据库运行状况

数据访问效率

 

 

数据库安全性

 

 

数据库运行异常

 

 

注:对检查出的错误进行全面修改正确,确实无法修改的备注原因。

 

3)数据质量检查流程  入库数据检查流程如图2所示。

2入库前数据质量检查流程

 

2.5 数据库参数设置

在数据库中,创建表单和数据图层。对数据库及其中的表单和图层进行参数设置,包括数据的数学精度和属性字段长度、空间参考、数据库的存储空间等参数设置。

2.6 数据入库

按照《调查数据库及共享平台建立规程》的要求,基于SQL Server数据库与ArcGIS软件的数据引擎ArcSDE进行数据数据库开发与管理和数据录入工作。

3 专题图制作

3.1 数据插值处理

插值可以根据有限的样本数据点预测栅格中的像元值。它可以预测任何地理点数据(如高程、降雨、化学物质浓度和噪声等级等)的未知值。利用arcgis的空间分析功能中的插值功能,可以实现多种不同插值方法,下面介绍这几种插值方法:

1)反距离权重法  IDW(反距离权重法)工具所使用的插值方法可通过对各个待处理像元邻域中的样本数据点取平均值来估计像元值。点到要估计的像元的中心越近,则其在平均过程中的影响或权重越大。

2)克里金法  克里金法是通过一组具有 z 值的分散点生成估计表面的高级地统计过程。该方法基于包含自相关(即,测量点之间的统计关系)的统计模型。因此,地统计方法不仅具有产生预测表面的功能,而且能够对预测的确定性或准确性提供某种度量。克里金法假定采样点之间的距离或方向可以反映可用于说明表面变化的空间相关性。克里金法工具可将数学函数与指定数量的点或指定半径内的所有点进行拟合以确定每个位置的输出值。克里金法是一个多步过程;它包括数据的探索性统计分析、变异函数建模和创建表面,还包括研究方差表面。当您了解数据中存在空间相关距离或方向偏差后,便会认为克里金法是最适合的方法。该方法通常用在土壤科学和地质中。

3)自然邻域法  自然邻域法插值可找到距查询点最近的输入样本子集,并基于区域大小按比例对这些样本应用权重来进行插值(Sibson1981)。该插值也称为 Sibson 区域占用 (area-stealing)”插值。该插值方法的基本属性是它具有局部性,仅使用查询点周围的样本子集,且保证插值高度在所使用的样本范围之内。该插值方法不会推断趋势且不会生成输入样本尚未表示的山峰、凹地、山脊或山谷。该表面将通过输入样本且在除输入样本位置之外的其他所有位置均是平滑的。

4)样条函数法  样条函数法工具所使用的插值方法使用可最小化整体表面曲率的数学函数来估计值,以生成恰好经过输入点的平滑表面。从概念上讲,采样点拉伸到它们数量上的高度。样条函数折弯一个橡皮页,该橡皮页在最小化表面总曲率的同时穿过这些输入点。在穿过采样点时,它将一个数学函数与指定数量的最近输入点进行拟合。此方法最适合生成平缓变化的表面,如高程、地下水位高度或污染程度。

5)趋势面法  趋势面法是一种可将由数学函数(多项式)定义的平滑表面与输入样本点进行拟合的全局多项式插值法。趋势表面会逐渐变化,并捕捉数据中的粗尺度模式。

对土壤动物物种进行编目和数字化整理的基础上,依据项目研究的定性样品鉴定数据和定量调查数据,得出调查区土壤动物的优势类群、常见类群和稀有类群的数量和分布比例,根据土壤动物的聚集数据,依据土壤动物丰富度和对生产和生活的影响程度,统计并获取各调查区重要类群动物物种名录,制作动物各物种分布的图鉴和图集。

3.2 专题图制作

专题地图,是在地理底图上按照地图主题的要求,突出并完善地表示与主题相关的一种或几种要素,使地图内容专题化、表达形式各异、用途专门化的地图。 专题地图的内容由两部分构成:专题内容。图上突出表示的自然或社会经济现象及其有关特征。地理基础。用以标明专题要素空间位置与地理背景的普通地图内容,主要有经纬网、水系、境界、居民地等。

制作专题地图的基本步骤:

1)数据加载  主要是相关的专题要素,底图要素等,查看属性,添加修改需要的属性。

2)属性表达  将专题要素图形表达出来。如:地名,自己需要的备忘等。

3)底图整饰  在制图模式下添加需要的要素。如:标题、比例尺、图例、指北针等。

4)地图输出  将制图结果导出保存。

根据以上的步骤,可利用ArcGIS软件制作专题地图(图3)。

3 专题图制作

从中国气象数据网、CERN实验站及其他相关生态环境实验站获得气候因子数据(如最高温度、最低温度、平均温度、积温、降水量等)、土壤因子数据(如土壤剖面信息、土壤样品理化性质和微生物特征等)、人为干扰因子数据(如农作物耕作历史、农作物类型、种植模式、化肥与有机肥使用量等)等环境因子数据,并结合采样点空间位置数据(如经纬度度信息、景观中的位置等),获取区域内各景观间和长期典型农业活动下农区土壤重要类群动物生存现状基础数据。

4 建立中国土壤动物物种多样性信息共享平台

采用Geodatabase模型,基于大型关系数据库SQL Server存储和管理土壤动物物种多样性数据,以ArcSDE引擎为中间件进行空间数据库的操作;建立时空动态GIS数据管理机制,实现对土壤动物多样性历史库和现时库数据动态统一管理。系统在C#环境下,基于ArcGIS嵌入式开发组件ArcEngine开发,采用Windows操作模式设计系统界面,并同时基于WEBGIS进行专项网发布以期实现远程访问开发管理系统,实现不同级别的安全认证;在Window系统下,基于WebGIS技术,开发地图发布系统,实现我国土壤动物物种多样性数据库的发布、浏览、查询、分析功能。

将采用最新的GIS技术,设计并实现我国土壤动物生物多样性数据库构建与空间信息管理系统,解决目前土壤动物空间数据的生产管理和数据共享问题。按照标准化与规范化的要求建立逻辑上和物理上无缝连接的基础地理空间数据库与土壤动物生物多样性信息管理系统。该数据库采用Geodatabase模型,基于大型关系数据库SQL Server存储和管理,以ArcSDE引擎为中间件进行空间数据库的操作;建立时空动态GIS数据管理机制,实现对土壤动物多样性历史库和现时库数据动态统一管理。根据信息共享平台的总体目标与开放性原则,该系统有基础数据层、分析管理层、应用服务层组成。该系统是在C#环境下,基于ArcGIS嵌入式开发组件ArcEngine开发,采用Windows操作模式设计系统界面,并同时基于WEBGIS进行专项网发布以期实现远程访问。

该系统的将重点开发数据库管理、查询显示、空间分析、趋势分析、远程操作、数据共享、大数据分析等功能,模型库通常根据需要设立土壤动物物种多样性数据库的环境背景数据,例如植被类型、土壤类型与质地、气候、农田生态系统质量、人口、GDP、区域生态环境评估、大数据分析与决策等模块。利用现代空间技术(卫星遥感与无人机航拍),并配合自动化的环境观测、土壤动物物种多样性实地调查以及专项网技术等,实现农田、森林、草地和湿地生态系统动态变化提取与入库、获取土壤动物物种多样性变化。系统最终实现海量地理空间数据的建库、转换、拓扑检查、查询统计、数据抽取、制图输出、分析决策等一系列基础地理空间数据管理功能,是面向土壤动物多样性海量地理空间数据动态管理与服务的平台。

4.1共享平台建设的基本通则

为了保证土壤动物物种多样性数据的有效利用,数据共享平台建设基于GIS与数据库技术,依据一体化、规范化的原则,对数据库进行整合、加工,使该数据库在功能完备的基础上,具有一定的可扩展性,构建我国土壤动物多样性数据信息管理、信息查询系统,建立土壤动物物种多样性数据信息共享平台。

1)一体化原则  以专项网土壤动物多样性数据管理为主线,对数据共享服务平台的数据整理与分类,实现数据的一体化管理。其管理内容主要包括空间数据、属性数据、多媒体数据、遥感影像数据,以及各类数据的一体化管理。

2)数据共享原则  专项网土壤动物多样性数据共享是以一体化管理为目标,在各个子系统之间实现基础数据、业务数据和成果数据有选择、有目的的相互读取或更改。

3)可扩展与开放原则  中心数据库系统的设计具有一定的可扩展机制,在一定程度上满足未来对土壤动物物种多样性数据的需要;并且按照开放式系统的标准与技术进行设计与开发,不仅在数据库内容上开放,而且也为数据库的应用开发提供一套开放机制。

4)安全性与实用性原则  数据库的设计采用多种安全机制,确保数据的安全与稳定运行;同时,考虑与其他应用系统的接口,操作简便。

4.2 信息共享平台建设方案

1)平台概述  在共享平台建设中,因为土壤动物物种多样性数据的分散性和多样性,决定了对于Internet/Intranet环境和移动应用环境的需求是十分突出的。信息共享平台作为是一种重要的信息手段,如何基于新的Internet/Intranet环境进行发布,如何在不同的应用终端和环境中对于土壤动物多样性信息进行有效利用和显示,同时兼顾数据的统一完整和高速传递,使得共享平台真正地为广大非专业人员服务,是本次信息共享平台建设中应该解决的主要问题。

系统由数据存储子系统、数据服务子系统、应用服务子系统、可视化交互子系统以及公共支撑子系统系统构成。系统采用B/S架构,按照分层分模块的思路以满足弹性可扩展的业务需求。在纵向进行合理的业务层次和功能模块拆分,提高并行开发效率,降低系统升级维护成本。

2)共享平台模式  针对现有的业务流程进行梳理,设计土壤动物物种多样性共享平台的基本业务模式。从数据流导向分析,多源传感器数据经过数据解析、预处理、融合后进入数据管理平台统一存储管理,数据应用层的各子模块通过大数据管理平台的接口检索相关数据进行模型计算,将结果传递给展示层进行数据展示。

数据采集层通过接入各传感器的数据传输接口获取实时数据和离线数据。数据处理层通过解析、预处理、融合等操作对原始数据进行初步处理。数据管理采用大数据管理平台,根据数据的不同特性进行分别管理。Kafka消息队列用于处理数据接收峰值,保障数据的安全性;ElasticSearch集群提供高效数据检索服务;HBase集群用于进行数据备份;元数据库中完成系统元数据的管理;HDFS分布式文件系统用于系统中文档、遥感图像等数据的存储。数据应用层构建在数据管理层的基础之上,过元数据实现对业务流程、模型的定义和约束;通过实时传感器数据实现作物长势监控;通过海量历史数据实现综合分析。

数据展示主要通过PC机屏幕和监控大屏实现,通过监控大屏对一些关键指标进行综合展示,更好的突出重要内容。

土壤动物物种多样性数据信息共享平台通过汇集、管理信息资源,应用海量图形管理技术和地图引擎驱动技术,为生物多样化数据提供可视化、智能化的支持。土壤动物物种多样性数据共享平台应具有系统管理、数据管理、数据服务、应用服务、工具服务等功能。

①系统管理  主要提供平台系统的管理功能;具体包含服务配置、权限管理、安全管理、基础性管理功能。

②数据管理  主要提供图形数据管理功能;具体包含元数据管理、目录管理、数据维护、版本管理、数据检测等功能。

③数据服务  主要提供地图数据共享交换服务;具体功能包括数据查询、数据发布与订阅、格式与坐标系转换、数据共享与交换。

④应用服务  主要提供业务数据在地图上的展示、分析等功能;具体包含基础展示功能、拓展功能、专业应用功能、模型分析/应用功能、虚拟三维展示功能。

⑤工具服务  主要包括绘图工具(ARCGIS绘图等工具)和分析工具(数据挖掘等分析工具),并将这些工具无缝集成在平台上。

地理信息资源共享平台规划建设方案中除应包括以上功能外,还可进行适当扩充。

4.3 信息共享平台系统架构

土壤动物物种多样性信息共享平台结合业务功能点、软件系统基础服务可自顶向下切分为展示层、业务层、数据管理层、基础环境层和公共层。

展示层由可视化交互子系统构成,用于终端展示和用户交互;业务层由应用服务子系统构成,提供系统核心服务;数据管理层由数据服务子系统和数据存储子系统构成,数据服务子系统用于外部数据的接收、解析、处理。数据存储子系统由大数据管理平台构成,用于系统内部数据的管理;公共层由公共支撑子系统构成,用于各层公共模块的组织和管理;基础环境层包含各数据存储集群以及底层的操作系统环境。

4.4 显示交互子系统

交互显示子系统主要是为用户提供数据展示界面、数据分析界面、文件和报告管理界面。系统主体功能模块图如图4

4交互显示子系统主体功能模块图

子系统基于BDA-SmartVIS平台进行开发,该平台基于AngularBootstrapPrimeng开发,支持响应式布局、支持多种多维数据统计以及图表展示、支持文件上传、下载、查看等功能(图5)。

5 BDA-SmartVIS架构图

4.5 数据存储管理子系统

数据存储子系统是平台运行的数据支撑系统,主要为各业务应用系统提供数据存储和管理服务。数据存储子系统支持结构化、非结构化以及文件数据,支持单机和集群部署方式,可以根据需要动态扩容,并以Restful接口对外提供Web服务。

数据存储子系统主要包括结构化数据模块、非结构化数据模块、文件数据模块、元数据模块以及配置数据模块等模块。结构化数据模块、非结构化数据模块和文件数据模块在元数据模块和配置数据模块的支撑下完成业务数据的存储管理,其架构如图6所示。

数据存储模块平台是面向行业大数据,为开发人员提供,便于快速系统搭建,支持定制开发,具有专业技术团队支持,可有效管理海量结构化、半结构化、非结构化数据的数据存储中间件。平台具有支持SQL、实时性、分布式、可扩展、灵活存储、统一操作等特性,并且已经在情报分析、遥感图像等行业得到了很好应用。其核心架构如图7所示

6数据存储子系统组成结构

该数据存储组件基于Spring Boot框架实现,并以Restful服务的方式对外提供访问接口,数据交互采用Json格式。通过存储组件可以有效管理结构化、非结构化以及文件数据,支持多种存储引擎。改存储组件具有支持全文检索,支持数据的分布式、多副本存储,支持按需动态扩容,支持组件的按需插拔等特性。

主要组成组件包含CoreManager Client ,其中Core提供核心数据访问服务, Manager-提供安装部署与运维监控服务, Client-提供核心依赖环境,供第三方使用。应用场景与应用模式如图8、图9所示。

7数据存储组件核心架构

8应用场景

9应用模式

平台主要特点:

1基于库、表、记录三级管理,自定义DDLDML

2支持结构化、半结构化、非结构化数据存储以及内存数据操作;

3提供restful apisql两种交互方式;

4支持组件的按需插拔,可根据需求只安装或启动部分组件;

5多语言支持,支持中文、英文全文检索;

6面向分布式,按需扩容,支持多副本、多版本数据存储;

7支持window平台,仅依赖jdk环境,支持自动化部署、虚拟化部署。

4.6结构化数据模块

结构化数据模块主要负责结构数据的增、删、改、查操作,以及对结构化数据的批量导入和批量删除操作。其底层默认支持MySQL单实例存储,可以根据需要配置多个实例或者切换其他的结构化数据库引擎。

4.7非结构化数据模块

非结构化数据模块主要负责非结构化数据的增、删、改、查操作(其中查包含全文检索),以及对非结构化数据的批量导入和批量删除操作。其底层默认支持ElasticSearch搜索引擎,集群的规模可以根据需要动态扩展。

4.8文件数据模块

文件数据模块主要负责文件数据的本地上传与下载、基于流式的上传与下载以及文件的删除操作,并且可以根据文件大小以及服务配置动态的将文件分布到HBaseHDFSLocal FileFtp Server等存储中。

4.9 地理信息数据模块

地理信息数据模块主要是对地理信息文件通过geoserver进行相关的发布与在线编辑等操作。可以根据不同的文件类型及相关业务需求对地理信息文件实现高亮,属性编辑等相关操作。

4.10 元数据模块

元数据模块主要负责处理用户创建库、表的请求,从功能角度实现了库元数据的管理、表元数据的管理和文件元数据的管理。

4.11 配置数据模块

配置数据模块主要负责系统配置管理、服务组件配置管理、存储组件配置管理、缓存组件配置管理等。其中,系统配置管理主要完成系统整体配置信息的管理,如服务端口等;服务组件配置管理主要用于子系统启动时哪些服务组件需要加载,如是否加载HDFS服务等;存储组件配置管理主要完成具体存储组件的配置管理,如MySQL的配置信息等;缓存组件配置管理主要完成缓存组件配置信息的管理,如缓存服务器地址等配置信息。

4.12应用服务子系统

应用服务子系统主要包括数据的查询、分析,解析、导出等功能,对系统相关参数的配置以及系统运行过程中日志的记录和系统本身功能模块。

4.13建立遵循国际标准,技术先进的的图形系统

平台系统基于 WebGIS 技术,开发地图发布系统,是基于标准化组织IETFW3CInternet制定的开放标准,为系统应用的进一步扩展提供了极大的发挥地理,使得系统很容易通过Web与其他信息服务进行无缝集成,建立功能丰富的各种应用。系统支持COM/DCOM技术,支持Java技术,支持.NET技术,支持SQLOracle数据库,同时,紧盯先进国际标准及技术, 实现我国土壤动物物种多样性数据库的发布、浏览、查询、分析等功能。

4.14上报成果

1)技术规范  土壤动物物种多样性查询、共享技术规范。

2)信息系统  土壤动物物种多样信息系统软件知识产权和土壤动物物种多样信息共享平台知识产权。

3)软件知识产权  土壤动物物种多样性信息管理与应用系统和土壤动物物种多样性信息共享平台。

5格式要求

5.1数据存储格式

数据存储格式见表4

4数据存储格式

序号

数据类型

存储格式

   1

遥感图像

ERDAS IMG格式                

   2

矢量图层

ARCINFO格式                  

   3

文本数据

ACCESS格式                   

   4

其他图象

JPG格式                      

   5

多媒体

WAV. AVI. MPEG. MP3            

   6

数字高程

ARC/INFO Grid格式            

   7

数据集

采用ARCGIS Geodatabase格式     

5.2报告文本格式要求

1)文本规格  土壤动物物种多样性信息整理分析报告的外形尺寸为A4

2)封面格式

第一行:土壤动物物种多样性信息整理分析报告;

第二行:编制单位;

第三行:日期;

第四行:中国××(地名)。

3)正文内容  项目实施单位全称(加盖公章)、项目负责人、技术总负责人、分项目负责人和主要参加人员姓名;报告书编制单位全称(加盖公章)、编制人、审核人姓名、、编制单位地址、通信地址、邮政编码、联系人姓名、联系电话、邮件地址等内容。

6质量管理

为了严格执行本规定,确保调查成果准确可靠,承担调查的单位均需设置相应的质量管理人员,制定质量管理制度,加强质量管理工作。同时,中国科学院有关部门负责各省质量检查验收工作。专职检查工作人员应由政治思想好、办事公正,坚持原则,具有助理工程师以上职称,并具有较高技术水平和丰富的农业生物调查工作经验的人员承担。在质量检查工作中,应及时发现问题,解决问题,并将有关情况及时报告给有关单位。

7检查内容

质量检查是对调查前的准备、外业、内业各项工序和成果进行检查。外业前准备工作质量检查内容包括技术方案、操作细则、图面材料、图表以及所用的仪器和工具等进行审查,并通过试用检查其适用性。在上述各项检查合格的基础上,着重对外业调查样地进行检查。内业检查包括样地调查原始记录、资源统计表、图面资料,遥感判读质量的检查,调查报告的检查。

2025/11/24 2:24:12
  • 联系方式
  • wuhui@ibcas.ac.cn
  • 010-6283 6499
  • 北京市海淀区香山路