前言

当前,PeterShare数据库中已经从各个渠道收集了约6TB的地理信息科学、测绘、遥感、城市规划、地图制图等方面的相关数据资料,数据量较大,但因前期收集时整理不善,如今难以快速找到所需数据,部分数据存储也有一定冗余,因此亟需对数据仓库进行一个系统的整理。本文将对数据整理的完整过程进行介绍和规范,如果你也有兴趣参与数据的整理,请您仔细阅读本文,以便保证整理工作的统一性。有兴趣的读者可通过邮箱、微信等方式联系PeterZhong。

环境配置

软件安装

PeterShare所有数据均存储在绿联NAS中,需要使用绿联云软件平台进行管理,可以直接访问https://www.ug.link/peterzhong在网页端管理数据,但是更推荐下载专门的软件来管理数据库文件以保证稳定性,同时免去了每次登录的麻烦。绿联云软件目前支持Windows、MacOS、Android、IOS平台(HarmonyOS Next可以使用卓易通安装使用),访问https://www.ugnas.com/support/download-list/id-21,选择UGOS Pro即可下载。

下载绿联云客户端

文件管理

打开已安装的绿联云软件,使用账号密码登录进去,请妥善保管好账号密码!随后点击打开文件管理器,进入共享文件夹,打开共享资料库,此处即为PeterShare的后台。

选择UGOS Pro下载

请注意:在此文件夹中的所有操作都会立即在PeterShare网站上生效体现出来,注意谨慎操作。

整理的过程就是在“已整理公网共享资料/01地理信息共享数据库”中自己所负责的文件夹内将一类的数据文件(具体标准见下文)新建一个专门的空文件夹”打包“后整体“移动”到整理工作区文件夹的相应大类中,并附上说明文档。

整理规范

文件夹组织

资料库中已经预设了五个大类的文件夹,所有整理都必须归于这些类别中,如有对不上号或难以归类的沟通解决。在大类文件夹中由整理者自行新建小文件夹简要描述数据内容,在其中放入结构良好、下载即用的数据文件,并在小文件夹中附上Markdown格式的说明文档,详细记录数据的相关信息。

说明文档

说明文档全部统一按照以下模板进行,实际操作时只需要使用绿联云中的文本编辑器粘贴下面的模板,并根据实际数据修改{}对应内容,保存到相应位置即可。

# {数据标题}

## 数据内容

- 数据类型:{离线数据/在线数据/符号系统/规范文件}
- 内容描述:{内容描述}
- 数据格式:{30m tif/shp/gdb/mxd等}
- 数据大小:{KB/MB/GB/TB}
- 数据范围:{全球/中国/福建省}
- 数据质量:{A地信数据有正确坐标系;B地信数据无正确坐标系;C仅为普通图片,非地信数据}
- 数据时间:{2012年~2020年}

## 来源版权

- 数据来源:{附上网站链接、公众号文章链接、公众号名称等}
- 来源标签:{官方/论文/仅限个人使用/民间}

一份示例的数据说明文档如下所示

# 福建省基础地理要素

## 数据内容

- 数据类型:离线数据
- 内容描述:来自于福建天地图官方的基础地理数据,包括行政界线、交通、水文等多项内容。
- 数据格式:gdb地理数据库、mxd工程文件
- 数据大小:60.40MB
- 数据范围:福建省
- 数据质量:A地信数据有正确坐标系
- 数据时间:2024年

## 来源版权

- 数据来源:https://bzdt.fjmap.net/widget/standardmap/search/search.html
- 来源标签:官方

将该文档以README.md为文件名保存在数据文件夹内,PeterShare网站上即会显示相应的说明

步骤与标准

整理步骤

  1. 下载本批次数据,若为不同区域的同质数据,可只下载两到三个区域的数据;
  2. 使用ArcGIS等软件打开数据预览,了解数据内容、数据范围,确认坐标系等信息完整正确,查看记录栅格数据的空间分辨率信息
  3. 确保所有压缩包文件已去除解压密码限制,可以视情况小单位重新打包压缩包;
  4. 以压缩包名称/文件夹名称/文件夹内的附带信息进行网络搜索,找到可能的数据来源;
  5. 通过数据内的信息和数据来源处获取数据时间信息;
  6. 根据上述步骤得到的信息填写说明文档,将数据和文档移动到相应位置

整理标准

  1. gdb类型必须打包为压缩包,可以在本地打包,也可以使用绿联云在线打包,其它成套散列文件也建议打包为压缩包(特指只下载其中一个文件无法正常读取数据的,需要成套下载才能打开的数据格式)
  2. 所有压缩包都不能有解压密码限制,对于原有解压密码的,通过查找数据来源或查看文件中的提示找到解压密码,并删除解压密码限制(可以本地进行,也可以直接通过绿联云先使用解压密码解压后按需重新打包为压缩包)
  3. 所有数据都必须注明来源
  4. 简单的一套数据直接放在数据所属的文件夹,分分辨率/分类别的数据以分辨率/类别命名文件夹后存入相应位置,分地区的数据按照地区层级关系设置文件夹存储
  5. 尽可能查找到对查找、了解数据有帮助的信息填入数据说明文档的相应位置
  6. 数据严禁重复存储、重复分类,已有可正常使用的压缩包的不再存储解压后的数据