
技术摘要:
本发明公开了一种全球海量遥感数据组织管理方法,包括:将获取的遥感影像数据切分为预先设定大小的瓦片,并计算所述瓦片的信息;基于所述瓦片的信息计算hbase中的rowkey,确定所述瓦片在hbase中的存储位置,并将所述瓦片及瓦片信息存储到hbase中;通过调用接口,基于调 全部
背景技术:
随着航空航天遥感技术的快速发展,以及获取影像数据设备的多样化,对获取遥 感影像数据的方式产生了深刻变革,由此使得遥感影像数据的数量成爆炸式增长。在此情 况下,如何有效的生成和查询遥感影像,对遥感影像在军事、勘探、对地观测等领域的应用 有着重要作用。 在现有的技术中,遥感影像的存储和管理主要使用基于文件系统和基于传统关系 型数据库的存储方式。基于文件的存储方式需要手动组织安排存储文件,不仅不易于管理, 无法良好的组织不同的遥感时相数据,而且在多用户并发访问的情况下容易造成效率低下 的问题。而基于传统的关系型数据库的存储方式,在面对海量的遥感数据的情况下,易受到 单节点故障、扩展性不足和查询效率低等问题。
技术实现要素:
基于上述问题,本发明提供了一种全球海量遥感数据组织管理方法,包括: 将遥感影像数据进行瓦片处理,得到各瓦片的信息; 基于所述各瓦片的信息,利用hbase的rowkey技术进行存储; 当需要查询时,利用rowkey从所述hbase中查询对应的瓦片; 其中,瓦片的信息包括:所属的层级信息,时相信息,瓦片数据类型和经纬度范围。 优选的,所述将遥感影像数据进行瓦片处理,得到各瓦片的信息,包括: 获取遥感影像数据的分辨率、经纬度信息,计算所述遥感影像包含瓦片所在层级 以及瓦片的列范围和行范围; 基于所述瓦片的列范围从遥感影像数据中切出对应的瓦片; 所述瓦片的范围包括:瓦片的最小列号、瓦片的最大列号以及瓦片的最小行号和 瓦片的最大行号。 优选的,所述遥感影像包含瓦片所在层级按下式计算: 2level=180.0/256/length 式中,level:瓦片所在层级;length:分辨率长像素。 优选的,所述瓦片的最小列号按下式计算: minCol=(2level*(minLon 180))/180 式中,minLon:遥感影像的最小经度;minCol:遥感影像所包含瓦片的最小列号; 所述瓦片的最大列号按下式计算: maxCol=((2level*(maxLon 180))/180))-1 式中,maxCol:瓦片的最大列号;maxLon:遥感影像的最大经度; 4 CN 111552753 A 说 明 书 2/6 页 所述瓦片的最小行号按下式计算: minRow=(2level*(90-maxLat))/180 式中,minRow:瓦片的最小行号;maxLat:遥感影像的最大纬度; 所述瓦片的最大行号按下式计算: maxRow=((2level*(90-minLat))/180))-1 式中,maxRow:瓦片的最大行号;minLat:遥感影像的最小纬度。 优选的,所述基于各瓦片的信息,利用hbase的rowkey技术进行存储,包括: 基于各瓦片所在层、行、列信息生成hbase的rowkey索引,并根据rowkey索引将所 述瓦片的信息存入hbase数据库中。 优选的,所述基于各瓦片所在层、行、列信息生成hbase的rowkey索引,包括: 基于所述瓦片所在的层级计算当前层级的瓦片总数; 基于所述当前层级的瓦片总数、所述瓦片所在行和列,以及预设的瓦片缩放级别 计算所述瓦片在hbase中的分区; 基于所述瓦片在hbase中的分区确定所述分区所在的服务器,并将所述瓦片信息 存储在所述服务器的内存中; 基于所述瓦片所在层级计算当前瓦片所在层级前的所有层的行数和,以及列数 和; 基于所述瓦片在hbase中的分区、瓦片类型、以及当前瓦片所在层级前的所有层的 行数和,以及列数和计算hbase中的rowkey; 基于计算的hbase中的rowkey确定所述rowkey对应的瓦片保存到所述分区所在的 regionserver进行通讯,将所述瓦片及所述瓦片信息存储在所述regionserver的内存中。 优选的,所述瓦片总数按下式计算: Total=2(2*Level 1) 式中,Level:瓦片所在层级;Total:瓦片所在层级中瓦片的总数; 优选的,hbase中的分区按下式计算: Region=Y*C/2K X/2(K 1) 式中,Region为,Y为瓦片所在行数;X为瓦片所在列数;K=Level-N,C=2N; 优选的,所述hbase中的rowkey按下式计算: Rowkey=1015*region 1014*layerType (TotalRowLevel Y)*107 (TotalColLevel X) 式中,layerType为瓦片类型对应的值;TotalRowLevel为瓦片所在层前的所有层 的行数和;TotalColLevel为瓦片所在层级前的所有层的列数和; 优选的,所述瓦片所在层前的所有层的行数和TotalRowLevel,按下式计算: 瓦片所在层级前的所有层的列数和TotalColLevel,按下式计算: 式中,i为瓦片所在层级。 优选的,还包括: 5 CN 111552753 A 说 明 书 3/6 页 当所述memorystore达到一定大小时,会将所述memorystore中的数据持久化在 storeFile文件中; 优选的,还包括:对于层级信息相同的瓦片,hbase会根据瓦片的Timestamp时间戳 信息,来判断是否覆盖已有的瓦片信息。 优选的,所述当需要查询时,利用rowkey从所述hbase中查询对应的瓦片,包括: 当需要查询时,根据rowkey定位需要查询的数据所在的区块,并基于所在区块查 找所述区块所在的服务器; 从所述服务器中查询对应的瓦片。 一种全球海量遥感数据组织管理系统,包括: 数据处理模块:用于将遥感影像数据进行瓦片处理,得到各瓦片的信息; 存储模块,用于基于所述各瓦片的信息,利用hbase的rowkey技术进行存储; 查询模块,用于当需要查询时,利用rowkey从所述hbase中查询对应的瓦片; 其中,瓦片的信息包括:所属的层级信息,时相信息,瓦片数据类型和经纬度范围。 与现有技术相比,本发明的有益效果为: 一种全球海量遥感数据组织管理方法,包括:将获取的遥感影像数据切分为预先 设定大小的瓦片,并计算所述瓦片的信息;基于所述瓦片的信息计算hbase中的rowkey,确 定所述瓦片在hbase中的存储位置,并将所述瓦片及瓦片信息存储到hbase中;通过调用接 口,基于调用请求从所述hbase中查询对应的瓦片;其中,瓦片的信息包括:所属的层级信 息,时相信息,瓦片数据类型和经纬度范围。本发明利用hbase数据库分布式和可扩展性的 优点,以及hbase索引rowkey生成方法,对海量的瓦片数据,实现快速的检索查询。 附图说明 图1为本发明的全球海量遥感数据组织管理方法流程图。