[发明专利]海量GNSS小文件云存储方法

摘要

本发明涉及海量GNSS小文件云存储方法，有效解决海量GNSS小文件高效存储、管理、发布和共享的问题，方法是，首先将海量GNSS小文件合并为大文件，对合并后的大文件建立索引；并优化索引块存储策略，将切分后的文件块和索引块存储在数据块的节点或离数据块最近的数据节点上，将GNSS数据类型的索引存储在名称节点上，降低存储容量的消耗和名称节点的内存消耗，提高大量小文件写入、访问和删除的性能，本发明方法简单，易操作，节省存储空间，降低内存消耗，提高写入、读取和删除效率，有效提高海量GNSS小文件高效存储、管理、发布和共享之目的，是对海量GNSS小文件管理上的一大创新，经济和社会效益巨大。

主权项

一种海量GNSS小文件云存储方法，其特征在于，首先将海量GNSS小文件合并为大文件，对合并后的大文件建立索引；并优化索引块存储策略，将切分后的文件块和索引块存储在数据块的节点或离数据块最近的数据节点上，将GNSS数据类型的索引存储在名称节点上，降低存储容量的消耗和名称节点的内存消耗，提高大量小文件写入、访问和删除的性能，具体包括以下步骤：(1)、将海量GNSS小文件合并为大文件，以降低大量小文件对名称节点内存的占用，小文件合并是首先将同一观测时段或解算时间、同一类型的文件进行合并；其中在对GNSS观测文件的合并时，按测站名四位字母的先后顺序进行合并，在对解算成果文件的合并时，按GNSS分析中心名称三位字母的先后顺序进行合并，将大量GNSS观测文件合并成为一个观测时段连续的观测大文件，将解算成果文件合并成为一个解算时间序列连续的解算成果大文件；(2)、对合并后的GNSS大文件构建索引，即分别对观测文件和解算成果构建索引，采用字符与索引一一对应的方式，对观测文件，按文件序号、年积日和测站名构建五级索引，在最后一级索引中存储观测文件的位置信息；对观测文件构建索引时，第一级索引为文件序号，索引范围由[0,9]和[a,z]两个区间组成，[0,9]代表10个阿拉伯整数，[a,z]代表26个英文小写字母，第二级索引为年积日的百位，索引范围为[0,3]，[0,3]代表4个阿拉伯整数，第三级索引对应为年积日的十位，索引范围为[0,9]，第四级索引为年积日的个位，索引范围为[0,9]，第五级索引为四字符长度的测站名，每一个字符的范围落在[0,9]和[a,z]两个区间内；对解算成果文件，按GPS周、周内日和分析中心名称构建六级索引，在最后一级索引中存储解算成果文件的位置信息；对解算成果文件，第一级至第四级索引分别为GPS周的千位、百位、十位和个位，索引范围均为[0,9],第五级索引为GPS周内日，索引范围为[0,7],其中[0,6]代表的7个整数代表一周的日解文件，数字7代表周解文件，第六级索引为三字符长度的分析机构名称，每一个字符均的范围落在[a,z]区间内；(3)、将建立的索引按数据块大小进行切分，由于可以通过GNSS数据处理软件将一天内的观测数据合并，因此文件序号可统一为0，对应观测文件第一级索引文件序号也为0，索引切分时，对观测文件的第二至第五级索引、解算成果的第一至第六级索引，采取自下而上的方式，计算索引的大小，将其切分为64MB大小的索引块；(4)、将索引块放置在存储数据块的节点或离数据块最近的节点上，提高文件读取速度并进一步降低名称节点的内存消耗；(5)、将合并后GNSS大文件的文件类型的索引存储在名称节点上，文件块路径映射和表征观测文件与解算成果类型的三位字符/索引块路径映射存储在名称节点上，文件块和索引块均存储在数据节点上，实现海量GNSS小文件的云存储。