[发明专利]一种分布式图像索引与检索方法

摘要

本发明提出了一种分布式图像索引与检索方法，包括：搭建Hadoop分布式系统集群，包括HDFS分布式文件系统、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群计算环境和HBase数据库；部署配置基于YARN资源管理器的Spark集群；启动图像索引流处理任务；启动图像检索流处理任务；图像索引流处理任务接收外部输入图像并建立索引；图像检索流处理任务接收待检索图像，输出检索到的相似图像。本发明采用了基于内存计算的Spark Streaming技术，能够实现图像处理任务和特征提取任务的分布式快速计算，具有高度的实时性。 1

主权项

1.一种分布式图像索引与检索方法，其特征在于，包括以下步骤：

步骤1，搭建Hadoop分布式系统集群，包括HDFS分布式文件系统、YARN资源管理器、ZooKeeper分布式应用程序协调服务、Spark集群和HBase数据库；

步骤2，部署配置基于资源管理器YARN的Spark集群；

步骤3，启动图像索引流处理任务；

步骤4，启动图像检索流处理任务；

步骤5，图像索引流处理任务接收外部输入图像序列并建立索引；

步骤6，图像检索流处理任务接收待检索图像，输出检索到的相似图像；

步骤1中，所述YARN资源管理器用于任务调度，负责集群计算资源的管理及为每个任务分配资源，所述HBase数据库用于存储图像；

步骤2包括：在Hadoop分布式系统集群上部署Spark集群，利用YARN资源管理器调度Spark集群的Spark任务容器，Hadoop分布式系统集群中的工作节点包括索引节点、检索节点、以及输出节点；

其中，索引节点负责对输入的图像提取特征，并保存到指定的HBase数据库表中，供后续检索使用；

检索节点，负责对输入的待检索图像计算其与指定HBase数据库表中所存储图像的相似度，并进行排序和输出；

输出节点负责对所有检索节点返回的结果进行归并排序，并从HBase数据库中读取图像编码，然后生成原始图像，再将检索到的图像返回给用户；

步骤3包括：在ZooKeeper分布式应用程序协调服务中建立N个索引表T_i,i＝1,…,N，应用Spark流处理技术在Spark集群中建立N个索引节点S_i，并为每个索引节点分配一个空闲的索引表，当一个索引节点失效时，ZooKeeper分布式应用程序协调服务中对应的索引节点和索引表分配节点自动删除，由Spark流处理技术自动新建索引节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应索引节点及索引表分配节点；

步骤4包括：Spark流处理技术在Spark集群中建立N个检索节点R_i,i＝1,…,N，并为每个检索节点分配一个空闲的索引表，当一个检索节点失效时，ZooKeeper分布式应用程序协调服务中对应的检索节点和索引表分配节点自动删除，由Spark流处理技术自动新建检索节点，并在ZooKeeper分布式应用程序协调服务中重新建立对应检索节点及索引表分配节点；

步骤5包括：对用户输入的图像序列，首先对每个图像I进行BASE64编码得到编码结果B并将编码后的字符串作为输入分发到已启动的索引节点S_i，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_i，然后利用MD5编码对输入的图像编码计算图像的键值K，同时对编码结果B进行解码，并对解码后的图像提取视觉特征向量X，然后将[K,X,B]保存到索引表T中；

步骤6包括：对用户输入的待检索图像，首先对该图像进行BASE64编码得到编码结果B，并将编码后的字符串作为输入分发到已启动的检索节点R_i，并从ZooKeeper分布式应用程序协调服务中获取该索引节点对应的索引表T_u，u∈[1,N]，然后对编码结果B进行解码，并对解码后的图像提取视觉特征向量X，然后计算其与索引表T_u中保存的图像特征的相似度σ，并进行排序，将排序后的前M组结果W_i＝{<K,σ,T_u>_d|d＝1,…,M}发送到输出节点，其中d为排序的序号，输出节点对接收到的检索结果W_i进行归并排序，保留前M组结果，并根据键值K及其对应的索引表T_u读取图像编码结果B，解码生成图像文件并返回图像路径。