[发明专利]一种基于海量标准文献数据的排序优化算法技术实现方法

说明书

本发明公开了一种基于海量标准文献数据的排序优化算法技术实现方法，属于标准文献关键词检索技术领域，基于solr搜索引擎，支持层面搜索、命中醒目显示，通过设置edismax query方式以及boost参数，在建索引schema时，设置排序字段BASE_ORDER作为基准boost打分，通过map函数为每个字段的模糊匹配与精确匹配规整为不同的层级，将这个层级和BASE_ORDER字段做算术加运算，即可进行倒序排序。本发明通过标准文献检索过程中对标准中的标题名称、题录、全文等多个字段进行权重打分，对字段赋予不同权重层级，针对标准号搜索进行特殊化搜索排序，提升标准文献检索的高效性、实用性。

技术领域

本发明涉及一种标准文献检索排序处理算法，特别是涉及一种基于海量标准文献数据的排序优化算法技术实现方法，属于标准文献关键词检索技术领域。

背景技术

目前，标准电子文献检索与现有的普通文献检索既有共通性，也有其特性，现有的普通文献检索排序方法大多是基于统计词频率、词分组等方法来对检索关键词与目标文档关键词的匹配程度进行打分，从而实现对检索结果的排序。

在申请号为201010182289.5的中国专利中，公开了一种面向源文献元关键词的检索系统，其具有一定的通用性，但是直接将上述方法应用于标准文献检索中，在标准上查到结果的准确性和实用性方面表现效果不好，即搜索出来的结果不是用户真正需要的结果，由于标准文献检索需要对标准号、标准名称(中英文名)、标准题录(适用范围等)以及标准全文进行精确查询与模糊查询，需对不同类型字段设置不同的层级，这样则可给查询出来的每一条结果有个权重，然后这个权重值再与文档的基准boost打分BASE_ORDER字段做算术加运算，得出最终的一个boost分值，再进行排序。

发明内容

本发明的主要目的是为了提供一种基于海量标准文献数据的排序优化算法技术实现方法，解决现有的普通文献检索算法在标准行业检索中的命中准确率低、效率低的问题。

本发明的目的可以通过采用如下技术方案达到：

一种基于海量标准文献数据的排序优化算法技术实现方法，包括如下步骤：

步骤1：安装和配置Solr搜索服务器，Solr搜索引擎底层是基于lucene的分词组件，构建SolrInputDocument对象，增加索引，按需添加相应的core数据表来分片存储数据，并为每个core配置uniqueKey；

步骤2：数据库服务器中的数据是动态增量的，所以需要定期刷新搜索服务器中用于存放搜索数据的core数据表，此外，针对全量数据对文档的进行基准boost打分，设置字段为BASE_ORDER；

步骤3：用户在客户端选择搜索方式与输入搜索关键字后，客户端将搜索方式与搜索关键字发送请求给服务器，服务器通过搜索解析器判断检索类型，以及根据HMM算法来切分搜索关键字。

进一步的，所述步骤2中，基准boost打分的层级依据为：标准代号的指定顺序、标准专业类号正序、标准顺序号正序、标准年代号倒叙，年代号倒叙让所查标准的最新状态排在前面。

进一步的，所述步骤2中，针对数据库增量的数据更新进solr的相应的core中，同时要全量计算BASE_ORDER的值，以保证基准boost打分的准确性，这个定时刷新的周期根据数据的实际情况来设定。

进一步的，所述步骤3中，搜索方式包括标准号搜索、题录搜索、全文搜索、题录与全文混合搜索。

进一步的，所述步骤3中，切分搜索关键字包括如下步骤：

步骤31：判断搜索关键字是否包含恶意字符，如有，则通过正则表达式替换掉，再判断搜索方式；

步骤32：使用特殊搜索解析器判断是否为标准号特殊搜索，如果结果为true则执行步骤33，结果为false则执行步骤39；