[发明专利]一种个性化并行分词处理系统及其处理方法

摘要

本发明涉及一种个性化并行分词处理系统及其处理方法。本发明包括分词请求模块、基于个性化分词词典的分词模块、基于总分词词典的分词模块、控制模块、高速分词处理模块，用户的分词请求同时发送给基于个性化分词词典的分词模块和基于总分词词典的分词模块，基于个性化分词词典的分词模块如果命中，则将分词处理结果通过控制模块返回至分词请求模块，同时中断分词请求模块对基于总分词词典的分词模块的分词请求；否则，根据基于总分词词典的分词模块的分词处理结果，通过控制模块按照最早最少使用原则对个性化分词词典进行动态更新。本发明可在满足分词准确率的同时极大地提高系统的分词效率，满足了移动用户高效的查询需求。

主权项

一种个性化并行分词处理系统，其特征在于：包括分词请求模块、基于个性化分词词典的分词模块、基于总分词词典的分词模块、控制模块、高速分词处理模块；分词请求模块是将用户查询内容同步、并行发送至基于个性化分词词典的分词模块和基于总分词词典的分词模块进行分词处理，同时接收控制模块回送的分词结果及开始下次分词处理的相关触发信息；基于个性化分词词典的分词模块是将用户查询内容的子串与个性化分词词典中的词条进行匹配，完成分词处理过程；其中，个性化分词词典中存放用户在一段时间内的查询关键词，于用户第一次使用时创建，随着用户的使用而逐渐增加词条，词条数目少；基于总分词词典的分词模块是将用户查询内容的子串与总分词词典中的词条进行匹配，完成分词处理过程；其中，总分词词典中存放所有用户共用的所有词条，信息完善，词条数量庞大；控制模块用于同步两个分词模块的处理过程，以及本次分词处理结束后，控制模块向分词请求模块回送分词结果及触发信息，触发下次分词处理过程；用户的分词请求经分词请求模块同时发送至基于个性化分词词典的分词模块、基于总分词词典的分词模块，基于个性化分词词典的分词模块、基于总分词词典的分词模块的处理信息发送至控制模块，控制模块再将分词结果及触发信息回送至分词请求模块；基于个性化分词词典的分词模块、基于总分词词典的分词模块之间连接高速分词处理模块。