[发明专利]基于增强学习的双目视觉导盲仪

摘要

本发明公开了一种基于增强学习的双目视觉导盲仪，包括：双目视觉模块，用于将第一、第二图像采集模块的图像进行处理，生成实时的深度图，构建三维场景；语音模块，包括语音输入模块和输出模块，语音输入模块包括语音识别模块，用于进行语音识别，语音输出模块，用于以语音的方式输出增强学习模块的行为指令、定位信息和路径导航信息；状态集生成模块，将三维场景通过卷积神经网络提取环境特征，生成状态集；增强学习模块，包括增强学习网络，以状态集作为输入，学习状态转换策略得到输出动作指令；GPS导航模块，用于定位，及根据语音识别信息生成路径规划。可以提供盲人的实时路径规划信号，对盲人的行动策略进行方便的实时的指导。

主权项

1.一种基于增强学习的双目视觉导盲仪，其特征在于，包括：双目视觉模块，用于将第一图像采集模块和第二图像采集模块的图像进行处理，生成实时的深度图，构建三维场景；语音模块，包括语音输入模块和语音输出模块，所述语音输入模块包括语音识别模块，用于进行语音识别，所述语音输出模块，用于以语音的方式输出增强学习模块的行为指令、定位信息和路径导航信息；状态集生成模块，将构建的三维场景通过卷积神经网络提取环境特征，生成状态集；所述状态集生成模块还包括将盲人当前的状态信息根据预先设置的字典映射关系进行离散化成不同的一维词向量，再将词向量按照固定的规则进行行方向拼合，编码成稀疏矩阵，所述稀疏矩阵的维度和卷积神经网络的输入相同，与提取的环境特征融合得到状态集；增强学习模块，包括增强学习网络，所述增强学习网络以状态集作为输入，学习状态转换策略得到输出动作指令；GPS导航模块，用于定位，及根据语音识别信息生成路径规划。