[发明专利]一种基于脉冲神经网络强化学习的无地图迷宫导航方法和系统

权利要求书

1.一种基于脉冲神经网络强化学习的无地图迷宫导航方法，包括以下步骤：

步骤一：为移动机器人配备可见光相机、IMU、激光雷达的设备，采用可见光与IMU结合的视觉里程计作为机器人的空间定位方法，基于里程计信息建立机器人坐标系，并在此机器人坐标系中确定导航位置点；

步骤二：选取以0.1m～1m左右边长的正方形作为单个网格，在所述的机器人坐标系中建立路径网格地图，根据机器人里程计中路径位置更新路径标记的栅格地图，栅格地图信息将作为机器人的状态输入；

步骤三：根据导航模型所需的功能在仿真平台中构建三种类型的训练地图，并建立移动机器人的奖励函数，根据步骤一与步骤二所获取的状态信息在仿真平台中基于脉冲神经网络强化学习训练得到移动机器人端到端的脉冲神经网络，根据脉冲神经网络的输出的速度指令该机器人自主地在迷宫中导航到所设置的目标点位置。

2.如权利要求1所述的方法，其特征在于，步骤二所述的栅格地图包含两个N*N的矩阵(初始值为0)，其中一个矩阵表示机器人经过该栅格的次数，另一个矩阵表征移动机器人的行经路径标签，其栅格中数字为表征移动机器人的行驶路径序列，栅格地图的矩阵由如下公式表征：

其中G表示路径栅格地图包含两个N*N的矩阵M_count与M_route，其中M_count矩阵表示机器人经过栅格的次数，M_route表征机器人行进路径的标记矩阵；i_t,j_t表示机器人里程计位置(x_t,y_t)在矩阵中的元素位置，其通过除以正方形栅格边长L取整得到，即i_t＝INT(x_t/L),j_t＝INT(y_t/L)；i_t-1,j_t-1表示上一时刻机器人里程计位置在矩阵中的元素位置；

移动机器人根据当前位姿状态，取机器人当前位置所在栅格的机器人朝向方向左右各90度的栅格的信息作为机器人的输入。

3.如权利要求1所述的方法，步骤三所述的状态信息包括：机器人朝向前方以10度为步长取18维雷达信息、3维机器人位姿信息、2维速度信息、2维目标位置信息，20维数据路径栅格图数据，两个矩阵各10维，其中9维为机器人朝向前方以20度为步长取距离L处的栅格信息,1维为当前所处栅格的信息。

4.如权利要求1所述的方法，其特征在于，步骤三中仿真平台需要建立三种不同类型的训练地图，根据脉冲神经网络控制模型所需功能分为三种：目标导航为主的训练地图、避障为主的训练地图与迷宫路径搜索为主的地图。

5.如权利要求1所述的方法，其特征在于，步骤三所述的脉冲神经网络采用SNN的Actor网络与采用CNN的Critic网络；其中，所述脉冲神经网络根据观测的状态输出控制移动机器人左右两方向的脉冲发放数量，转化成机器人线速度与角速度，控制机器人朝最优化方向前进，观测的状态包括：位姿信息、速度信息、雷达信息与路径栅格图信息；所述的Critic网络根据所述脉冲神经网络输出的脉冲发放信息和当前状态的观测信息，输出状态，动作的价值，在训练过程中作为脉冲神经网络的损失依据。

6.如权利要求5所述的方法，其特征在于，所述的脉冲神经网络包含四个全连层，取LIF模型作为全连接层间的神经元连接模块，输出包含两个神经元，输出脉冲发放率作为计算小车速度的依据。