[发明专利]基于立体视觉和手势控制的高空作业遥操作方法及系统

说明书

本发明公开了一种基于立体视觉和手势控制的高空作业遥操作方法及系统，PC端接收双目立体相机采集的高空作业区域实景信息，并实时显示到可穿戴式立体显示器中；根据可穿戴式立体显示器显示的立体实景工况，进行手部操作并实时追踪手和手指的运动信息，将追踪的手和手指运动信息发送至PC端，经处理后转换成仿生机械手的运动指令；仿生机械手接收处理转换后的运动指令，进行相应随动以完成高空作业的遥操作。本发明通过立体视觉和手势控制相结合的遥操作方法和系统，可以保障高空作业人员的人身安全，提高遥操作时操作人员对现场实景的三维感知，同时增强遥操作的交互自然性和沉浸感。

技术领域

本发明属于高空作业遥操作技术领域，具体涉及一种基于立体视觉和手势控制的高空作业遥操作方法及系统。

背景技术

近年来，随着经济的快速发展，我国高层建筑越来越多。目前高空作业涉及电力检修、高架施工、高楼设备安装、清洁等领域，要求操作人员攀爬或站在很高的塔吊车上进行人工作业，危险性大，稍有不慎就会发生坠落事故，对社会及企业都会造成不可挽回的损失，因此用机器人代替蜘蛛人完成极为危险的高空作业尤为必要。

目前的高空作业机器人大多数只能完成一些简单、具有重复性的工作，针对电力检修、高架施工这些需要专业性技术的工作，往往需要操作人员辅助完成，因此遥操作成为了较为主流也比较可靠的交互方式。现有的遥操作模式大多为操作员在操作端通过二维监控屏幕了解判断高空作业区域的工况，操作员很难准确判断高空各部件之间的三维关系；同时通过二维屏幕接收到的二维工况信息利用操纵杆或操纵手柄控制机械手完成作业，这种交互模式生硬，沉浸感差，而且存在一定的误操作率，对于未经过训练的操作员来说难以上手。

因此，亟需一种沉浸感强且交互自然的高空作业遥操作系统及方法来解决传统遥操作方法缺失三维信息、交互设备不易上手，沉浸感弱等的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于立体视觉和手势控制的高空作业遥操作方法及系统，通过远程立体视觉和远程手势控制的结合，保障高空作业人员的人身安全，提高遥操作时操作人员对现场实景的三维感知，同时增强遥操作的交互自然性和沉浸感。

本发明采用以下技术方案：

基于立体视觉和手势控制的高空作业遥操作方法，包括以下步骤：

S1、PC端接收双目立体相机采集的高空作业区域实景信息，并实时显示到可穿戴式立体显示器中；

S2、根据可穿戴式立体显示器显示的立体实景工况，进行手部操作并实时追踪手和手指的运动信息，将追踪的手和手指运动信息发送至PC端，经处理后转换成仿生机械手的运动指令；

S3、仿生机械手接收步骤S2处理转换后的运动指令，进行相应随动以完成高空作业的遥操作。

具体的，步骤S1中，高空作业区域实景信息为两路具有左右双目视差的帧图像和视频流，通过基于Linux系统的Openwrt无线图像传输模块传输至PC端，PC端建立Unity 3D虚拟场景实时显示作业区域的现场实景信息。

进一步的，Unity 3D虚拟场景包括两个作为显示左右单目相机视频流的载体RawImage，并将其目标显示器分别设置为Left Eye和Right Eye，同时将在线视频流播放插件作为载体Raw Image的附件，通过在两个在线视频流播放插件中分别设置输入两路视频流的详细IP地址将实景图像显示到可穿戴式立体显示器中。