[发明专利]一种基于Unity3D的URP三维视频融合方法

说明书

本发明属于虚拟现实技术领域，提出一种基于Unity3D的URP三维视频融合方法。本发明包括三维视频融合、更改虚拟相机属性、更改投影视频属性、多投影仪拼接、控制投影穿透、屏蔽视频黑边、调参面板功能。本发明基于Un ity3D引擎，通过模拟监控摄像头投影的方式，利用深度信息使监控画面与3D模型无缝融合，实现虚实结合的效果，并且编写脚本完成视频融合系统的各种具体功能。本发明成本低，可控度高，可跨平台开发，数据无需经过第三方平台，隐私更加安全。同时相较传统方案，开发更加简单，调参更加便捷，为视频融合开发人员提供了可靠的解决方案。

技术领域

本发明涉及虚拟现实技术领域，尤其涉及一种基于Unity3D的URP三维视频融合方法。

背景技术

现如今，监控早已随处可见，极大地保障了人们生活的安全性，但想从茫茫的监控画面中提取有效的信息却并非易事。由于3D数据相比2D数据拥有直观、全面等优势，3D数据正获得越来越多的重视，并且应用越来越广泛。同时，随着元宇宙、虚拟现实等技术的发展，三维视频融合将变得很有必要，即将2D的监控画面与虚拟的三维场景无缝融合。如果该技术进一步与当下热门的数字孪生或人工智能等技术相结合，将创造出更多价值，并拥有广阔的前景。

虚拟现实技术(简称VR)，又称虚拟环境、灵境或人工环境，是指利用计算机生成一种可对参与者直接施加视觉、听觉和触觉感受，并允许其交互地观察和操作的虚拟世界的技术。

视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。这个模型中因为视频的加入得到一个无论是虚拟场景还是视频本身都无法单独完成的信息结合体。视频融合的目的是增加虚拟场景与现实的互动性，减小计算机模型中信息不确定因素，增加虚拟模型的信息承载量，为现实与虚拟之间架起一座桥梁，拓展虚拟现实技术的应用领域。

针对这些应用场景，一些公司开发了相应的软件或网站系统(一种基于WebGL的图像投影融合方法，专利公开号：CN113283543A)来供开发者进行使用，但此方式开发出的视频融合系统大多是在Web端运行，无法发挥客户端的全部性能，且需要借助第三方平台进行开发，不仅需要支付巨额费用，而且开发系统中的各种数据也会经过第三方平台，有一定的隐私安全隐患，受限较大。同时，视频融合技术往往属于数字孪生系统下的一个子系统，在开发视频融合技术时，往往需要先开发数字孪生系统的基本功能，无形之中增加了开发成本。由于现有的视频融合方法(如基于三维场景的视频融合方法)都是闭源的，且方法复杂，涉及大量计算机图形学知识，从零开发视频融合方法会有一定挑战。为了解决这些问题，本发明将借助Unity3D开源引擎进行开发，打破僵局。

Unity3D引擎，是一款开源的能够实时进行3D游戏与项目创作的可视化开发平台，该平台提供一整套完善的软件解决方案，支持平台包括手机、平板电脑、PC、游戏主机、增强现实和虚拟现实设备。该平台拥有成熟的可视化界面、物理引擎系统和内置集成库，开发者往往可以通过少量脚本并利用拖拽或添加状态机的方式完成场景的搭建以及具体逻辑、功能的实现。开发者还可以自己编写或修改相关插件等高级操作实现需求的具体功能，在项目运行时能够方便快捷的实时对项目的参数进行修改和调试，可以快捷修改模型加载的精细程度，可以连接数据库和后端。Unity3D不仅有完整成熟且快捷的开发模式，更支持全平台的兼容性，运行在PC端的项目往往仅需要修改少部分代码即可在Android端、Mac端、Web端，等平台运行。

发明内容

本发明的目的是提供一种基于Unity3D的URP三维视频融合方法，基于Unity3D引擎，通过模拟监控摄像头投影的方式，利用深度信息使监控画面与3D模型无缝融合，实现虚实结合的效果，并且编写脚本完成视频融合系统的各种具体功能。本发明所使用的开发平台为Unity3D，成本低，可跨平台开发，支持第三方插件，可控度高，数据无需经过第三方平台，隐私更加安全。