(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210082222.7 (22)申请日 2022.01.24 (71)申请人 深圳市慧鲤科技有限公司 地址 518000 广东省深圳市前海深港合作 区前湾一路1号A栋201室 （入驻深圳市 前海商务秘书 有限公司） (72)发明人 彭心　 (74)专利代理 机构 北京中知恒瑞知识产权代理 事务所(普通 合伙) 11889 专利代理师 袁忠林 (51)Int.Cl. G06F 3/01(2006.01) G06T 19/00(2011.01) G06T 13/40(2011.01) G06V 40/10(2022.01)G06V 20/40(2022.01) G06V 10/44(2022.01) (54)发明名称 一种AR互动方法、 装置、 设备及存 储介质 (57)摘要 本公开提供了一种AR互动方法、 装置、 设备 及存储介质， 通过获取的第一用户端采集的、 现 实场景的多张第一视频图像， 识别图像中的目标 对象在现实场景中的现实位置及识别目标对象 的动作， 进而根据动作生成虚拟对象， 将虚拟对 象与现实位置进行绑定保存， 这样， 借助终端所 采集的视频图像， 即可得到用户所创作的虚拟对 象， 进而将虚拟对象和现实位置进行绑定保存， 从而实现AR互动， 可以有效降低对特定设备的依 赖， 减少设备方面的造价消耗， 还可以降低AR互 动中对用户设备端计算资源消耗和依赖， 可以降 低AR互动门槛， 简化AR互动的复杂度， 增加AR交 互的适用性和便利度， 有利于提高用户的AR体 验。 权利要求书2页 说明书13页 附图6页 CN 114489337 A 2022.05.13 CN 114489337 A 1.一种AR互动方法， 其特 征在于， 所述方法包括： 获取第一用户端采集的、 现实场景的多张第一视频图像， 所述第一视频图像包含目标 对象； 基于所述多张第一视频图像， 识别所述目标对象在所述现实场景中的现实位置， 以及 识别所述目标对象的动作； 根据所述目标对象的动作， 生成虚拟对象； 将所述虚拟对象与所述现实位置进行绑定保存。 2.根据权利要求1所述的方法， 其特征在于， 基于所述多张第一视频图像， 识别所述目 标对象在所述现实场景中的现实位置， 包括： 基于所述多张第一视频图像中的至少一张， 提取图像特 征； 基于所述图像特征， 在所述现实场景对应的AR场景模型中进行匹配， 得到所述目标对 象在所述现实场景中的现实位置 。 3.根据权利要求1所述的方法， 其特 征在于， 所述识别所述目标对象的动作， 包括： 针对每张第一视频图像， 确定所述目标对象在所述第一视频图像中的图像位置； 基于所述多 张第一视频图像确定出的多个所述图像位置， 确定所述目标对象的移动轨 迹； 基于所述移动轨 迹， 确定所述目标对象的动作。 4.根据权利要求3所述的方法， 其特征在于， 所述根据所述目标对象的动作， 生成虚拟 对象， 包括： 基于所述移动轨 迹， 生成虚拟对象， 所述虚拟对象的轮廓与所述移动轨 迹相匹配。 5.根据权利要求1所述的方法， 其特征在于， 在所述将所述虚拟对象与 所述现实位置进 行绑定保存之后， 所述方法包括： 通过所述第一用户端向第一用户展示所述虚拟对象在所述现实场景中的AR效果画面。 6.根据权利要求5所述的方法， 其特征在于， 在所述通过所述第 一用户端向第 一用户展 示所述虚拟对象在所述现实场景中的AR效果画面之后， 所述方法包括： 接收所述第一用户针对所述AR效果画面中所述虚拟对象的控制操作； 控制所述虚拟对象在所述AR效果画面中执 行与所述控制操作对应的指令 。 7.根据权利要求1所述的方法， 其特征在于， 在所述将所述虚拟对象与 所述现实位置进 行绑定保存之后， 所述方法还 包括： 获取所述第一用户端采集的第二视频图像； 识别所述第二视频图像中的场景位置是否与所述现实位置一 致； 若一致， 获取与所述现实位置绑定保存的所述虚拟对象， 作为目标虚拟对象； 通过所述第一用户端向第一用户展示所述目标虚拟对象在所述现实场景中的AR效果 画面。 8.根据权利要求7所述的方法， 其特征在于， 响应于所述与所述现实位置绑定保存的所 述虚拟对 象为多个， 所述获取与所述现实位置绑定保存的所述虚拟对 象， 作为目标虚拟对 象， 包括： 从多个所述虚拟对象中确定出 预设数量的目标虚拟对象。 9.根据权利要求1所述的方法， 其特征在于， 在所述将所述虚拟对象与 所述现实位置进权　利　要　求　书 1/2 页 2 CN 114489337 A 2行绑定保存之后， 所述方法还 包括： 响应于所述第 一用户针对所述虚拟对象施加的允许共享操作， 将所述虚拟对象设置为 共享状态， 以使第二用户能够调取观看所述虚拟对象。 10.一种AR互动装置， 其特 征在于， 所述装置包括： 图像获取模块， 用于获取第 一用户端采集的、 现实场景的多 张第一视频图像， 所述第一 视频图像包 含目标对象； 动作识别模块， 用于基于所述多张第一视频图像， 识别所述目标对象在所述现实场景 中的现实位置， 以及识别所述目标对象的动作； 对象生成模块， 用于根据所述目标对象的动作， 生成虚拟对象； 对象存储模块， 用于将所述虚拟对象与所述现实位置进行绑定保存。 11.一种电子设备， 其特征在于， 包括： 处理器、 存储器和总线， 所述存储器存储有所述 处理器可执行 的机器可读指令， 当电子设备运行时， 所述处理器与所述存储器之间通过总 线通信， 所述机器可读指 令被所述处理器执行时执行如权利要求 1至9中任一项 所述的AR互 动方法的步骤。 12.一种计算机可读存储介质， 其特征在于， 该计算机可读存储介质上存储有计算机程 序， 该计算机程序被处理器运行时执行如权利要求1至9中任一项所述的AR互动方法的步 骤。权　利　要　求　书 2/2 页 3 CN 114489337 A 3