基于优先化排序的变换而优化动态点云的系统和方法与流程

背景技术：

1、随着新的系统和传感器变得可用于捕获高分辨率三维(3d)数据，出现了传输动态点云序列的大数据大小的挑战。例如，发布一个人的完整3d外观所需的数据吞吐量的测试已经揭示了限制高分辨率数据捕获和发布的实用性的若干网络瓶颈。

技术实现思路

1、根据一些实施例，一种在服务器处执行的方法包括：向客户端发送第一点云，其中所述第一点云对应于参考点云；接收第二点云；以及从所述参考点云分层地确定所述第二点云中的变化，其中分层地确定所述变化包括：识别所述第二点云中的已从所述参考点云变化的第一区域；优先化排序(prioritizing)所述第一区域；以及对于具有最高优先级的第一区域，确定是否存在对从所述参考点云的第一变化进行近似(approximate)的第一刚性3d变换；响应于确定存在所述第一刚性3d变换，确定对从所述参考点云的所述第一变化进行近似的所述第一刚性3d变换；以及响应于确定不存在所述第一刚性3d变换，进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。

2、根据一些实施例，一种在服务器处执行的方法包括：向客户端发送第一点云，其中所述第一点云对应于参考点云；接收第二点云；以及从所述参考点云分层地确定所述第二点云中的变化，其中分层地确定所述变化包括：识别所述第二点云中的已从所述参考点云变化的第一区域；优先化排序所述第一区域；以及对于具有最高优先级的第一区域，确定对从所述参考点云的第一变化进行近似的第一刚性3d变换，并且如果不能确定所述第一刚性3d变换，则进一步确定要用于修改所述参考点云的第一点，其中所述第一点表示所述第一变化。

3、在一些实施例中，用于修改所述参考点云的所述第一点包括以下至少一者：(i)要从参考点云移除的点或(ii)添加到所述参考点云的点。在一些实施例中，识别所述第一区域包括将所述第二点云与所述参考点云进行比较以识别所述第二点云中的偏离所述参考点云的区域。在一些实施例中，对所述第一区域进行优先化排序包括：至少部分基于所述客户端的当前视点，向所述第一区域中的每一个区域指派相应的第一优先级。在一些实施例中，将所述相应的第一优先级指派给所述第一区域中的每一个区域包括使用主要区域的大小、所述第一区域与所述参考点云的偏离量以及所述第一区域与所述客户端的所述当前视点的距离来确定所述相应的第一优先级。此外，在一些实施例中，确定所述第一刚性3d变换是否存在包括确定是否已经找到所述参考点云和所述第二点云之间的形状对应(correspondence)。

4、在一些实施例中，该方法还包括：从所述客户端接收所述当前视点。在一些实施例中，该方法还包括存储所述参考点云，并且如果已经确定了所述第一3d刚性变换，则通过向所述参考点云应用所述第一刚性3d变换来更新在所述服务器处存储的所述参考点云。在一些实施例中，该方法还包括向客户端发送关于具有最高优先级的第一区域的指示和3d变换以在客户端处更新所述参考点云。在一些实施例中，所述关于具有最高优先级的第一主要区域的指示包括包围体坐标。

5、在一些实施例中，该方法还包括存储所述参考点云，并且如果已经确定了所述第一点，则通过利用所述第一点修改所述参考点云来更新存储在所述服务器处的所述参考点云。在一些实施例中，该方法还包括向客户端发送关于所述第一点的指示以在客户端处更新所述参考点云。

6、在一些实施例中，分层地确定所述变化还包括：识别具有所述最高优先级的所述第一区域内的一个或多个第一子区域，对所述第一子区域进行优先化排序，并将经优先化排序的第一子区域添加到剩余的经优先化排序的第一区域。在一些实施例中，该方法还包括，对于在剩余的优先化排序的第一区域和所述优先化排序的第一子区域当中具有次高优先级的区域，确定(i)对从所述更新的参考点云的第二变化进行近似的第二刚性3d变换或(ii)要被用来修改所述更新的参考点云的第二点，其中所述第二点表示所述第二变化。就这一点而言，在一些实施例中，该方法还包括与客户端协商一处理预算，其中该处理预算提供可用于点云更新的至少时间量和带宽，并且其中仅当所述处理预算可用时才执行确定用于具有次高优先级的区域的第二刚性3d变换或第二点。

7、在一些实施例中，识别所述一个或多个第一子区域包括：将所述第二点云与所述更新的参考点云进行比较，以识别偏离所述更新的参考点云的较细粒度区域。在一些实施例中，对所述第一子区域进行优先化排序包括向每个所述第一子区域指派相应的第二优先级。在一些实施例中，该方法包括与客户端协商处理预算，其中该处理预算至少提供可用于点云更新的时间量和带宽。

8、在一些实施例中，所述参考点云或所述第二点云中的至少一者包括传感器数据。在一些实施例中，从存储介质接收所述参考点云和所述第二点云作为点云数据的预捕获动态序列。此外，在一些实施例中，该方法还包括与多个客户端通信，并且针对多个客户端中的每一者执行该方法。

9、根据一些实施例，一种在服务器处执行的方法包括：向客户端发送初始点云；以及从所述初始点云分层地确定当前点云中的变化，其中分层地确定所述变化包括：识别所述当前点云中的主要变化区域；使用第一主要变化区域来确定是否存在对从所述初始点云的第一变化进行近似的第一刚性3d变换；响应于确定存在所述第一刚性3d变换，确定对从所述初始点云的所述第一变化进行近似的所述第一刚性3d变换；响应于确定所述第一刚性3d变换不存在，进一步确定要用于修改所述初始点云的第一点，其中所述第一点表示所述第一变化；识别所述主要变化区域内的一个或多个较细粒度的残余变化区域；使用所述一个或多个较细粒度的残余变化区域和剩余的主要变化区域来确定是否存在对从所述初始点云的第二变化进行近似的第二刚性3d变换；响应于确定存在所述第二刚性3d变换，确定对从所述初始点云的所述第二变化进行近似的所述第二刚性3d变换；以及响应于确定不存在所述第二刚性3d变换，进一步确定要用于进一步修改所述初始点云的第二点，其中所述第二点表示所述第二变化。

10、根据一些实施例，一种在服务器处执行的传输时变点云数据的方法包括：向客户端发送初始点云；以及从初始点云分层地确定当前点云中的变化，其中分层地确定所述变化包括：识别所述当前点云中的主要变化区域；使用第一主要变化区域来确定对从所述初始点云的第一变化进行近似的第一刚性3d变换，并且如果不能确定所述第一刚性3d变换，则进一步确定要用于修改所述初始点云的第一点，其中所述第一点表示所述第一变化；识别所述主要变化区域内的一个或多个较细粒度的残余变化区域；以及使用所述一个或多个较细粒度的残余变化区域和剩余的主要变化区域来确定对从所述初始点云的第二变化进行近似的第二刚性3d变换，并且如果不能确定所述第二刚性3d变换，则进一步确定要用于进一步修改所述初始点云的第二点，其中所述第二点表示所述第二变化。

11、在一些实施例中，针对所述一个或多个较细粒度的残余变化区域之一，确定所述第二刚性3d变换。在一些实施例中，针对所述剩余主要变化区域中的一个区域，确定所述第二刚性3d变换。在一些实施例中，针对所述剩余主要变化区域中的一个区域，确定所述第二刚性3d变换。此外，在一些实施例中，所述方法还包括向所述客户端传输以下至少一者：(i)所述第一刚性3d变换和指示第一变化区域的第一包围体坐标、(ii)所述第二刚性3d变换和指示第二变化区域的第二包围体坐标、(iii)所述第一点、以及(iv)所述第二点。

12、根据一些实施例，一种在服务器处执行的方法包括：接收第一3d数据作为初始点云；响应于来自所述客户端的对点云数据流式传输的请求，将所述初始点云传输到所述客户端，并且将所述初始点云存储为参考点云；以及对于每个当前点云，迭代地执行包括以下步骤的过程：接收第二3d数据作为所述当前点云；接收第二3d数据作为所述当前点云；相对于所述参考点云执行对所述当前点云的分层检查，这其中包括：识别偏离所述参考点云的区域；将所述偏离区域分离为第一聚类；通过计算指示所述第一聚类的每一聚类的重要性的相应第一分数来对所述第一聚类进行优先化排序，每个第一分数至少部分地基于所述客户端的当前视点来计算；以及对于具有最高优先级的第一聚类，确定是否存在对从所述参考点云的第一偏离进行近似的变换；如果存在所述变换，则将所述变换应用于所存储的参考点云以更新所述参考点云，并且将关于所述第一聚类中的区域的指示和所述变换发送到所述客户端；如果不存在，则对所述存储的参考点云进行增加点和移除点中的至少一种操作以更新所述参考点云，并将所述点发送到所述客户端。

13、在一些实施例中，相对于所述参考点云执行对所述当前点云的分层检查还包括：在处理具有所述最高优先级的所述第一聚类之后，识别所述第一聚类内的仍然偏离所述更新的参考点云的子区域；将所述偏离子区域分离成第二聚类；通过计算指示所述第二聚类中的每一聚类的重要性的相应第二分数来对所述第二聚类进行优先化排序，每个第二分数至少部分地基于所述客户端的所述当前视点来计算；将所述经优先化排序的第二聚类添加到所述经优先化排序的第一聚类的其余聚类，并且对于具有次高优先级的下一聚类，确定是否存在对从所述经更新的参考点云的第二偏离进行近似的另一变换；如果存在所述另一变换，则将所述另一变换应用于所述更新存储的更新参考点云以进一步更新所述参考点云，并且将关于所述处理的第一聚类中的子区域的另一指示和所述另一变换发送到所述客户端；以及如果不存在所述另一变换，则执行从所述更新的参考点云添加附加点或移除附加点中的至少一个操作以更新所述参考点云，并且将所述附加点传输到所述客户端。

14、在一些实施例中，在接收到来自所述客户端的请求时或者当所述服务器和所述客户端之间协商的处理预算不再可用于进一步处理时，终止所述过程。

15、其它实施例包括被配置成执行本文描述的方法的系统和服务器(例如，其具有处理器和存储供该处理器执行的多个指令的非瞬态计算机可读介质)。在一些实施例中，所述系统还包括至少一个3d传感器。