菜单导航

苹果专利为AR/VR流式传输提出分布式编码系统

作者: 精装之家 来源: 精装之家 发布时间: 2022年04月01日 08:32:49

(映维网Nweon 2022年03月31日)有时候,用户希望将正式录制的内容流式传输到另一台或多个其他设备。例如,用户可能正在通过头显录制视频,并希望将其流式传输到朋友的设备。但头显存在电源有限、计算有限和/或网络有限等各种限制。另外,用户有时希望在创建内容时自由走动。例如,在办公室环境中,用户可能希望在办公室中开始创建内容,并在沿着大厅走向会议室时继续创建内容。

在名为“Distributed encoding”的专利申请中,苹果介绍了一种分布式编码系统。简单来说,录制设备可以寻找其他可用的计算设备,并将处理和/或编码的至少一部分转移到所述计算设备,以扩展可用于编码记录内容的计算资源量。例如,录制设备可以确定用户附近有当前未使用的智能手机,笔记本电脑和/或PC时,并判断存在空闲的计算资源可用于以不同格式编码记录的内容。基于所述发现,录制设备可评估与所录制内容相关联的一组编码操作,并可将所记录的内容卸载到所发现的设备并执行一个或多个编码操作。

在各种实施例中,随着操作条件随时间变化,记录设备可以继续从可用计算设备收集信息。例如,如果记录设备正在与笔记本电脑进行无线通信,并且穿戴记录设备的用户走出房间,则记录设备可能会检测到与笔记本电脑的连接丢失,并重新分配对记录内容的编码处理方式。但在进入另一个房间时,记录设备可能会发现另一个可以帮助编码内容的可用设备,例如另一台平板电脑。然后,录制设备可以确定将编码内容卸载到新发现的设备。在评估什么编码操作可以卸载到所述新发现的可用设备。

在一个实施例中,记录设备可以考虑与计算资源、服务质量、安全性等有关的众多因素来将一定的编码操作卸载到存在空闲资源的可用设备,以满足例如精度、准确度、保真度、处理时间、功耗、隐私考虑等各种目标。

苹果指出,通过动态发现计算资源并基于上述考量因素来实时重新分配记录内容的编码操作,与仅限于记录设备的有限资源相比,系统可以实现更好的流式体验。另外,动态发现计算资源可以在创建内容时允许更大的移动性,因为记录设备在从一个空间转换到另一个空间时可以发现额外的计算资源。

苹果专利为AR/VR流式传输提出分布式编码系统

图1描绘了分布式编码系统10的框图。在所示实施例中,系统10包括记录设备110、多个计算节点120、存储器130和呈现设备140。如图所示,记录设备110可以包括分发引擎112。每个计算节点120同时可以包括相应的编码器助手122。

在各种实施例中,记录设备110是配置为创建记录内容114的计算设备。因此,记录设备110可以包括一个或多个摄像头以记录视频内容和/或一个或多个麦克风以记录音频内容。在一个实施例中,记录设备110可以是头戴式显示器。在一个实施例中,记录设备110从一个或多个传感器(例如,陀螺传感器、位置传感器等)收集传感器数据,所述传感器配置为在创建记录内容114期间确定记录设备110的方向。然后,可以将传感器数据与记录的内容114一起提供,以便确定记录的内容114的后续呈现方向。因此,如果记录设备110的用户可以上下左右移动记录设备110以创建全景图。记录设备110的陀螺传感器可以检测所述移动并记录相应的传感器数据,以便允许在记录内容114的后续呈现中进行类似的移动。

如上所示,为了帮助用户将录制内容共享给另一台设备,可以对记录的内容114进行编码以促进相关的流式传输。记录的内容114可以分解成以与不同质量水平相关联的各种格式编码的视频片段。呈现设备140随后可以基于其显示器的属性及其当前网络连接在格式之间进行选择。

但继续如上所述,记录设备110可能没有足够的计算资源来及时处理并以多种格式编码记录内容114。针对这个问题,记录设备110可以使用计算节点120的计算资源。

在各种实施例中,计算节点120是可用于协助记录设备110对记录的内容114进行编码的节点。计算节点120可以是任何类型的计算系统或计算设备,例如智能手机120E、平板电脑120F和笔记本电脑120G等等。

在一个实施例中,计算节点120通常可分类为主要、第二和第三计算网格/组。主计算网格包括属于记录设备110用户的计算节点120。所述计算节点120可以提供比其他网格中的计算节点120更少的计算能力,但可以容易地供记录设备110的用户使用。图1中描绘的众多计算节点120可对应于这个网格。