本公开内容涉及信息处理装置、3D数据生成方法及程序，并且更特别地，涉及能够改变进行渲染所需的数据大小的信息处理装置、3D数据生成方法及程序。
背景技术
传统上，已经提出了下述方法(例如，专利文献1)：使用通过感测真实3D空间获得的信息——例如通过从不同视点捕获主体的图像获得的多视点视频——在观看空间中生成3D对象，以生成好像对象存在于观看空间中的视频(也被称为体积视频)。
引文列表
专利文献
专利文献1：WO 2017/082076 A
技术实现要素：
技术问题
然而，专利文献1没有提及渲染时的数据大小。
本公开内容提出了一种能够改变渲染所需的数据大小的信息处理装置、3D数据生成方法及程序。
问题的解决方案
为了解决上面描述的问题，根据本公开内容的实施方式的信息处理装置包括：决定单元，该决定单元决定在绘制3D对象时使用以第一格式表示该3D对象的表面的第一纹理信息还是不同于所述第一纹理信息的以第二格式表示该3D对象的表面的第二纹理信息来绘制所述3D对象中的所有或一些；以及绘制单元，该绘制单元使用指示该3D对象的表面形状的形状信息和由决定单元决定的纹理信息来绘制该3D对象。
此外，根据本公开内容的实施方式的信息处理装置包括：存储单元，该存储单元存储指示3D对象的表面形状的形状信息、以第一格式表示该3D对象的表面的第一纹理信息以及使用不同于所述第一纹理信息的以第二格式表示该3D对象的表面的第二纹理信息表示的纹理信息；决定单元，当观察从绘制该3D对象的绘制装置输出的3D对象时，该决定单元决定将由存储单元存储的以多个不同格式的哪个纹理信息传输至该绘制装置；以及传输单元，该传输单元将所述形状信息和由决定单元决定的纹理信息传输至该绘制装置。
附图说明
图1是示出第一实施方式的信息处理系统的系统配置的示例的框图。
图2是示出其中服务器装置生成主体的3D模型的流程的概述的图。
图3是说明表示3D模型所需的数据内容的图。
图4是示出第一实施方式的移动终端的硬件配置的示例的硬件框图。
图5是示出第一实施方式的服务器装置的硬件配置的示例的硬件框图。
图6是示出第一实施方式的信息处理系统的功能配置的示例的功能框图。
图7是示出在第一实施方式中从服务器装置传输至移动终端的数据的示例的图。
图8是说明在第一实施方式的移动终端执行渲染时使用的纹理信息的图。
图9是示出由第一实施方式的移动终端执行的处理的流程的示例的流程图。
图10是说明第一实施方式的变型示例的移动终端执行渲染时使用的纹理信息的图。
图11是示出由第一实施方式的变型示例的移动终端执行的处理的流程的示例的流程图。
图12是示出第二实施方式的信息处理系统的系统配置的示例的框图。
图13是示出第二实施方式的信息处理系统的功能配置的示例的功能框图。
图14是示出由第二实施方式的信息处理系统执行的处理的示例的图。
图15是示出由第二实施方式的信息处理系统执行的处理的流程的示例的流程图。
图16是示出由第二实施方式的信息处理系统的变型示例(1)执行的处理的示例的图。
图17是示出由第二实施方式的信息处理系统的变型示例(2)执行的处理的示例的图。
图18是说明包含在第三实施方式的信息处理系统中的3D模型的数据结构的示例的图。
图19是示出第四实施方式的信息处理系统的功能配置的示例的功能框图。
图20是示出其中第四实施方式的信息处理系统执行3D对象的渲染的处理的流程的示例的图。
图21是示出其中使用不同的纹理信息绘制一个3D对象的示例的图。
图22是示出由第四实施方式的信息处理系统执行的处理的流程的示例的流程图。
图23是示出由第四实施方式的移动终端执行的纹理选择处理的流程的示例的流程图。
图24是示出由第四实施方式的移动终端执行的渲染处理的流程的示例的流程图。
图25是说明第五实施方式的信息处理系统的操作的图。
图26是示出由第五实施方式的信息处理系统执行的处理的流程的示例的流程图。
具体实施方式
下面将基于附图详细描述本公开内容的实施方式。注意，在下面描述的每个实施方式中，相同的部分由相同的附图标记表示，并且将省略重复的描述。
此外，将根据下面描述的项顺序来描述本公开内容。
1.第一实施方式
1-1.先决条件-生成3D模型的描述
1-2.先决条件-3D模型的数据结构的描述
1-3.移动终端的硬件配置的描述
1-4.服务器装置的硬件配置的描述
1-5.服务器装置和移动终端的功能配置的描述
1-6.从服务器装置传输至移动终端的数据的描述
1-7.由移动终端在执行渲染时使用的纹理信息的描述
1-8.由移动终端执行的处理的流程的描述
1-9.第一实施方式的效果
1-10.第一实施方式的变型示例的描述
1-11.由第一实施方式的变型示例中的移动终端执行的处理的流程的描述
1-12.第一实施方式的变型示例的效果
2.第二实施方式
2-1.服务器装置和移动终端的功能配置的描述
2-2.信息处理系统的操作的描述
2-3.由信息处理系统执行的处理的流程的描述
2-4.第二实施方式的效果
2-5.第二实施方式的变型示例(1)的描述
2-6.第二实施方式的变型示例(2)的描述
3.第三实施方式
4.第四实施方式
4-1.信息处理系统的功能配置的描述
4-2.由信息处理系统执行的处理的描述
4-3.由信息处理系统执行的处理的流程的描述
4-4.由移动终端执行的纹理选择处理的流程的描述
4-5.由移动终端执行的渲染处理的流程的描述
4-6.第四实施方式的效果
5.第五实施方式
5-1.信息处理系统的功能配置的描述
5-2.由信息处理系统执行的处理的描述
5-3.由信息处理系统执行的处理的流程的描述
5-4.第五实施方式的效果
(1.第一实施方式)
图1是示出第一实施方式的信息处理系统的系统配置的示例的框图。信息处理系统10a包括服务器装置20a和移动终端30a。作为第一实施方式的信息处理系统10a是下述系统：在该系统中，作为本公开内容的信息处理装置的示例的移动终端30a接收从服务器装置20a传输的主体的3D模型，并且渲染从由用户自由设置的虚拟视点观察到的虚拟图像并且在移动终端30a上显示该图像。
也就是说，服务器装置20a生成并存储主体的3D模型90M。此外，服务器装置20a响应于来自移动终端30a的请求，将主体的3D模型90M传输至移动终端30a。
此外，移动终端30a从服务器装置20a获取主体的3D模型。此外，移动终端30a基于用户的设置操作来设置用于观察主体的3D模型的虚拟视点。此外，移动终端30a通过生成从设置的虚拟视点观察到的虚拟图像来渲染主体的3D模型。
在下文中，将在描述信息处理系统10a的细节之前描述必要的先决条件。
[1-1.先决条件-生成3D模型的描述]
图2是示出其中服务器装置生成主体的3D模型的流程的概述的图。
如图2所示，通过由多个摄像装置70(70a、70b、70c)对主体90进行图像捕获并且对通过3D建模生成具有主体90的3D信息的3D模型90M进行处理来形成主体90的3D模型90M。
具体地，如图2所示，多个摄像装置70被布置成向内面向主体90的外部，以围绕存在于现实世界中的主体90。图2示出了其中摄像装置的数目为三个并且摄像装置70a、70b和70c被布置在主体90周围的示例。注意，在图2中，主体90为执行预定操作的人。此外，摄像装置70的数目不限于三个，并且可以提供更多数目的成像装置。
使用经受通过三个摄像装置70a、70b和70c从不同视点同步进行的体积捕获的多个视点图像来进行3D建模，并且以三个摄像装置70a、70b和70c的视频帧为单位生成主体90的3D模型90M。
3D模型90M是具有主体90的3D信息的模型。注意，3D模型90M是本公开内容中的3D对象的示例。3D模型90M具有下述形状信息：所述形状信息以被称为例如由顶点与顶点之间的连接表示的多边形网格的网格数据的形式指示主体90的表面形状。此外，3D模型90M具有指示与每个多边形网格对应的主体90的表面状态的纹理信息。注意，3D模型90M的信息的格式不限于这些，并且其他格式的信息也是可能的(参见第三实施方式)。
当重构3D模型90M时，通过根据网格位置粘贴指示网格的颜色、图案或纹理的纹理来执行所谓的纹理映射。对于纹理映射，为了提高3D模型90M的真实性，期望根据视点位置(视点相关：下文中被称为VD)粘贴纹理。因此，当从任意虚拟视点捕获3D模型90M的图像时，所述纹理根据视点位置而改变，使得可以获得更高图像质量的虚拟图像。然而，由于计算量增加，因此可以在3D模型90M上粘贴不依赖于视线位置(视点无关：下文中被称为VI)的纹理。
将包括3D模型90M的读取内容数据传输至作为再现侧的装置的移动终端30a并且由该移动终端30a再现所述读取数据内容。对包括3D模型90M的内容数据进行再现，渲染3D模型90M，并且在用户(观看者)的观看设备上显示3D形状视频。
在图2的示例中，诸如智能电话或平板终端的移动终端30a被用作观看设备。也就是说，在移动终端30a的液晶显示器54上显示包括3D模型90M的图像。
[1-2.先决条件-3D模型的数据结构的描述]
接下来，参照图3描述表示3D模型90M所需的数据内容。图3是说明表示3D模型所需的数据内容的图。
主体90的3D模型90M由指示主体90的形状的网格信息M和指示主体90的表面的纹理(颜色、图案等)的纹理信息T来表示。
网格信息M通过将3D模型90M的表面上的一些部分连接为顶点(多边形网格)来指示3D模型90M的形状。此外，代替网格信息M，可以使用指示从用于观察主体90的视点位置到主体90的表面的距离的深度信息Dp(未示出)。主体90的深度信息Dp基于例如从由相邻成像装置捕获的图像中检测到的主体90的相同区域的视差来计算。注意，可以通过在成像装置附近安装设置有距离测量机构的传感器并且使用该传感器测量到主体90的距离来获得深度信息Dp。此处，网格信息M和深度信息Dp是本公开内容中的形状信息的示例。
在本实施方式中，使用两种类型的数据作为纹理信息T。一种类型的数据是不依赖于用于观察3D模型90M的视点位置(VI)的纹理信息Ta。纹理信息Ta是以展开图——诸如图3所示的UV纹理图——的形式存储3D模型90M的表面的纹理的数据。也就是说，纹理信息Ta是不依赖于视点位置的数据。例如，当3D模型90M为穿着衣服的人时，将包括衣服的图案以及人的皮肤和头发的UV纹理图准备为纹理信息Ta。然后，可以通过在指示3D模型90M的网格信息M的表面上粘贴与所述网格信息M对应的纹理信息Ta来绘制3D模型90M(VI渲染)。然后，此时，即使在3D模型90M的观察位置改变的情况下，相同的纹理信息Ta也被粘贴在指示相同区域的网格上。因此，使用纹理信息Ta的VI渲染是通过将由3D模型90M所穿衣服的纹理信息Ta粘贴在指示衣服部位的所有网格上来执行，并且因此通常数据大小较小并且渲染处理的计算负荷轻。然而，由于粘贴的纹理信息Ta是均匀的并且即使观察位置改变所述纹理也不会改变，因此纹理的质量通常较低。注意，纹理信息Ta是本公开内容中的第一纹理信息的示例。
另一种纹理信息T是依赖于用于观察3D模型90M的视点位置(VD)的纹理信息Tb。纹理信息Tb由通过从多个视点观察主体90获得的一组图像来表示。也就是说，纹理信息Ta是依赖于视点位置的数据。具体地，当通过N个摄像装置观察主体90时，纹理信息Tb由通过每个摄像装置同时捕获的N个图像来表示。然后，当在3D模型90M的任意网格上渲染纹理信息Tb时，从N个图像中检测到与相应网格对应的所有区域。然后，将反映在多个检测到的区域中的每个检测到的区域中的纹理进行加权并且粘贴在相应的网格上。如上所述，使用纹理信息Tb的VD渲染通常具有较大的数据大小和渲染处理中较重的计算负荷。然而，由于所粘贴的纹理信息Tb根据观察位置而改变，因此纹理的质量通常较高。注意，纹理信息Tb是本公开内容中的第二纹理信息的示例。
作为3D模型90M的基础的主体90通常随时间移动。因此，生成的3D模型90M也随时间改变。也就是说，上面描述的网格信息M、纹理信息Ta和纹理信息Tb通常形成随时间改变的时间序列数据。
在本实施方式中，纹理信息Ta和纹理信息Tb基于由用户在观察3D模型90M时给出的操作指令(观察方向、观察方向的变化、观察范围等)被适当地使用，以执行高图像质量渲染，同时减少渲染所需的数据大小。下面将描述细节。
[1-3.移动终端的硬件配置的描述]
接下来，将参照图4描述构成信息处理系统10a的移动终端30a的硬件配置。图4是示出第一实施方式的移动终端的硬件配置的示例的硬件框图。
移动终端30a具有其中中央处理单元(CPU)40、只读存储器(ROM)41、随机存取存储器(RAM)42、存储单元43和输入/输出控制器44通过内部总线45连接的配置。
CPU 40通过将存储在存储单元43中的控制程序Pl和存储在ROM 41中的各种数据文件加载至RAM 42上并且执行该程序和文件来控制移动终端30a的整体操作。也就是说，移动终端30a具有通过控制程序P1进行操作的通用计算机的配置。注意，控制程序P1可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。此外，移动终端30a可以通过硬件执行一系列处理。注意，由CPU 40执行的控制程序P1可以是根据本公开内容中描述的顺序按时间序列处理的程序，或者可以是并行或在必要的定时处例如在进行调用时处理的程序。
存储单元43由例如闪速存储器构成，并且存储由CPU 40执行的控制程序Pl和从服务器装置20a获取的3D模型90M。注意，3D模型90M是移动终端30a向服务器装置20a给出指令的特定主体90，即要绘制的主体90的3D模型90M。然后，3D模型90M包括所有上面描述的网格信息M、纹理信息Ta和纹理信息Tb。
输入/输出控制器44经由触摸面板接口46获取堆叠在显示与移动终端30a有关的信息的液晶显示器54上的触摸面板50的操作信息。此外，输入/输出控制器44经由显示接口47在液晶显示器54上显示图像信息。
此外，移动终端30a经由通信控制器49与服务器装置20a进行通信。因此，移动终端30a从服务器装置20a获取与3D模型90M有关的信息。
[1-4.服务器装置的硬件配置的描述]
接下来，将参照图5描述构成信息处理系统10a的服务器装置20a的硬件配置。图5是示出第一实施方式的服务器装置的硬件配置的示例的硬件框图。
服务器装置20a具有其中中央处理单元(CPU)60、只读存储器(ROM)61、随机存取存储器(RAM)62、存储单元63和输入/输出控制器64通过内部总线65连接的配置。
CPU 60通过将存储在存储单元63中的控制程序P2和存储在ROM 61中的各种数据文件加载至RAM 62上并且执行该程序和文件来控制服务器装置20a的整体操作。也就是说，服务器装置20a具有通过控制程序P2进行操作的通用计算机的配置。注意，控制程序P2可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供。此外，服务器装置20a可以通过硬件执行一系列处理。注意，由CPU 60执行的控制程序P2可以是根据本公开内容中描述的顺序按时间序列处理的程序，或者可以是并行或在必要的定时处例如在进行调用时处理的程序。
存储单元63由例如闪速存储器构成，并且存储由CPU 60执行的控制程序P2以及主体90的3D模型90M。此外，3D模型90M可以由服务器装置20a本身生成，或者可以从另一外部设备获取。注意，存储单元63通常将多个主体90的模型存储为3D模型90M。
输入/输出控制器64经由触摸面板接口66获取堆叠在显示与服务器装置20a有关的信息的液晶显示器72上的触摸面板71的操作信息。此外，输入/输出控制器64经由显示接口67在液晶显示器72上显示图像信息。
此外，输入/输出控制器64经由摄像装置接口68连接至摄像装置70。多个摄像装置70通常彼此连接，并且如上所述，从不同的位置捕获主体90的图像(参见图2)。
此外，服务器装置20a经由通信控制器69与移动终端30a进行通信。因此，服务器装置20a将与3D模型90M有关的信息传输至移动终端30a。
[1-5.服务器装置和移动终端的功能配置的描述]
接下来，将参照图6描述构成信息处理系统10a的服务器装置20a和移动终端30a的功能配置。图6是示出第一实施方式的信息处理系统的功能配置的示例的功能框图。
服务器装置20a的CPU 60将控制程序P2加载至RAM 62上并且运行该程序以实现图6所示的作为功能单元的成像控制单元21、3D模型生成单元22、3D模型存储单元23、3D模型传输单元24和通信控制单元25。
成像控制单元21通过控制多个摄像装置70的操作来捕获主体90的图像。
3D模型生成单元22基于由成像控制单元21捕获的主体90的图像来生成主体90的3D模型90M。
3D模型存储单元23存储由3D模型生成单元22生成的主体90的3D模型90M。
3D模型传输单元24使通信控制单元25向移动终端30a传输与3D模型90M有关的信息。
通信控制单元25控制服务器装置20a与移动终端30a之间的通信。
此外，移动终端30a的CPU 40将控制程序Pl加载至RAM 42上并且运行该程序以实现图6所示的作为功能单元的操作检测单元31、3D模型获取单元32、纹理信息选择单元33、渲染处理单元34、显示控制单元35和通信控制单元36。
操作检测单元31检测用户关于移动终端30a的操作指令。注意，操作检测单元31是本公开内容中的检测单元的示例。
3D模型获取单元32从服务器装置20a获取主体90的3D模型90M。
纹理信息选择单元33决定在渲染处理单元34执行渲染处理时使用的纹理信息。具体地，纹理信息选择单元33基于由操作检测单元31检测到的操作指令，决定是执行使用纹理信息Ta的渲染处理还是执行使用纹理信息Tb的渲染处理。注意，纹理信息选择单元33是本公开内容中的决定单元的示例。
渲染处理单元34通过使用指示主体90的3D模型90M的表面形状的形状信息和由纹理信息选择单元33决定的纹理信息来执行3D模型90M的渲染处理，以重构3D模型90M。注意，渲染处理单元34是本公开内容中的绘制单元的示例。
显示控制单元35在移动终端30a的液晶显示器54上显示由渲染处理单元34执行的渲染处理的结果。
通信控制单元36控制移动终端30a与服务器装置20a之间的通信。
[1-6.从服务器装置传输至移动终端的数据的描述]
接下来，将参照图7描述从服务器装置20a传输至移动终端30a的数据。图7是示出在第一实施方式中从服务器装置传输至移动终端的数据的示例的图。
注意，此处假设移动终端30a的渲染处理单元34具有高的计算能力(再现环境)，并且不但不依赖于视点位置的纹理信息Ta可以实时地经受渲染处理，而且依赖于视点位置的纹理信息Tb也可以实时地经受渲染处理。此外，假设移动终端30a的存储单元43(参见图4)具有可以存储与3D模型90M有关的所有传输信息的存储容量。
服务器装置20a的3D模型传输单元24使通信控制单元25向移动终端30a传输与3D模型90M有关的信息(网格信息M、纹理信息Ta、纹理信息Tb)。与3D模型90M有关的这些条信息在按照时间序列从多个方向观察主体90时由3D模型生成单元22生成，并且被存储在3D模型存储单元23中。
然后，当从在移动终端30a中运行的应用给出再现3D模型90M的指令时，服务器装置20a的3D模型传输单元24将与3D模型90M有关的信息作为时间序列帧信息(帧F1、帧F2、帧F3、……)传输至移动终端30a，如图7所示。然后，移动终端30a将所传输的与3D模型90M相关的信息存储在移动终端30a的存储单元43中。
注意，当纹理信息Ta和纹理信息Tb中的任一者可用时，3D模型90M的渲染处理是可能的，但是在本实施方式中，所有的纹理信息Ta和纹理信息Tb都被传输至移动终端30a。然后，当移动终端30a执行渲染处理时，根据主体90的观察条件等选择要使用的纹理信息Ta或纹理信息Tb。下面将描述细节(参见图8)。
[1-7.由移动终端在执行渲染时使用的纹理信息的描述]
接下来，将描述由移动终端30a执行的渲染处理的方法。图8是说明在第一实施方式的移动终端执行渲染时使用的纹理信息T的图。
移动终端30a的用户通常从各种视点位置观察经受渲染处理的3D模型90M。本实施方式的移动终端30a通过根据用户的视点位置(观察位置和观察方向)的变化切换用于3D模型90M的渲染方法来改变用于渲染的纹理信息T的数据大小。
具体地，当用户快速移动视点位置时，移动终端30a确定不需要高质量的纹理信息并且使用具有较小的数据大小且不依赖于视点位置的纹理信息Ta来执行渲染。另一方面，当视点位置缓慢移动或视点位置静止时，确定需要高质量的纹理信息，并且使用具有较大的数据大小且依赖于视点位置的纹理信息Tb来执行渲染。
例如，图8所示的示例指示虚拟摄像装置的移动(即，用户的视点位置的移动)快速地从帧F1到帧F3。此外，帧F4到帧F7指示视点位置的移动较慢。在这种情况下，从帧F1到帧F3，移动终端30a使用纹理信息Ta执行渲染处理。然后，从帧F4到帧F7，使用纹理信息Tb执行渲染处理。
注意，移动终端30a通过例如移动终端30a的触摸面板50检测用于改变观察方向的操作(例如，滑动操作)的速度和次数来检测视点位置的移动速度。
[1-8.由移动终端执行的处理的流程的描述]
接下来，将参照图9描述由第一实施方式的移动终端30a执行的处理的流程。图9是示出由第一实施方式的移动终端执行的处理的流程的示例的流程图。注意，假设在图9的流程图操作之前，与主体90的3D模型90M有关的所有信息都已经被传输至移动终端30a。
操作检测单元31确定在移动终端30a上自由视点视频的再现是否开始(步骤S10)。当确定自由视点视频的再现开始(步骤S10：是)时，处理进行至步骤S11。另一方面，当没有确定自由视点视频的再现开始(步骤S10：否)时，重复步骤S10直到例如发生超时。
当在步骤S10中确定为是时，操作检测单元31确定所渲染的3D模型90M的观察方向是否已经改变(步骤S11)。当确定3D模型90M的观察方向已经改变(步骤S11：是)时，处理进行至步骤S13。另一方面，当没有确定3D模型90M的观察方向改变(步骤S11：否)时，处理进行至步骤S12。注意，如果根据例如是否在移动终端30a的液晶显示器54(触摸面板50)上执行了用于改变观察方向的操作来确定3D模型90M的观察方向是否被改变，这就足够了。
当在步骤S11中确定为是时，操作检测单元31确定观察方向的变化速度是否等于或高于预定值(步骤S13)。当确定观察方向的变化速度等于或高于预定值(步骤S13：是)时，处理进行至步骤S14。另一方面，当没有确定观察方向的变化速度等于或高于预定值(步骤S13：否)时，处理进行至步骤S12。
当在步骤S13中确定为是时，纹理信息选择单元33决定使用纹理信息Ta执行绘制，并且渲染处理单元34使用纹理信息Ta执行3D模型90M的VI渲染(步骤S14)。然后，处理进行至步骤S15。
当在步骤S11中确定为否并且在步骤S13中确定为否时，纹理信息选择单元33决定使用纹理信息Tb执行绘制，并且渲染处理单元34使用纹理信息Tb执行3D模型90M的VD渲染(步骤S12)。
在步骤S12或步骤S14之后，显示控制单元35在液晶显示器54上显示经受渲染处理的视频(步骤S15)。
接下来，操作检测单元31确定在移动终端30a上自由视点视频的再现是否结束(步骤S16)。当确定自由视点视频的再现结束(步骤S16：是)时，移动终端30a结束图9的处理。另一方面，当没有确定自由视点视频的再现结束(步骤S16：否)时，处理返回至步骤S11。
注意，当在步骤S12中执行VD渲染时，此时的视点位置作为日志存储在移动终端30a中，并且该日志被单独反馈至服务器装置20a，使得可以将针对每个再现内容的常见视点范围与少见视点范围区分开。因此，从服务器装置20a传输至移动终端30a的信息的压缩率可以在常见的视点范围与少见视点范围之间改变。也就是说，可以通过以低压缩率传输常见视点范围的信息和以高压缩率传输少见视点范围的信息来减少信息的总量。
[1-9.第一实施方式的效果]
如上所述，关于第一实施方式的移动终端30a(信息处理装置)，纹理信息选择单元33(决定单元)根据由操作检测单元31检测到的操作指令来决定在绘制3D模型90M时使用由3D模型获取单元32获取的以多个不同格式表示3D模型90M的纹理的纹理信息Ta或Tb。然后，渲染处理单元34(绘制单元)将由纹理信息选择单元33选择的纹理信息Ta或纹理信息Tb渲染在基于网格信息M(形状信息)重建的3D模型90M上，以重建3D模型90M。
因此，可以改变渲染所需的数据大小。例如，对于要求高的纹理质量的3D模型90M，可以执行使用依赖于视点位置的具有大的数据大小的纹理信息Tb进行的渲染，而对于其他3D模型90M，可以执行使用不依赖于视点位置的具有小的数据大小的纹理信息Ta进行的渲染。
此外，在第一实施方式的移动终端30a(信息处理装置)中，多种不同格式的纹理信息包括不依赖于用于观察3D模型90M的视点位置的纹理信息Ta(第一纹理信息)和依赖于用于观察3D模型90M的视点位置的纹理信息Tb(第二纹理信息)。
因此，可以适当地使用具有高的渲染处理负荷但是高的纹理质量的VD渲染和具有低的渲染处理负荷但是低的纹理质量的VI渲染。
此外，在第一实施方式的移动终端30a(信息处理装置)中，操作检测单元31(检测单元)检测在观察3D模型90M(3D对象)时给出的操作指令，并且纹理信息选择单元33(决定单元)基于由操作检测单元31检测到的操作指令来决定绘制3D模型90M时的纹理信息T。
因此，可以根据操作指令使用适当的纹理信息T来绘制3D模型90M(3D对象)。
此外，在第一实施方式的移动终端30a(信息处理装置)中，由操作检测单元31(检测单元)检测到的操作指令是3D模型90M的观察方向或3D模型90M的观察方向的变化。
因此，可以根据观察方向的变化来改变渲染方法。
此外，在第一实施方式的移动终端30a(信息处理装置)中，当操作指令是3D模型90M的观察方向的变化时，纹理信息选择单元33(决定单元)在观察方向的变化速度大于预定值时选择不依赖于视点位置的纹理信息Ta，并且在观察方向的变化速度大于预定值时选择依赖于视点位置的纹理信息Tb。
因此，当观察方向快速改变时，可以执行不依赖于视点位置的纹理映射，并且当观察方向的变化平缓时，可以执行依赖于视点位置的纹理映射。
[1-10.第一实施方式的变型示例的描述]
由移动终端30a检测到的用户操作不限于观察方向的变化速度。在下文中，作为第一实施方式的变型示例，将参照图10描述根据用户的缩放操作来切换用于3D模型90M的渲染方法的示例。注意，图10是说明第一实施方式的变型示例的移动终端执行渲染时使用的纹理信息的图。
移动终端30a的用户以适合使用的视角(倍率)观察经受渲染处理的3D模型90M。第一实施方式的变型示例的移动终端30a通过根据由用户指示的视角切换用于3D模型90M的渲染方法来改变用于渲染的纹理信息的数据大小。
具体地，移动终端30a确定在用户以宽视角(低倍率)观察主体90的经渲染的3D模型90M时高质量的纹理信息是不必要的，并且使用不依赖于视点位置的纹理信息Ta来执行渲染。另一方面，确定当用户以窄视角(高倍率)观察主体90的经渲染的3D模型90M时高质量的纹理信息是必要的，并且使用依赖于视点位置的纹理信息Tb来执行渲染。
例如，在图10所示的示例中，从帧F1到帧F3，虚拟摄像装置的视角被设置为宽(即，倍率低)。此外，从帧F4到帧F7，虚拟摄像装置的视角被设置为窄(即，倍率高)。在这种情况下，移动终端30a从帧F1到帧F3使用纹理信息Ta来执行渲染处理。然后，从帧F4到帧F7，使用纹理信息Tb来执行渲染处理。
注意，移动终端30a对在例如移动终端30a的触摸面板50检测到改变视角的操作(例如，使视角变窄以放大图像的捏合操作(pinch-in operation)，或者使视角变宽以缩小图像的撑开操作(pinch-out operation))时虚拟摄像装置的视角的变化进行检测。
[1-11.由第一实施方式的变型示例中的移动终端执行的处理的流程的描述]
接下来，将参照图11描述由第一实施方式的变型示例的移动终端30a执行的处理的流程。图11是示出由第一实施方式的变型示例的移动终端执行的处理的流程的示例的流程图。注意，假设在图1的流程图操作之前，与主体90的3D模型90M有关的所有信息已经被传输至移动终端30a。
操作检测单元31确定在移动终端30a上自由视点视频的再现是否开始(步骤S20)。在确定自由视点视频的再现开始(步骤S20：是)时，处理进行至步骤S21。另一方面，在没有确定自由视点视频的再现开始(步骤S20：否)时，重复步骤S20。
当在步骤S20中确定为是时，操作检测单元31确定在观察到经渲染的3D模型90M时的虚拟摄像装置的视场角(视角)是否窄于预定值(步骤S21)。当确定虚拟摄像装置的视场角窄于预定值(步骤S21：是)时，处理进行至步骤S22。另一方面，在没有确定虚拟摄像装置的视场角(视角)窄于预定值(步骤S21：否)时，处理进行至步骤S23。注意，如果通过例如关于移动终端30a的液晶显示器54(触摸面板50)执行的捏合操作或撑开操作来确定虚拟摄像装置的视场角是否窄于预定值，这就足够了。
由于在步骤S21之后执行的步骤S22、步骤S23、步骤S24和步骤S25的每个处理的内容与在第一实施方式中描述的处理的流程(图9中的步骤S12、步骤S14、步骤S15和步骤S16)相同，因此省略描述。
[1-12.第一实施方式的变型示例的效果]
如上所述，在第一实施方式的变型示例的移动终端30a(信息处理装置)中，由操作检测单元31(检测单元)检测到的操作指令是观察3D模型90M时的视角。
因此，当观察3D模型90M时，可以根据视角选择合适的纹理信息并且执行渲染。
此外，在第一实施方式的变型示例的移动终端30a(信息处理装置)中，当用户的操作指令是观察3D模型90M时的视角时，纹理信息选择单元33(决定单元)在视角宽于预定值时选择不依赖于视点位置的纹理信息Ta，并且在视角窄于预定值时选择依赖于视点位置的纹理信息Tb。
因此，可以根据用户的观察状态来执行渲染。也就是说，在放大并观察绘制的3D模型90M时，使用依赖于视点位置的高质量的纹理信息Tb来执行渲染(VD渲染)，并且在以宽视角观察绘制的3D模型90M时，可以使用不依赖于视点位置的纹理信息Ta来执行渲染(VI渲染)。
注意，用户关于移动终端30a的操作指令不限于在第一实施方式和第一实施方式的变型示例中描述的那些操作指令。
例如，可以对未示出并且内置在移动终端30a中的捕获外部图像的外部摄像装置的移动进行检测，并且根据该摄像装置的移动通过渲染方法绘制的3D模型90M可以叠加在该摄像装置捕获的图像上。因此，对其中将3D模型90M叠加在实况图像上的所谓的增强现实(AR)的应用成为可能。
此外，可以对正在看移动终端30a的用户的视线的移动进行检测，并且可以根据视线的移动来切换用于在移动终端30a的画面上绘制3D模型90M的渲染方法。例如，可以通过具有高的纹理质量的VD渲染来绘制注视集中的3D模型90M。注意，可以通过例如分析包括由内部摄像装置捕获的用户的眼球的面部图像来测量正在看移动终端30a的用户的视线的移动，该内部摄像装置未示出并且内置在捕获画面方向的移动终端30a中。
此外，可以根据其中使用移动终端30a的环境的亮度来切换用于在移动终端30a的画面上绘制3D模型90M的渲染方法。例如，在外部较暗时，可以执行具有低的纹理质量的VI渲染，而在外部较亮时，可以执行具有高的纹理质量的VD渲染。注意，可以通过例如照度计来测量其中使用移动终端30a的环境的亮度，该照度计未示出并且内置在移动终端30a中。
此外，可以根据移动终端30a的剩余电量水平来切换用于在移动终端30a的画面上绘制3D模型90M的渲染方法。例如，当剩余电量水平低时，可以执行具有低的处理负荷的VI渲染，而当剩余电量水平高时，可以执行具有高的处理负荷的VD渲染。
(2.第二实施方式)
在第一实施方式中描述的信息处理系统10a中，需要将渲染3D模型90M所需的所有数据预先传输至移动终端30a。因此，移动终端30a需要大的存储容量。因此，为了减少移动终端30a的存储容量，期望仅向移动终端传输渲染所需的最少信息。
第二实施方式解决了这样的问题。图12是示出第二实施方式的信息处理系统的系统配置的示例的框图。信息处理系统10b包括服务器装置20b和移动终端30b。在作为第二实施方式的信息处理系统10b中，作为本公开内容的信息处理装置的示例的服务器装置20b例如基于从移动终端30b接收到的与用户的虚拟视点有关的信息来选择呈适用于渲染存储在服务器装置20b中的主体的3D模型90M的形式的纹理信息T。然后，服务器装置20b将包括所选择的纹理信息的渲染所需的信息传输至移动终端30b。然后，移动终端30b基于从服务器装置20b接收到的信息执行渲染处理并且执行在画面上的显示。以这样的方式，信息处理系统10b是执行以下所谓的流操作的系统：其中服务器装置20b仅选择渲染处理所需的信息并且根据移动终端30b中给出的操作指令将所述信息传输至移动终端30b。注意，移动终端30b是本公开内容中的绘图装置的示例。注意，可以使用诸如电视监视器或头戴式显示器(HMD)的显示设备来代替移动终端30b。
也就是说，服务器装置20b生成并存储主体的3D模型90M。此外，服务器装置20b接收与关于移动终端30b执行的操作有关的信息，并且选择移动终端30b用于绘制主体的3D模型90M所需的纹理信息。然后，服务器装置20b向移动终端30b传输绘制3D模型90M所需的包括所选择的纹理信息的信息。
此外，移动终端30b向服务器装置20b传输与关于移动终端30b执行的3D模型90M的观察有关的操作内容。此外，移动终端30b从服务器装置20b获取渲染3D模型90M所需的信息。此外，移动终端30b通过生成从设置的虚拟视点观察到的虚拟图像来渲染主体的3D模型90M。
注意，由于服务器装置20b的硬件结构与第一实施方式中描述的服务器装置20a的硬件结构相同，因此将省略描述。此外，由于移动终端30b的硬件结构与第一实施方式中描述的移动终端30a的硬件结构相同，因此将省略描述。
[2-1.服务器装置和移动终端的功能配置的描述]
接下来，将参照图13描述构成信息处理系统10b的服务器装置20b和移动终端30b的功能配置。图13是示出第二实施方式的信息处理系统的功能配置的示例的功能框图。
服务器装置20b包括成像控制单元81、3D模型生成单元82、3D模型存储单元83、操作指令检测单元84、布置位置获取单元85、传输信息选择单元86、3D模型传输单元87以及通信控制单元88。
成像控制单元81、3D模型生成单元82、3D模型存储单元83和通信控制单元88具有与第一实施方式中描述的服务器装置20a中包括的成像控制单元21、3D模型生成单元22、3D模型存储单元23和通信控制单元25相同的功能。因此，将省略每个功能的描述。注意，3D模型存储单元83是本公开内容中的存储单元的示例。
操作指令检测单元84对在观察从绘制3D模型90M(3D对象)的移动终端30b(绘制装置)输出的3D模型90M时给予移动终端30b的操作指令进行检测。注意，操作指令检测单元84是本公开内容中的检测单元的示例。
布置位置获取单元85获取3D模型90M在三维空间中的布置位置。具体地，布置位置获取单元85在根据来自移动终端30b的操作指令执行3D模型90M的再现控制时获取3D模型90M的布置位置。
传输信息选择单元86根据由操作指令检测单元84检测到的操作指令来选择将存储在3D模型存储单元83(存储单元)中的多个不同的纹理信息Ta和纹理信息Tb中的哪一个传输至移动终端30b。注意，传输信息选择单元86是本公开内容中的决定单元的示例。
3D模型传输单元87使通信控制单元88将由传输信息选择单元86选择的信息传输至移动终端30b。注意，3D模型传输单元87是本公开内容中的传输单元的示例。
此外，移动终端30b包括操作检测单元91、操作信息传输单元92、3D模型获取单元93、渲染处理单元94、显示控制单元95和通信控制单元96。
操作检测单元91、渲染处理单元94、显示控制单元95和通信控制单元96具有与第一实施方式中描述的移动终端30a中包括的操作检测单元31、渲染处理单元34、显示控制单元35和通信控制单元36相同的功能。因此，将省略每个功能的描述。
操作信息传输单元92将由操作检测单元91检测到的用户关于移动终端30b的操作指示传输至服务器装置20b。
3D模型获取单元93获取从服务器装置20b传输的绘制3D模型90M所需的信息。
[2-2.信息处理系统的操作的描述]
将参照图14描述由第二实施方式的信息处理系统10b执行的操作的概述。图14是示出由第二实施方式的信息处理系统执行的处理的示例的图。与第一实施方式类似，信息处理系统10b根据用户的操作指令改变用于显示在移动终端30b的液晶显示器54上的3D模型90M的渲染方法。特别地，第二实施方式的信息处理系统10b将用户关于移动终端30b的操作指令传输至服务器装置20b，并且服务器装置20b选择渲染所需的信息。然后，服务器装置20b将渲染所需的信息传输至移动终端30b，并且移动终端30b执行渲染。
例如，图14示出了移动终端30b的用户在其上绘制了大量相同的3D模型90M的画面I1上执行捏合操作以给出放大指令的情况。此时，服务器装置20b接收已经给出放大操作指令的事实，并且选择在下一画面上进行渲染所需的信息。
具体地，服务器装置20b确定：在执行放大时，当视点位置(虚拟摄像装置的位置)与3D模型90M之间的距离较近时，在靠近画面中心的位置——观察方向——处绘制的3D模型90M应当经受使用纹理信息Tb进行的VD渲染，并且服务器装置20b选择纹理信息Tb并且将纹理信息Tb传输至移动终端30b。此外，确定不满足上面条件的3D模型90M应当经受使用纹理信息Ta进行的VI绘制，并且选择纹理信息Ta并且将纹理信息Ta传输至移动终端30b。
然后，移动终端30b渲染与放大操作对应的图像，生成画面I2，并且在移动终端30b上显示该画面。在图14中，确定仅在画面I2上的中心部分处显示的3D模型90M在距观察方向预定距离内的位置即画面中心处，并且从视点位置到3D模型90M的距离等于或小于预定值。因此，在画面I2上，仅3D模型90M通过VD渲染进行绘制。然后，其他3D模型通过VI渲染进行绘制。
在图14的示例中，由于绘制了多个完全相同的3D模型90M，因此服务器装置20b接收到放大操作指令，选择3D模型90M的纹理信息Ta和纹理信息Tb，并且将纹理信息Ta和纹理信息Tb连同网格信息M一起传输至移动终端30b。
注意，当在画面I1上显示的3D模型90M都是不同的模型时，服务器装置20b根据操作指令为每个3D模型选择纹理信息Ta或纹理信息Tb，并且将纹理信息连同网格信息M一起传输至移动终端30b。
[2-3.由信息处理系统执行的处理的流程的描述]
接下来，将参照图15描述由第二实施方式的信息处理系统10b执行的处理的流程。图15是示出由第二实施方式的信息处理系统执行的处理的流程的示例的流程图。首先，将描述由移动终端30b执行的处理的流程。
操作检测单元91确定在移动终端30b上自由视点视频的再现是否开始(步骤S30)。当确定开始了自由视点视频的再现(步骤S30：是)时，处理进行至步骤S31。另一方面，当没有确定开始了自由视点视频的再现(步骤S30：否)时，重复步骤S30，直到例如发生超时。
操作信息传输单元92使通信控制单元96将由操作检测单元91检测到的与操作指令有关的信息传输至服务器装置20b(步骤S31)。
3D模型获取单元93从服务器装置20b接收3D模型90M的纹理信息和网格信息(步骤S32)。
渲染处理单元94通过VI渲染在预定位置绘制3D模型90M(步骤S33)。
渲染处理单元94通过VD渲染在预定位置绘制3D模型90M(步骤S34)。
此外，渲染处理单元94将VI渲染的结果和VD渲染的结果结合在一个画面上(步骤S35)。具体地，确定3D模型90M的前后关系等并且执行隐藏表面处理等。
显示控制单元95将经受渲染处理的视频显示在液晶显示器54上(步骤S36)。
接下来，操作检测单元91确定在移动终端30b上自由视点视频的再现是否结束(步骤S37)。当确定自由视点视频的再现结束(步骤S37：是)时，移动终端30b结束图15的处理。另一方面，当没有确定自由视点视频的再现结束(步骤S37：否)时，处理返回至步骤S31。
接下来，将描述由服务器装置20b执行的处理的流程。首先，传输信息选择单元86从3D模型存储单元83读取当前显示在移动终端30b的画面上的所有3D模型90M的信息(步骤S40)。
操作指令检测单元84基于从移动终端30b的操作信息传输单元92传输的操作指令来确定视点位置(虚拟摄像装置的位置)是否改变(步骤S41)。当确定视点位置改变(步骤S41：是)时，处理进行至步骤S42。另一方面，当没有确定视点位置改变(步骤S41：否)时，处理进行至步骤S45。
当在步骤S41中确定为是时，传输信息选择单元86关于在移动终端30b的画面上显示的每个3D模型90M确定3D模型90M是否在距用户的注视点(观察方向)预定距离内且距视点位置预定距离内的位置处(步骤S42)。当确定3D模型90M在距用户的注视点预定距离内且距视点位置预定距离内的位置处(步骤S42：是)时，处理进行至步骤S43。另一方面，当没有确定3D模型90M在距用户的注视点预定距离内且距视点位置预定距离内的位置处(步骤S42：否)时，处理进行至步骤S44。注意，3D模型90M中的每个3D模型90M的布置位置从布置位置获取单元85获取。
当在步骤S42中确定为是时，传输信息选择单元86选择3D模型90M的纹理信息Tb和网格信息M。然后，3D模型传输单元87使通信控制单元88将所选择的信息传输至移动终端30b(步骤S43)。然后，处理进行至步骤S46。
另一方面，当在步骤S42中确定为否时，传输信息选择单元86选择3D模型90M的纹理信息Ta和网格信息M。然后，3D模型传输单元87使通信控制单元88将所选择的信息传输至移动终端30b(步骤S44)。然后，处理进行至步骤S46。
返回至步骤S41，当在步骤S41中确定为否时，传输信息选择单元86选择移动终端30b的画面上显示的所有3D模型90M的纹理信息Ta和网格信息M。然后，3D模型传输单元87使通信控制单元88将所选择的信息传输至移动终端30b(步骤S45)。然后，处理返回至步骤S41。
在步骤S43或步骤S44之后，传输信息选择单元86确定是否已经对移动终端30b的画面上显示的所有3D模型90M进行了评估(步骤S46)。当确定已经评估了所有3D模型90M(步骤S46：是)时，处理返回至步骤S41。另一方面，当没有确定已经评估了所有3D模型90M(步骤S46：否)时，处理返回至步骤S42。
[2-4.第二实施方式的效果]
如上所述，关于第二实施方式的服务器装置20b(信息处理装置)，操作指令检测单元84(检测单元)对在观察从绘制3D模型90M(3D对象)的移动终端30b(绘制装置)输出的3D模型90M时给予移动终端30b的操作指令进行检测。然后，传输信息选择单元86(决定单元)基于由操作指令检测单元84检测到的操作指令来选择存储在3D模型存储单元83(存储单元)中的呈3D模型90M的多个不同格式的纹理信息Ta或纹理信息Tb。然后，3D模型传输单元87(传输单元)将所选择的纹理信息Ta或纹理信息Tb以及网格信息M(形状信息)传输至移动终端30b。然后，移动终端30b使用所传输的信息来渲染3D模型90M。
因此，服务器装置20b(信息处理装置)可以仅将渲染所需的信息传输至移动终端30b(绘制装置)。因此，移动终端30b的存储容量可以保持较小。
此外，在第二实施方式的服务器装置20b(信息处理装置)中，操作指令是3D模型90M与观察3D模型90M(3D对象)时的视点位置之间的距离。
因此，可以根据3D模型90M与观察3D模型90M时的视点位置之间的距离来选择适当的纹理信息以执行渲染。
此外，在第二实施方式的服务器装置20b(信息处理装置)中，当操作指令是3D模型90M与观察3D模型90M(3D对象)时的视点位置之间的距离时，传输信息选择单元86(决定单元)在所述距离大于预定值时选择不依赖于视点位置的纹理信息Ta并且在所述距离等于或小于预定值时选择依赖于视点位置的纹理信息Tb。
因此，当3D模型90M与视点位置之间的距离较短时，可以通过执行VD渲染来提高纹理质量，并且当3D模型90M与视点位置之间的距离较长时，可以通过执行VI渲染来减少处理负荷。
此外，在第二实施方式的服务器装置20b(信息处理装置)中，当操作指令是观察3D模型90M(3D对象)时的观察方向时，传输信息选择单元86(决定单元)在3D模型90M在距观察方向预定距离内的位置处时选择依赖于视点位置的纹理信息Tb，并且在3D模型90M在距观察方向比预定距离更远的位置处时选择不依赖于视点位置的纹理信息Ta。
因此，可以通过VD渲染以高的纹理质量来绘制靠近观察方向(注视点)的3D模型90M。
[2-5.第二实施方式的变型示例(1)的描述]
在下文中，作为第二实施方式的变型示例(1)，将描述信息处理系统10b基于预先给予每个三维模型90M的指示VI优先级或VD优先级的信息来执行渲染的示例。
图16是示出由第二实施方式的信息处理系统的变型示例(1)执行的处理的示例的图。三个不同的3D模型91M、92M和93M被绘制在移动终端30b的画面I3上。此处，假设3D模型91M被给予VD优先级标志，并且3D模型92M和93M被给予VI优先级标志。
VD优先级标志是指示被给予该标志的3D模型在满足上面描述的各种观察条件的情况下通过VD渲染来绘制并且在其他情况下通过VI渲染来绘制的标志。因此，被给予VD优先级标志的3D模型具有纹理信息Ta和纹理信息Tb两者作为纹理信息。例如，将VD优先级标志给予再现内容的主要主体(主角等)。
此外，VI优先级标志是指示无论观察条件如何被给予该标志的3D模型都通过VI渲染来绘制的标志。因此，被给予VI优先级标志的3D模型仅具有纹理信息Ta作为纹理信息。例如，将VI优先级标志给予再现内容中的附加主体。
在图16中，当画面I3被放大(放大)以生成画面I4时，通常所有3D模型都经受VD渲染，但是在本变型示例的情况下，仅被给予VD优先级标志的3D模型91M经受VD渲染。然后，3D模型92M和93M经受VI渲染。
因此，通过给予指定针对每个3D模型的渲染格式的标志，可以整体上减少渲染所需的信息量。
[2-6.第二实施方式的变型示例(2)的描述]
在下文中，作为第二实施方式的变型示例(2)，将描述信息处理系统10b根据特定3D模型90M的VD渲染的持续时间增加从服务器装置20b传输至移动终端30b的纹理信息Tb的信息量的示例。
图17是示出由第二实施方式的信息处理系统的变型示例(2)执行的处理的示例的图。在图17中，从帧F1到帧F3执行VI渲染。此时，纹理信息Ta和网格信息M从服务器装置20b被传输至移动终端30b。
然后，在帧F4中，确定满足上面描述的各种观察条件并且已经开始VD渲染。此时，纹理信息Tb和网格信息M从服务器装置20b被传输至移动终端30b。
纹理信息Tb由通过从N个视点观察主体90获得的一组N个图像来表示。然后，传输信息选择单元86执行控制以随着VD渲染的持续时间增加从服务器装置20b传输至移动终端30b的图像的数目。
也就是说，在帧F4中，将四个图像作为纹理信息Tb传输。然后，在帧F5中，将六个图像作为纹理信息Tb传输。此外，在帧F6和后续帧中，将八个图像作为纹理信息Tb传输。因此，传输的信息量根据VD渲染的持续时间增加，并且执行VD渲染时的纹理质量进一步提高。
如上所述，在根据本公开内容的两个实施方式中，描述了基于由用户给出的操作指令的各种观察条件(观察方向的变化速度、视角、3D模型与视点位置之间的距离以及3D模型与注视点之间的距离)，但是无论第一实施方式和第二实施方式如何，都可以使用描述中使用的各种观察条件。此外，可以同时使用多个观察条件。
(3.第三实施方式)
在本公开内容的信息处理装置中，表示3D模型90M的数据结构不限于上面描述的由网格信息M和纹理信息T(Ta，Tb)配置的那些。下面将描述另一数据格式的示例。
图18是说明包含在第三实施方式的信息处理系统中的3D模型的数据结构的示例的图。也就是说，第三实施方式是使用点云信息(点云)作为表示3D模型90M的格式的示例。
点云将主体90描述为形成主体的表面的多条点云信息。也就是说，在图18中，3D模型94M被描述为具有颜色信息和亮度信息的点的集合。通过具有这样的数据结构，3D模型94M本身具有形状信息和纹理信息。注意，3D模型94M是不依赖于视点位置的数据并且等效于上面描述的纹理信息Ta。下文中，3D模型94M将被称为VI点云。注意，3D模型94M是本公开内容中的3D对象的示例。
另一方面，图18所示的3D模型95M是通过从多个方向观察主体90获得的3D模型。然后，所述3D模型中的每个3D模型都具有点云数据格式。因此，图18所示的3D模型95M等效于上面描述的纹理信息Tb。下文中，3D模型95M将被称为VD点云。注意，3D模型95M是本公开内容中的3D对象的示例。
上面描述的信息处理系统10a和信息处理系统10b可以通过使用具有这种数据结构的3D模型94M和3D模型95M——即，VI点云和VD点云——来实现与上面描述的实施方式中的那些功能相同的功能。
(4.第四实施方式)
当经由例如因特网流式传输包含3D对象的视频时，可再现的比特率和流的数目受到网络带宽或再现装置的解码性能的限制。因此，当显示包含多个3D对象的视频时，需要降低纹理质量。因此，当靠近再现装置上显示的3D对象的视频时，存在由于网格精度不足和纹理粗糙度而降低3D对象的真实感的可能性。为了解决这样的问题，本公开内容的第四实施方式的信息处理系统10c包括服务器装置20c和作为信息处理装置的示例的移动终端30c。服务器装置20c在其中可以传输高图像质量视频的比特率范围内向移动终端30c传输高图像质量的纹理信息(例如，纹理信息Tb)。另一方面，当超过可以传输的比特率时，传输低图像质量的纹理信息(例如，纹理信息Ta)。移动终端30c基于要渲染的3D对象的规格来选择可以从服务器装置20c实时传输的纹理信息T，并且将所述纹理信息T传输至服务器装置20c。然后，移动终端30c使用从服务器装置20c接收到的纹理信息T执行渲染并且生成包含该3D对象的视频。注意，包含3D对象的视频在下文中被称为体积视频。注意，移动终端30c为例如智能电话、HMD等。
在本实施方式中，根据纹理的图像质量将绘制3D对象时使用的纹理信息T例如分层为低图像质量、中等图像质量和高图像质量。低图像质量纹理对应于例如纹理信息Ta。中等图像质量纹理和高图像质量纹理对应于例如纹理信息Tb。高图像质量纹理使得使用相对于中等图像质量纹理的更大数目的像素来描述相同纹理信息Tb。
移动终端30c在可以实时传输渲染所需的3D模型的条件下选择具有最高可能图像质量的纹理信息T来绘制每个3D对象。此时，针对每个对象或对象的每个部分选择高图像质量纹理、中等图像质量纹理和低图像质量纹理中的一者。
[4-1.信息处理系统的功能配置的描述]
将参照图19描述包括在信息处理系统10c中的服务器装置20c和移动终端30c的功能配置。图19是示出第四实施方式的信息处理系统的功能配置的示例的功能框图。
服务器装置20c包括3D模型获取单元101、3D模型选择单元102、3D模型传输单元103和通信控制单元106。
3D模型获取单元101获取主体90的3D模型90M。注意，主体90的3D模型90M可以预先存储在服务器装置20c中，或者可以存储在连接至服务器装置20c的另一服务器装置中，该服务器装置在图19中未示出。此外，服务器装置20c本身可以具有生成主体90的3D模型90M的功能。
3D模型选择单元102根据由移动终端30c的纹理信息选择单元113所选择的结果从由3D模型获取单元101获取的主体90的3D模型90M中选择网格信息M和纹理信息T，该纹理信息选择单元113将在下面描述。
3D模型传输单元104将由3D模型选择单元102选择的3D模型90M的网格信息M和纹理信息T传输至移动终端30c。注意，网格信息M和纹理信息T在以预定格式编码的状态下传输。
通信控制单元106控制服务器装置20c与移动终端30c之间的通信。
此外，移动终端30c包括操作检测单元111、视频生成条件设置单元112、纹理信息选择单元113、视频生成条件传输单元114、3D模型接收单元115、渲染处理单元116、显示控制单元117和通信控制单元118。
操作检测单元111检测用户关于移动终端30c的操作指令。
视频生成条件设置单元112设置针对要生成的体积视频的生成条件。具体地，拥有移动终端30c的视频观看者(用户)设置视频生成条件，诸如要在体积视频中显示的对象的类型、对象布置条件以及用于观看视频的视点位置。
纹理信息选择单元113决定在移动终端30c执行由视频生成条件设置单元112设置的对对象的渲染处理时要使用的纹理信息T。注意，纹理信息选择单元113是本公开内容中的决定单元的示例。纹理信息选择单元113决定执行使用低图像质量纹理信息Ta的渲染处理、使用中等图像质量纹理信息Tb的渲染处理还是使用高图像质量纹理信息Tb的渲染处理。具体地，纹理信息选择单元113基于与所选择对象有关的信息、对象在画面上的大小以及当将纹理信息Tb传递至作为再现装置的移动终端30c时的传递速度来决定使用低图像质量纹理信息Ta还是高图像质量纹理信息Tb来绘制该对象。注意，与所选择对象有关的信息被描述在例如可扩展标记语言(XML)文件中并且存储在服务器装置20c中。移动终端30c读取该XML文件并且获取与对象有关的信息。此外，XML文件可以预先存储在移动终端30c中。
视频生成条件传输单元114将由视频生成条件设置单元112选择的对象的信息和由纹理信息选择单元113选择的纹理信息T传输至服务器装置20c。
3D模型接收单元115接收由服务器装置20c传输的网格信息M和纹理信息T。
渲染处理单元116使用由3D模型接收单元115接收到的网格信息M和纹理信息来渲染3D模型，并且重构3D模型。
显示控制单元117在移动终端30c的显示器上显示经渲染的体积视频。
通信控制单元118控制移动终端30c与服务器装置20c之间的通信。
[4-2.由信息处理系统执行的处理的描述]
接下来，将参照图20描述直到信息处理系统10c执行3D对象的渲染的一系列处理的流程。图20是示出其中第四实施方式的信息处理系统执行3D对象的渲染的处理的流程的示例的图。
如图20所示，移动终端30c获取操作信息，这是由移动终端30c为了设置体积视频生成条件而进行的。此外，服务器装置20c接收由移动终端30c进行的操作信息，并且读取在例如可扩展标记语言(XML)文件中描述的要渲染的3D对象的规格。
纹理信息选择单元113基于体积视频生成条件和要渲染的3D对象的规格来选择要在渲染时使用的纹理信息T。此时，例如，基于在针对要生成的每个体积视频的画面上每单位长度(例如，1m)的像素数目来决定使用纹理信息Ta(低图像质量纹理)还是纹理信息Tb(中等图像质量纹理和高图像质量纹理)。
注意，当服务器装置20c与移动终端30c之间的通信容量(比特率)受到限制时，服务器装置20c将容量范围内的高图像质量纹理或中等图像质量纹理传输至移动终端30c，并且在超过比特率帧时仅传输低图像质量纹理。通常，在体积视频中绘制多个3D对象。然后，对象在画面上的尺寸越大，用户越引人注目，并且期望使用高图像质量纹理进行绘制。因此，期望从具有最大尺寸的对象(具有在画面上每单位长度的最大像素数目的对象)起按顺序选择要使用的纹理信息T。
将由纹理信息选择单元113选择的纹理信息传输至服务器装置20c，并且3D模型选择单元102为要绘制的每个3D对象读取网格信息M和所选择的纹理信息T(低图像质量纹理信息Ta、中等图像质量纹理信息Tb和高图像质量纹理信息Tb中的一者)。
然后，3D模型传输单元103将包括由纹理信息选择单元113选择的纹理信息T的3D模型传输至移动终端30c。
移动终端30c的3D模型接收单元115从服务器装置20c接收3D模型。然后，渲染处理单元116对接收到的3D模型的网格信息M和纹理信息T进行解码并且对体积视频进行渲染。在图20的示例中，绘制了3D模型92M和93M。
接下来，将参照图21描述绘制具有低图像质量纹理的3D对象的一部分的示例。图21是示出其中使用不同的纹理信息T绘制一个3D对象的示例的图。
图21示出了绘制3D模型92M的示例。当以高图像质量纹理绘制3D模型92M时，在超过比特率帧的情况下，仅使用低图像质量纹理来绘制3D模型92M的下部区域98。此时，渲染处理单元116可以读取与区域98对应的低图像质量纹理(UV图)的信息，以通过参考与区域98对应的网格信息M来执行绘制。此外，如图21所示，使用低图像质量纹理的渲染被预先执行，并且通过参考与区域98对应的坐标位置处的低图像质量渲染的结果，可以使用高图像质量纹理来补充执行到中途的绘制的结果。
此外，当使用高图像质量纹理绘制图21所示的3D模型92M时，捕获纹理信息Tb时的摄像装置的位置和方向不一定与体积视频的观察位置和观察方向匹配，并且因此可能生成缺失高图像质量纹理信息Tb的区域。例如，图21所示的区域99就是这样的示例。在这种情况下，渲染处理单元116通过使用低图像质量纹理信息Ta来补充缺失信息的区域。注意，下面将描述用于确定是否缺失高图像质量纹理信息Tb的具体方法(参见图24中的步骤S93)。
[4-3.由信息处理系统执行的处理的流程的描述]
接下来，将参照图22描述由信息处理系统10c执行的处理的流程。图22是示出由第四实施方式的信息处理系统执行的处理的流程的示例的流程图。
首先，将描述由服务器装置20c执行的处理的流程。3D模型选择单元102基于在移动终端30c中设置的视频生成条件从由3D模型获取单元101获取的主体的3D模型90M中选择传输至移动终端30c的3D模型(网格信息M和纹理信息T)(步骤S50)。
3D模型传输单元103将由3D模型选择单元102选择的3D模型传输至移动终端30c(步骤S51)。然后，服务器装置20c结束图22的处理。
接下来，将描述由移动终端30c执行的处理的流程。操作检测单元111获取由用户输入的体积视频生成条件。然后，视频生成条件设置单元112设置针对要生成的体积视频的生成条件(步骤S60)。
纹理信息选择单元113基于在步骤S60中设置的视频生成条件来执行用于决定要在绘制3D模型90M时使用的纹理信息T的纹理选择处理(步骤S61)。注意，下面将描述在步骤S61中执行的处理的细节(参见图23)。
视频生成条件传输单元114将由视频生成条件设置单元112和纹理信息选择单元113设置的视频生成条件传输至服务器装置20c(步骤S62)。
3D模型接收单元115接收由服务器装置20c传输的3D模型(步骤S63)。
渲染处理单元116使用从服务器装置20c接收到的信息来绘制3D模型90M(步骤S64)。注意，下面将描述在步骤S64中执行的处理的细节(参见图24)。
显示控制单元117在移动终端30c的显示器上显示在步骤S64中绘制的体积视频(步骤S65)。然后，移动终端30c结束图22的处理。
[4-4.由移动终端执行的纹理选择处理的流程的描述]
接下来，将参照图23描述由移动终端30c执行的纹理选择处理的流程。图23是示出由第四实施方式的移动终端执行的纹理选择处理的流程的示例的流程图。
纹理信息选择单元113针对每个3D对象计算在画面上每单位长度的像素数目D(步骤S70)。
纹理信息选择单元113以像素数目D的降序对3D对象进行排序(步骤S71)。
纹理信息选择单元113将唯一识别每个3D对象的对象编号i以及中等图像质量纹理和高图像质量纹理的总比特率S两者都设置为零，以全面地执行后续处理(步骤S72)。
纹理信息选择单元113确定在画面上具有对象编号i的3D对象的每单位长度的像素数目Di是否等于或大于预设阈值Hd(步骤S73)。当确定像素数目Di等于或大于阈值Hd(步骤S73：是)时，处理进行至步骤S74。另一方面，当没有确定像素数目Di等于或大于阈值Hd(步骤S73：否)时，处理进行至步骤S81。
当在步骤S73中确定为是时，纹理信息选择单元113获取从最靠近要绘制的体积视频的观察方向的方向获取的纹理信息Tb的编号N(步骤S74)。
纹理信息选择单元113确定下述：像素数目Di是否大于与编号N的纹理信息Tb对应的中等图像质量纹理的每单位长度的像素数目D，并且直到该点为止的总比特率S和与编号N的纹理信息Tb对应的高图像质量纹理的比特率之和是否小于预设阈值Hb(步骤S75)。在确定满足条件(步骤S75：是)时，处理进行步骤S76，并且在没有确定满足条件(步骤S75：否)时，处理进行至步骤S77。
当在步骤S75中确定为是时，纹理信息选择单元113选择编号N的高图像质量纹理(步骤S76)。然后，处理进行至步骤S78。
另一方面，当在步骤S75中确定为否时，纹理信息选择单元113选择编号N的中等图像质量纹理(步骤S77)。然后，处理进行至步骤S78。
在步骤S76或步骤S77之后，纹理信息选择单元113将直到该点为止的总比特率S与在步骤S76或步骤S77中选择的纹理的比特率相加，以获得新的总比特率S(步骤S78)。
纹理信息选择单元113确定在步骤S78中更新的总比特率S是否小于阈值Hb(步骤S79)。当确定总比特率S小于阈值Hb(步骤S79：是)时，处理进行至步骤S80。另一方面，当没有确定总比特率S小于阈值Hb(步骤S79：否)时，处理进行至步骤S81。
当在步骤S70中确定为是时，纹理信息选择单元113决定使用在步骤S76或步骤S77中选择的纹理来执行渲染(步骤S80)。
随后，纹理信息选择单元113使对象编号i递增(步骤S82)。
纹理信息选择单元113确定对象编号i是否小于在一个画面上渲染的对象的总数(步骤S83)。当确定对象编号i小于对象的总数(步骤S83：是)时，处理返回至步骤S73。另一方面，当没有确定对象编号i小于对象的总数(步骤S83：否)时，纹理信息选择单元113结束图23的处理。
注意，当在步骤S73确定为否或在步骤S79确定为否时，纹理信息选择单元113决定仅使用低图像质量纹理来渲染所有后续对象(步骤S81)。然后，纹理信息选择单元113结束图23的处理。
[4-5.由移动终端执行的渲染处理的流程的描述]
接下来，将参照图24描述由移动终端30c执行的渲染处理的流程。图24是示出由第四实施方式的移动终端执行的渲染处理的流程的示例的流程图。
渲染处理单元116确定要渲染的对象使用高图像质量纹理还是中等图像质量纹理(步骤S90)。当确定使用高图像质量纹理或中等图像质量纹理(步骤S90：是)时，处理进行至步骤S91。另一方面，当没有确定使用高图像质量纹理或中等图像质量纹理(步骤S90：否)时，处理进行至步骤S97。
当在步骤S90中确定为是时，渲染处理单元116生成当捕获要使用的纹理时从摄像装置看到的对象的深度图(步骤S91)。注意，深度图是指示对象的深度信息Dp的图。
渲染处理单元116在捕获纹理时利用摄像装置参数对从视点位置观看的对象上的每个像素的点进行透视变换，并且计算关于纹理的坐标和深度值(步骤S92)。
渲染处理单元116确定下述：在步骤S92中计算出的坐标是否在纹理的大小范围内而不是深度图上的背景区域内，并且在步骤S92中计算出的深度值与深度图上的深度值之间的差是否在预定阈值内(步骤S93)。当确定满足条件(步骤S93：是)时，处理进行至步骤S94。另一方面，当没有确定满足条件(步骤S93：否)时，处理进行至步骤S95。注意，在步骤S93中，确定在捕获高图像质量纹理信息Tb时是否从摄像装置可见该区域。然后，当在步骤S93中确定为否时，确定该区域缺少高图像质量纹理信息Tb。
当在步骤S93中确定为是时，渲染处理单元116使用高图像质量纹理或中等图像质量纹理上的与在步骤S92中计算出的坐标对应的颜色执行渲染(步骤S94)。然后，处理进行至步骤S96。
另一方面，当在步骤S93中确定为否时，渲染处理单元116使用低图像质量纹理(UV图)执行渲染(步骤S95)。然后，处理进行至步骤S96。
在步骤S94或步骤S95之后，渲染处理单元116确定对象的所有像素是否都被渲染(步骤S96)。当确定对象的所有像素都被渲染(步骤S96：是)时，渲染处理单元116结束图24的处理。另一方面，当没有确定对象的所有像素都被渲染(步骤S96：否)时，处理返回至步骤S92。
注意，当在步骤S90中确定为否时，渲染处理单元116使用低图像质量纹理(UV图)渲染对象的所有像素(步骤S97)。然后，渲染处理单元116结束图24的处理。
[4-6.第四实施方式的效果]
如上所述，关于第四实施方式的移动终端30c(信息处理装置)，纹理信息选择单元113(决定单元)基于3D对象在画面上的大小和纹理信息T被传递至移动终端30c(再现装置)时的传递速度来决定使用纹理信息Ta(第一纹理信息)或纹理信息Tb(第二纹理信息)来绘制3D对象。
因此，当执行体积视频的流式再现时，可以选择要被用于渲染的纹理信息T，以适配可再现流的数目。
此外，在第四实施方式的移动终端30c(信息处理装置)中，渲染处理单元116将3D对象在画面上的每单位长度的像素数目D设置为3D对象在画面上的大小。
因此，可以通过简单的比例来决定纹理信息T。
此外，在第四实施方式的移动终端30c(信息处理装置)中，当绘制多个3D对象时，在将根据3D对象大小的纹理信息Tb(第二纹理信息)的传递速度相加并且相加的结果低于预定阈值的情况下，渲染处理单元116使用针对每个3D对象的纹理信息Tb来绘制3D对象。此外，当相加的结果等于或高于预定阈值时，使用纹理信息Ta(第一纹理信息)来绘制后续的3D对象。
因此，可以根据分发环境的性能以最高可能的图像质量来传送体积视频。
此外，在第四实施方式的移动终端30c(信息处理装置)中，当执行3D对象的渲染时，渲染处理单元116使用纹理信息Tb来执行其中当将根据3D对象大小的纹理信息Tb(第二纹理信息)的传递速度相加时相加的结果低于预定阈值的区域的渲染。此外，使用纹理信息Ta(第一纹理信息)对其中相加的结果等于或高于预定阈值的区域进行渲染。
因此，即使在一个对象内，也可以根据分发环境的性能以最高可能的图像质量来传送体积视频。
此外，在第四实施方式的移动终端30c(信息处理装置)中，当执行多个3D对象的渲染时，渲染处理单元116使用纹理信息Tb来对其中可以获得纹理信息Tb(第二纹理信息)的对象的区域执行渲染，并且使用纹理信息Ta(第一纹理信息)对缺少纹理信息Tb的区域执行渲染。
因此，可以通过借助于使用低图像质量纹理来补充对象中不能获得高图像质量纹理的区域来生成没有缺失的体积视频。
(5.第五实施方式)
当再现包含3D对象的视频时，需要以高图像质量将仅3D对象的特定部分绘制在用户(观看者)希望关注的或用户想要关注的部分上。本公开内容的第五实施方式的信息处理系统10d(未示出)满足这种需要，并且例如，当3D对象为人时，以高图像质量纹理(例如，纹理信息Ta)执行仅对人的面部和衣服的渲染。
[5-1.信息处理系统的功能配置的描述]
第五实施方式的信息处理系统10d包括具有与第四实施方式中描述的服务器装置20c和移动终端30c相同的功能配置的服务器装置20d和移动终端30d。注意，移动终端30d是本公开内容中的信息处理装置的示例。
作为体积视频的观察者的移动终端30d的所有者在移动终端30d上输入请求，例如，“我想要以高图像质量绘制所有人的面部”、“我想要以高图像质量绘制特定人的面部”、“我想要以高图像质量绘制人所穿的衣服”。移动终端30d的操作检测单元111(参见图19)对请求的输入进行检测，并且将该请求传输至服务器装置20d。然后，服务器装置20d的3D模型选择单元102基于从移动终端30d接收到的以高图像质量绘制3D对象的特定区域的信息来选择绘制所需的纹理信息T。此时，针对被指定为以高图像质量绘制的区域选择纹理信息Tb。将包括所选择的纹理信息T的3D模型传输至移动终端30d。然后，移动终端30d基于接收到的3D模型执行渲染并且重构该3D模型。
[5-2.由信息处理系统执行的处理的描述]
接下来，将参照图25描述第五实施方式的信息处理系统10d的操作。图25是说明第五实施方式的信息处理系统的操作的图。
图25是生成包含两个3D对象——即人123和人124——的体积视频的示例。然后，假设已经从移动终端30d向服务器装置20d发出以高图像质量渲染人123的面部的请求。
此时，服务器装置20d的3D模型选择单元102(参见图19)将人123的3D模型划分为面部区域123a和非面部区域123b(图像120)。注意，假设人123的网格信息M被预先给予指示其是面部区域的识别符号。然后，3D模型选择单元102从人123的网格信息M中获取被给予指示其是面部区域的识别符号的区域作为面部区域123a。
接下来，服务器装置20d的3D模型选择单元102选择与人123的面部区域123a对应的高图像质量纹理信息Tb。然后，3D模型传输单元103将包括人123的整个身体和人124的整个身体的低图像质量纹理信息Ta和与人123的面部区域123a对应的高图像质量纹理信息Tb的3D模型传输至移动终端30d。
移动终端30d的3D模型接收单元115接收从服务器装置20d传输的3D模型。然后，渲染处理单元116首先使用低图像质量纹理信息Ta绘制人123和人124两者。因此，绘制出图25的图像121中所示的人125和人126。
接下来，渲染处理单元116将高图像质量纹理信息Tb覆盖在图像121的人125的面部区域上。因此，绘制出图25的图像122中所示的人127。
因此，生成人127的体积视频，其中，面部区域123a是使用高图像质量纹理信息Tb绘制的并且非面部区域123b是使用低图像质量纹理信息Ta绘制的。
注意，如上所述，可以使用低图像质量纹理信息Ta预先绘制诸如面部或衣服的重要区域，并且然后使用高图像质量纹理信息Tb覆盖相应的区域，或者可以使用纹理信息Tb和纹理信息Ta针对每个区域使用不同的纹理信息进行绘制。
[5-3.由信息处理系统执行的处理的流程的描述]
接下来，将参照图26描述由信息处理系统10d执行的处理的流程。图26是示出由第五实施方式的信息处理系统执行的处理的流程的示例的流程图。
首先，将描述由服务器装置20d执行的处理的流程。3D模型选择单元102从移动终端30d接收渲染时要强调的部分的信息，并且从包括在3D模型获取单元101中的3D模型中获取对应对象的3D模型(步骤S100)。
3D模型选择单元102基于从移动终端30d接收到的渲染时要强调的部分的信息来设置要使用高图像质量纹理信息Tb和低图像质量纹理信息Ta绘制的区域(步骤S101)。
3D模型传输单元103将包括与由3D模型选择单元102所选择的区域对应的高图像质量纹理信息Tb和低图像质量纹理信息Ta的3D模型传输至移动终端30d(步骤S102)。然后，服务器装置20d结束图26的处理。
接下来，将描述由移动终端30d执行的处理的流程。视频生成条件设置单元112接受基于由操作检测单元111检测到的用户操作的视频生成条件。此外，纹理信息选择单元113接受要在对象中强调的部分的指定，并且设置使用纹理信息Tb(第二纹理信息)绘制3D对象的特定区域(步骤S110)。
视频生成条件传输单元114将在步骤S110中指定的信息传输至服务器装置20d(步骤S111)。
3D模型接收单元115接收由服务器装置20d传输的3D模型(步骤S112)。
渲染处理单元116使用低图像质量纹理信息Ta绘制所有对象。然后，此外，在指示要强调的区域中覆盖高图像质量纹理信息Tb(步骤S113)。
显示控制单元117在移动终端30d的显示器上显示在步骤S113中绘制的体积视频(步骤S114)。然后，移动终端30d结束图26的处理。
[5-4.第五实施方式的效果]
如上所述，关于第五实施方式的移动终端30d(信息处理装置)，纹理信息选择单元113(决定单元)决定使用纹理信息Tb(第二纹理信息)绘制3D对象的特定区域。
因此，可以通过以高图像质量渲染3D对象中的特定部分来强调特定部分。
此外，关于第五实施方式的移动终端30d(信息处理装置)，当3D对象为人时，纹理信息选择单元113(决定单元)决定使用纹理信息Tb(第二纹理信息)来绘制人的面部。
因此，可以通过以高图像质量渲染特定部分来强调观看者特别可能关注的3D对象的特定部分。
注意，本说明书中描述的效果仅是示例并且不受限制，并且可以具有其他效果。此外，本公开内容的实施方式不限于上面描述的实施方式，并且可以在不脱离本公开内容的主旨的情况下进行各种修改。
例如，本公开内容还可以具有下面描述的配置。
(1)
一种信息处理装置，包括：
决定单元，所述决定单元决定在绘制3D对象时使用以第一格式表示所述3D对象的表面的第一纹理信息还是不同于所述第一纹理信息的以第二格式表示所述3D对象的表面的第二纹理信息来绘制所述3D对象中的所有或一些；以及
绘制单元，所述绘制单元使用指示所述3D对象的表面形状的形状信息和由所述决定单元决定的纹理信息来绘制所述3D对象。
(2)
一种信息处理装置，包括：
存储单元，所述存储单元存储指示3D对象的表面形状的形状信息、以第一格式表示所述3D对象的表面的第一纹理信息以及使用不同于所述第一纹理信息的以第二格式表示所述3D对象的表面的第二纹理信息表示的纹理信息；
决定单元，当观察从绘制所述3D对象的绘制装置输出的3D对象时，所述决定单元决定将由所述存储单元存储的多个不同格式的纹理信息中的哪个纹理信息传输至所述绘制装置；以及
传输单元，所述传输单元将所述形状信息和由所述决定单元决定的所述纹理信息传输至所述绘制装置。
(3)
根据(1)或(2)所述的信息处理装置，其中，
所述第一纹理信息是不依赖于用于观察所述3D对象的视点位置的纹理信息，并且
所述第二纹理信息是依赖于用于观察所述3D对象的视点位置的纹理信息。
(4)
根据(1)至(3)中任一项所述的信息处理装置，其中，
所述决定单元基于所述3D对象在画面上的大小和将所述纹理信息传递至再现装置时的传递速度来决定使用所述第一纹理信息还是所述第二纹理信息来绘制所述3D对象。
(5)
根据(4)所述的信息处理装置，其中，
所述大小是所述3D对象在所述画面上的每单位长度的像素数目。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，
在绘制多个3D对象时，
所述绘制单元针对所述3D对象中的每个3D对象将根据所述3D对象的大小的所述第二纹理信息的传递速度相加，并且当相加的结果低于预定阈值时，使用所述第二纹理信息来绘制所述3D对象，并且
当所述相加的结果等于或大于所述预定阈值时，使用所述第一纹理信息来绘制后续的3D对象。
(7)
根据(1)至(6)中任一项所述的信息处理装置，其中，
在绘制所述3D对象时，
所述绘制单元将根据所述3D对象的大小的所述第二纹理信息的传递速度相加，并且使用所述第二纹理信息来绘制相加的结果低于预定阈值的区域，以及
使用所述第一纹理信息来绘制所述相加的结果等于或大于所述预定阈值的区域。
(8)
根据(1)至(7)中任一项所述的信息处理装置，其中，
在绘制所述3D对象时，
所述绘制单元使用所述第二纹理信息绘制其中在所述3D对象内能够获得所述第二纹理信息的区域，以及
使用所述第一纹理信息来补充缺少所述第二纹理信息的区域。
(9)
根据(1)至(8)中任一项所述的信息处理装置，还包括：
检测单元，所述检测单元对在观察所述3D对象时给出的操作指令进行检测，其中，
所述决定单元基于由所述检测单元检测到的操作指令来决定绘制所述3D对象时的纹理信息。
(10)
根据(1)至(9)中任一项所述的信息处理装置，其中，
所述决定单元决定使用所述第二纹理信息来绘制所述3D对象的特定区域。
(11)
根据(10)所述的信息处理装置，其中，
当所述3D对象为人时，所述决定单元决定使用所述第二纹理信息来绘制所述人的面部。
(12)
根据(9)所述的信息处理装置，其中，
所述操作指令为所述3D对象的观察方向或所述3D对象的观察方向的变化。
(13)
根据(9)或(12)所述的信息处理装置，其中，
所述操作指令为观察所述3D对象时的视角。
(14)
根据(9)、(12)或(13)所述的信息处理装置，其中，
所述操作指令为观察所述3D对象时的所述3D对象与视点位置之间的距离。
(15)
根据(9)或(12)至(14)中任一项所述的信息处理装置，其中，
当所述操作指令为所述3D对象的观察方向的变化时，所述决定单元在所述观察方向的变化速度大于预定值时选择不依赖于视点位置的纹理信息，并且在所述变化速度大于所述预定值时选择依赖于所述视点位置的纹理信息。
(16)
根据(9)或(12)至(15)中任一项所述的信息处理装置，其中，
当所述操作指令为观察所述3D对象时的视角时，所述决定单元在所述视角宽于预定值时选择不依赖于视点位置的纹理信息，并且在所述视角窄于所述预定值时选择依赖于所述视点位置的纹理信息。
(17)
根据(9)或(12)至(16)中任一项所述的信息处理装置，其中，
当所述操作指令为观察所述3D对象时的所述3D对象与视点位置之间的距离时，所述决定单元在所述距离大于预定值时选择不依赖于所述视点位置的纹理信息，并且在所述距离等于或小于所述预定值时选择依赖于所述视点位置的纹理信息。
(18)
根据(9)或(12)至(17)中任一项所述的信息处理装置，其中，
当操作指令为观察所述3D对象时的观察方向时，所述决定单元在所述3D对象在距所述观察方向的预定距离内的位置处时选择依赖于所述视点位置的纹理信息，并且在所述3D对象在比距所述观察方向的所述预定距离更远的位置处时选择不依赖于所述视点位置的纹理信息。
(19)
一种3D数据生成方法，包括：
决定步骤，所述决定步骤决定在绘制3D对象时使用以第一格式表示所述3D对象的表面的第一纹理信息还是不同于所述第一纹理信息的以第二格式表示所述3D对象的表面的第二纹理信息针对所述3D对象中的所有或一些来重构所述3D对象；以及
3D数据生成步骤，所述3D数据生成步骤使用指示所述3D对象的表面形状的形状信息和在所述决定步骤中决定的纹理信息来重构所述3D对象。
(20)
一种程序，使计算机用作：
决定单元，所述决定单元决定在绘制3D对象时使用以第一格式表示所述3D对象的表面的第一纹理信息还是不同于所述第一纹理信息的以第二格式表示所述3D对象的表面的第二纹理信息来绘制所述3D对象中的所有或一些；以及
绘制单元，所述绘制单元使用指示所述3D对象的表面形状的形状信息和由所述决定单元决定的纹理信息来绘制所述3D对象。
附图标记列表
10a、10b、10c、10d信息处理系统、20a、20c、20d服务器装置、20b服务器装置(信息处理装置)、30a、30d移动终端(信息处理装置)、30b移动终端(绘制装置)、30c移动终端(信息处理装置、再现装置)、31、91、111操作检测单元(检测单元)、32 3D模型获取单元、33、113纹理信息选择单元(决定单元)、34、116渲染处理单元(绘制单元)、83 3D模型存储单元(存储单元)、84操作指令检测单元(检测单元)、86传输信息选择单元(决定单元)、87 3D模型传输单元(传输单元)、90M、92M、93M、94M、95M 3D模型(3D对象)、M网格信息(形状信息)、T纹理信息、Ta纹理信息(第一纹理信息)、Tb纹理信息(第二纹理信息)
