应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法与流程

1.本发明涉及计算机技术领域，尤其涉及一种应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法。


背景技术：

2.随着半导体技术的发展，多种类型的集成电路芯片常被封装在同一封装体内。连接处理芯片与存储器的方式包括：pcb板级芯片互连、pop（package over package）封装、sip（system in package）封装等。
3.pcb板级芯片互连将处理芯片与存储芯片通过pcb板的线路连接在一起，这会使得芯片之间的连线很长，信号传输负载大、效率低，同时也带来了额外的功耗。
4.pop（package over package）封装即将存储器直接焊在处理芯片的封装面上，这样能简化线路板设计，并且也能节省芯片布板空间。但是，这种封装方式不容易散热发，影响容量扩展，且价格昂贵，厚度较大。
5.sip（system in package）封装是以并排或叠加的封装方式，将多种功能芯片，包括处理器、存储器等集成在一个封装内，从而实现多个裸片（die）在芯片内部的连接。但是，这种封装方式不容易散热，影响容量扩展，且价格昂贵，厚度较大。
6.随着便携式移动终端的发展，其多媒体外设如图像传感器、显示屏幕等，向着高像素密度、高像素位宽的方向发展，同时图像传感器的采样帧率以及显示器的刷新帧率也越来越高。例如，对于3840x2160分辨率、10bit高位宽、刷新率120hz的显示屏，其完整一帧的缓存需要32mb，仅数据传输带宽的要求就需要32gb/s。由于便携式移动终端系统的应用处理器高度集成和系统应用高并发的特点，芯片系统内总线带宽及外部dram存取带宽总需求要远远高于显示屏幕数据传输带宽的需求，并且对于应用处理器的多媒体数据缓存要求和实时处理能力要求越来越高。
7.同时便携式移动终端对于功耗节能有严苛要求，但是部分显示屏幕在屏幕显示内容没有更新时仍要求进行显示内容的刷新，这导致便携式移动终端在屏幕显示内容没有更新时仍需要处于活动状态以完成显示屏幕刷新工作，与节省功耗产生矛盾。
8.便携式移动终端的应用处理器通常通过ddrsubsystem访问外部dram存储器。dram subsystem包含dramcontroller和dram phy两部分。dram phy负责dram上下电、生产dram访问的存取命令、dram数据的存取以及产生各io之间的时序逻辑。dramcontroller负责应用处理器各子系统访问dram数据存取的调度和缓存、优先级的处理以及访问冲突的仲裁。
9.dram subsystem通过ddrio与dram存储器进行数据和命令的交互。由于便携式移动终端芯片和硬件空间受限的特点，ddrio数量有限，io的时钟频率需要到ghz以上才能满足足够的dram存取带宽性能。dram存储器在通过ddrio收发来自外部的访问存取命令和数据交互后，又必须进行串并转换以适配dram存储阵列并行但是低时钟频率的特点。这导致dramsubsystem中dramphy设计和dram存储器的控制和转换逻辑设计的复杂性以及带来的
并-串-并转换的延时。
10.因此，亟需提供一种功能更强、功耗更省的多媒体处理架构及系统。


技术实现要素：

11.本发明的目的在于提供一种应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法，以提高性能、减少功耗。
12.基于以上考虑，本发明提供一种应用于便携式移动终端的多媒体芯片架构，在应用处理器与图像传感器之间和/或应用处理器与显示器之间具有多媒体处理芯片，所述多媒体处理芯片通过混合键合方式连接dram存储器；所述多媒体处理芯片与dram存储器具有简化的输入输出物理层，完成dram数据的存取；所述dram存储器作为图像数据的缓存和/或显示数据的缓存，提高应用处理器的性能。
13.可选地，所述dram存储器与其外部io接口之间去除数据并串转换单元，实现输入输出物理层的简化。
[0014] 可选地，所述dram 存储器与其外部io接口之间通过设置数据位宽并串转换比小于等于4, 实现输入输出物理层的简化。
[0015]
可选地，所述dram存储器和所述多媒体处理芯片通过低电压接口连接，提高dram存储器读写性能，降低读写差错率，降低功耗。
[0016]
可选地，所述多媒体处理芯片连接图像传感器的输入图像数据接口数量大于等于其连接至应用处理器的输出图像数据接口数量，以扩充所述应用处理器连接所述图像传感器的输入图像数据接口数量，实现若干个不同图像传感器之间的输入切换或合并若干个不同图像传感器的输入图像数据后传输至应用处理器。
[0017]
可选地，所述多媒体处理芯片连接至显示器的输出显示数据接口数量大于等于其连接至应用处理器的接收显示数据接口数量，所述多媒体处理芯片从所述应用处理器接收相同或不同的显示数据，经过处理后输出至若干个显示器，实现若干个显示器同步显示相同内容或若干个显示器同步显示不同内容。
[0018]
可选地，所述dram存储器由与所述多媒体处理芯片连接的n个dram块组成，每个dram块的位宽为m，实现总存储数据最大位宽为 m*n， n≥1。
[0019]
可选地，所述多媒体处理芯片具有多种类型的数据处理单元，至少包括输入图像数据处理单元及输出显示数据处理单元。
[0020]
可选地，所述多媒体处理芯片的数据处理单元至少包括图像处理单元、图像信号处理单元、嵌入式神经网络处理单元、显示处理单元。
[0021]
可选地，所述多媒体处理芯片的数据处理单元还包括中央处理单元。
[0022]
可选地，每个数据处理单元单独使用一个dram块或多个数据处理单元共用多个dram块或多个数据处理单元共用一个dram块。
[0023]
可选地，所述多媒体处理芯片和dram块具有存算一体功能。
[0024]
可选地，所述dram存储器缓存从所述应用处理器接收的显示数据，自动进行显示器屏幕刷新，降低应用处理器所需的输出显示数据帧的频率，节省应用处理器的功耗。
[0025]
可选地，所述dram存储器缓存从所述应用处理器接收的显示数据，在多帧显示数据之间进行插值处理后输出至显示器进行刷新，实现高于应用处理器本身输出显示数据帧
的频率，提高应用处理器的显示性能。
[0026]
本发明还提供一种应用于便携式移动终端的多媒体处理系统，所述多媒体处理系统包括：多媒体处理芯片、dram存储器、应用处理器、至少一个图像传感器和/或至少一个显示器；基于以上的多媒体芯片架构应用于该系统。
[0027]
应用于便携式移动终端的多媒体处理系统的实现方法，所述多媒体处理系统的图像数据输入过程包括：所述图像传感器将原图像数据传输至所述多媒体处理芯片进行处理，同时所述应用处理器将处理后的图像数据传输至所述多媒体处理芯片，所述多媒体处理芯片获得来自所述图像传感器和所述应用处理器的图像数据。
[0028]
应用于便携式移动终端的多媒体处理系统的实现方法，所述多媒体处理系统的显示数据输出过程包括：所述应用处理器将处理后的显示数据传输至所述多媒体处理芯片，与所述多媒体处理芯片中缓存的显示数据一同输出。
[0029]
应用于便携式移动终端的多媒体处理系统的实现方法，所述多媒体处理系统的显示数据输出过程包括：所述图像传感器将原图像数据传输至所述多媒体处理芯片进行处理，所述多媒体处理芯片将处理后得到的显示数据输出至所述显示器进行显示。
[0030]
本发明的应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法，具有以下有益效果：通过去除dram存储器与外部io接口之间的数据并串转换单元或将dram 存储器与外部io接口之间设置数据位宽并串转换比小于等于4,实现dram存储器输入输出物理层的简化，提高dram阵列读写效率，并且降低转换功耗；通过混合键合连接方式连接dram存储器与多媒体处理芯片，减小了整体面积，降低了厚度，兼顾了性能和尺寸要求；通过采用低电压接口连接dram存储器和多媒体处理芯片，提高dram读写性能，降低读写差错率，并且降低功耗。
附图说明
[0031]
通过参照附图阅读以下所作的对非限制性实施例的详细描述，本发明的其它特征、目的和优点将会变得更明显。
[0032]
图1显示为本发明提供的多媒体处理芯片与dram存储器连接示意图；图2显示为本发明提供的应用于便携式移动终端的多媒体处理系统示意图。
[0033]
在图中，贯穿不同的示图，相同或类似的附图标记表示相同或相似的装置（模块）或步骤。
具体实施方式
[0034]
在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。
[0035]
其次，本发明利用示意图进行详细描述，在详述本发明实施例时，为便于说明，所述示意图只是实例，其在此不应限制本发明保护的范围。
[0036]
本发明提供一种应用于便携式移动终端的多媒体芯片架构，在应用处理器与图像
传感器之间和/或应用处理器与显示器之间，具有多媒体处理芯片，所述多媒体处理芯片通过混合键合方式连接dram存储器；所述多媒体处理芯片与dram存储器具有简化的输入输出物理层，完成dram数据的存取；所述dram存储器作为图像数据的缓存和/或显示数据的缓存，提高应用处理器的性能。
[0037]
本发明还提供一种应用于便携式移动终端的多媒体处理系统，所述多媒体处理系统包括：多媒体处理芯片、dram存储器、应用处理器、至少一个图像传感器和/或至少一个显示器；基于以上所述的多媒体芯片架构应用于该系统。
[0038]
为使本发明的上述目的、特征和优点能够更为明显易懂，以下结合附图对本发明的应用于便携式移动终端的多媒体处理系统进行详细描述。
[0039]
如图1及图2所示，本发明提供的应用于便携式移动终端的多媒体芯片架构，在应用处理器14与图像传感器11之间和/或应用处理器14与显示器11之间具有多媒体处理芯片13，多媒体处理芯片13通过混合键合方式连接dram存储器12；多媒体处理芯片13与dram存储器12具有简化的输入输出物理层，完成dram数据的存取；dram存储器12作为图像数据的缓存和/或显示数据的缓存，提高应用处理器14的性能。
[0040]
在本发明中，简化输入输出物理层以降低转换功耗。简化输入输出物理层的方式包括：通过去除dram 存储器与外部io接口之间的数据并串转换单元，dram 存储器与多媒体处理芯片无需进行并-串-并转换，以实现输入输出物理层的简化；也可以通过设置dram 存储器与外部io接口之间数据位宽并串转换比小于等于4,实现输入输出物理层的简化。通过简化输入输出的物理层，提高dram存储器读写效率，降低转换功耗。
[0041]
进一步地，通过低电压接口连接dram存储器和多媒体处理芯片，提高dram读写性能，降低读写差错率，降低功耗。优选地，可以采用低电压差分接口连接dram存储器和多媒体处理芯片，以更好的实现功能。低电压差分技术的核心是采用极低的电压摆幅高速差动传输数据，可以实现点对点或一点对多点的连接，具有低功耗、低误码率、低串扰和低辐射等特点。
[0042]
优选地，多媒体处理芯片中连接图像传感器的输入接口数量可大于等于连接至应用处理器的输出接口数量，以扩充应用处理器与图像传感器连接的接口数量，实现若干个不同图像传感器之间的输入切换或合并若干个不同图像传感器的输入数据后传输至应用处理器，可适配多摄市场趋势。
[0043]
优选地，多媒体处理芯片中连接至显示器的输出显示数据的接口数量大于等于连接至应用处理器的接收显示数据的接口数量，多媒体处理芯片从应用处理器接收相同或不同的显示数据，经过处理后输出至若干个显示器，实现若干个显示器之间同步显示相同内容或若干个显示器之间显示不同的内容。
[0044]
本发明提供的多媒体处理系统可以通过dram存储器缓存从应用处理器接收的显示数据，自动进行显示器屏幕刷新，降低应用处理器所需的输出显示数据帧的频率，节省应用处理器的功耗；还可以通过dram存储器缓存从应用处理器接收的显示数据，在多帧显示数据之间进行插值处理后输出至显示器屏幕进行刷新，实现高于应用处理器本身输出显示数据帧的频率，提高应用处理器的显示性能。
[0045]
可选地，dram存储器可由与多媒体处理芯片连接的n个dram块组成，每个dram块的位宽为m，实现总存储数据最大位宽为 m*n，m≥1，n≥1。将dram存储器设计成由多个dram块
组成，扩展dram存储器的并行读取位宽。在本实施例中，如图1所示，以dram存储器12设计成四个dram块121作为示例。
[0046]
本发明的多媒体处理芯片设有多个处理单元，至少包括输入图像数据处理单元及输出显示数据处理单元。优选地，多媒体处理芯片的数据处理单元至少包括图像处理单元、图像信号处理单元、嵌入式神经网络处理单元、显示处理单元。在其他的多媒体处理芯片中，还包括兼容传统冯诺依曼体系结构的中央处理单元。多媒体处理芯片通过不同处理单元的组合，形成不同的架构类型的多媒体处理芯片。从而可以实现显示画质的增强、lcd自刷新、hdr显示、camera staggeredhdr 、双摄算法增强、camera 超级夜景、aicamera 、高帧率运动补偿等功能。而且，每个数据处理单元可以单独使用一个dram块或多个数据处理单元共用多个dram块或多个数据处理单元共用一个dram块，从而提高dram块的使用效率。
[0047]
优选地，多媒体处理芯片和dram具有存算一体功能，并且，部分dram块本身也具有存算一体功能，数据不需要单独的运算部件来完成计算，而是在存储单元中完成存储和计算，消除了数据访存延迟和功耗，获得更高的性能和能效。
[0048]
本发明还提供一种应用于便携式移动终端的多媒体处理系统，如图2所示，多媒体处理系统包括多媒体处理芯片13、dram存储器12、应用处理器14、至少一个图像传感器11和/或至少一个显示器15；以上所提供的应用于便携式移动终端的多媒体芯片架构应用于该系统中。即在该系统中，在应用处理器14与图像传感器11之间和/或应用处理器14与显示器15之间，具有多媒体处理芯片13，所述多媒体处理芯片通过混合键合方式连接dram存储器12；通过多媒体处理芯片13与dram存储器12具有简化的输入输出物理层，完成dram数据的存取；dram存储器12作为图像数据的缓存和/或显示数据的缓存，提高应用处理器14的性能。
[0049]
本发明提供的多媒体处理系统，在使用时，可通过以下三种方式实现图像数据的输入：第一种数据输入方式为图像传感器11将原图像信号传输至所述应用处理器14进行处理；第二种数据输入方式为图像传感器11将原图像信号传输至多媒体处理芯片进行处理；第三种数据输入方式为图像传感器将原图像信号传输至所述多媒体处理芯片进行处理，同时应用处理器将处理后的图像信号传输至所述多媒体处理芯片，所述多媒体处理芯片获得来自图像传感器和应用处理器的图像信号。当然，本发明中的图像传感器包括一个或多个，本发明的图像数据也来自一个或多个图像传感器。
[0050]
本发明提供的多媒体处理芯片处理架构，在使用时，可通过以下三种方式实现显示数据的输出：第一种是应用处理器将显示数据传输至显示器进行输出；第二种是多媒体处理芯片将显示数据传输至显示器进行输出；第三种是应用处理器显示数据传输至多媒体处理芯片，与多媒体处理芯片中缓存的显示数据一同输出。当然，本发明中的显示器包括一个或多个，本发明的显示数据也可传输至一个或多个显示器进行显示。
[0051]
需要说明的是，本发明所述的便携式移动终端可为智能手机、平板电脑、游戏机等任何具有拍照和显示功能的电子设备。
[0052]
综上所述，本发明通过提供一种应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法，在应用处理器与图像传感器之间和/或应用处理器与显示器之间，具有多媒体处理芯片，所述多媒体处理芯片通过混合键合方式连接dram存储器；多媒体处理芯片与dram存储器具有简化的输入输出物理层，完成dram数据的存取，dram存储器作为
图像数据的缓存和/或显示数据的缓存，提高整个系统的性能，从而达到更强的功能、更好的画质、更省的功耗以及更高的价值。
[0053]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论如何来看，均应将实施例看作是示范性的，而且是非限制性的。此外，明显的，“包括”一词不排除其他元素和步骤，并且措辞“一个”不排除复数。装置权利要求中陈述的多个元件也可以由一个元件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

技术特征：
1.一种应用于便携式移动终端的多媒体芯片架构，其特征在于，在应用处理器与图像传感器之间和/或应用处理器与显示器之间具有多媒体处理芯片，所述多媒体处理芯片通过混合键合方式连接dram存储器；所述多媒体处理芯片与dram存储器具有简化的输入输出物理层，完成dram数据的存取，所述dram存储器作为图像数据的缓存和/或显示数据的缓存，提高应用处理器的性能。2.根据权利要求1所述的多媒体芯片架构，其特征在于，所述dram存储器与其外部io接口之间去除数据并串转换单元，实现输入输出物理层的简化。3.根据权利要求1所述的多媒体芯片架构，其特征在于，所述dram 存储器与其外部io接口之间通过设置数据位宽并串转换比小于等于4, 实现输入输出物理层的简化。4.根据权利要求1所述的多媒体芯片架构，其特征在于，所述dram存储器和所述多媒体处理芯片通过低电压接口连接，提高dram存储器读写性能，降低读写差错率，降低功耗。5.根据权利要求1所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片连接图像传感器的输入图像数据接口数量大于等于其连接至应用处理器的输出图像数据接口数量，以扩充应用处理器连接图像传感器的输入图像数据接口数量，实现若干个不同图像传感器之间的输入切换或合并若干个不同图像传感器的输入图像数据后传输至应用处理器。6.根据权利要求1所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片连接至显示器的输出显示数据接口数量大于等于其连接至应用处理器的接收显示数据接口数量，所述多媒体处理芯片从所述应用处理器接收相同或不同的显示数据，经过处理后输出至若干个显示器，实现若干个显示器同步显示相同内容或若干个显示器同步显示不同内容。7.根据权利要求1所述的多媒体芯片架构，其特征在于，所述dram存储器由n个dram块组成，每个dram块的位宽为m，实现总存储数据最大位宽为 m*n， n≥1。8.根据权利要求1所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片具有多种类型的数据处理单元，至少包括输入图像数据处理单元及输出显示数据处理单元。9.根据权利要求8所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片的数据处理单元至少包括图像处理单元、图像信号处理单元、嵌入式神经网络处理单元、显示处理单元。10.根据权利要求9所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片的数据处理单元还包括中央处理单元。11.根据权利要求8所述的多媒体芯片架构，其特征在于，每个数据处理单元单独使用一个dram块或多个数据处理单元共用多个dram块或多个数据处理单元共用一个dram块。12.根据权利要求7所述的多媒体芯片架构，其特征在于，所述多媒体处理芯片和dram块具有存算一体功能。13.一种应用于便携式移动终端的多媒体处理系统，其特征在于，所述多媒体处理系统包括：多媒体处理芯片、dram存储器、应用处理器、至少一个图像传感器和/或至少一个显示器；基于权利要求1~12任一项所述的多媒体芯片架构应用于该系统。14.基于权利要求13所述的多媒体处理系统的实现方法，其特征在于，所述dram存储器缓存从所述应用处理器接收的显示数据，由所述多媒体处理芯片自动进行显示器屏幕刷新，降低应用处理器所需的输出显示数据帧的频率，节省应用处理器的功耗。15.基于权利要求13所述的多媒体处理系统的实现方法，其特征在于，所述dram存储器
缓存从所述应用处理器接收的显示数据，由所述多媒体处理芯片在多帧显示数据之间进行插值处理后输出至显示器进行刷新，实现高于应用处理器本身输出显示数据帧的频率，提高应用处理器的显示性能。16.基于权利要求13所述的多媒体处理系统的实现方法，其特征在于，所述多媒体处理系统的图像数据输入过程包括：所述图像传感器将原图像数据传输至所述多媒体处理芯片进行处理，同时所述应用处理器将处理后的图像数据传输至所述多媒体处理芯片，所述多媒体处理芯片获得来自所述图像传感器和所述应用处理器的图像数据。17.基于权利要求13所述的多媒体处理系统的实现方法，其特征在于，所述多媒体处理系统的显示数据输出过程包括：所述应用处理器将处理后的显示数据传输至所述多媒体处理芯片，与所述多媒体处理芯片中缓存的显示数据一同输出。18.基于权利要求13所述的多媒体处理系统的实现方法，其特征在于，所述多媒体处理系统的显示数据输出过程包括：所述图像传感器将原图像数据传输至所述多媒体处理芯片进行处理，所述多媒体处理芯片将处理后得到的显示数据输出至所述显示器进行显示。

技术总结
本发明提供一种应用于便携式移动终端的多媒体芯片架构与多媒体处理系统及实现方法，所述多媒体芯片架构为：在应用处理器与图像传感器之间和/或应用处理器与显示器之间具有多媒体处理芯片，所述多媒体处理芯片通过混合键合方式连接DRAM存储器；所述多媒体处理芯片与DRAM存储器具有简化的输入输出物理层，完成DRAM数据的存取，所述DRAM存储器作为图像数据的缓存和/或显示数据的缓存，提高应用处理器的性能，从而达到更强的功能、更好的画质、更省的功耗以及更高的价值。的功耗以及更高的价值。的功耗以及更高的价值。


技术研发人员：赵立新 黄泽 冯挺 杨毅军 王富中
受保护的技术使用者：格科微电子（上海）有限公司
技术研发日：2020.11.23
技术公布日：2022/5/25