图像编码装置、图像编码方法以及图像编码程序、图像解码装置、图像解码方法以及图像解码程序与流程

1.本发明涉及将图像分割为块并进行预测的图像编码和解码技术。


背景技术：

2.在图像编码和解码中，将作为处理对象的图像分割为预定数量的像素集合、即块，以块为单位进行处理。通过分割成适当的块，适当地设定画面内预测(帧内预测)、画面间预测(帧间预测)，编码效率得以提高。
3.在动图像的编码/解码中，通过根据已编码/解码的图片进行预测的帧间预测来提高编码效率。专利文献1记载有在帧间预测时应用仿射变换的技术。在动图像中，伴有物体放大、缩小、旋转这样的变形的情况并不少见，通过应用专利文献1的技术，能够进行高效率的编码。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开平9
‑
172644号公报。


技术实现要素：

7.但是，由于专利文献1的技术伴有图像的变换，因此存在处理负载庞大的问题。本发明鉴于上述课题，提供一种低负载且高效率的编码技术。
8.在解决上述课题的本发明的某个方式中，包括：合并候选构建部，构建合并候选列表，所述合并候选列表具有包括空间合并候选的最大合并候选数的合并候选；通常合并候选选择部，根据合并索引从所述合并候选列表中选择成为单预测或双预测的通常合并候选；以及三角形合并候选选择部，根据第一三角形合并索引从所述合并候选列表中选择成为单预测的第一三角形合并候选，根据第二三角形合并索引选择成为单预测的第二三角形合并候选，与所述第一三角形合并索引有关的第一最大三角形合并候选数与所述最大合并候选数相同。
9.根据本发明，能够以低负载实现高效率的图像编码/解码处理。
附图说明
10.图1是本发明实施方式涉及的图像编码装置的框图；
11.图2是本发明实施方式涉及的图像解码装置的框图；
12.图3是用于说明分割树块的动作的流程图；
13.图4是示出将输入的图像分割为树块的情形的图；
14.图5是说明z
‑
扫描的图；
15.图6a是示出块的分割形状的图；
16.图6b是示出块的分割形状的图；
17.图6c是示出块的分割形状的图；
18.图6d是示出块的分割形状的图；
19.图6e是示出块的分割形状的图；
20.图7是用于说明对块进行4分割的动作的流程图；
21.图8是用于说明对块进行2分割或3分割的动作的流程图；
22.图9是用于描述块分割的形状的句法；
23.图10a是用于说明帧内预测的图；
24.图10b是用于说明帧内预测的图；
25.图11是用于说明帧间预测的参考块的图；
26.图12a是用于描述编码块预测模式的句法；
27.图12b是用于描述编码块预测模式的句法；
28.图13是示出与帧间预测相关的句法元素与模式间的对应关系的图；
29.图14是用于说明控制点为两点的仿射变换运动补偿的图；
30.图15是用于说明控制点为三点的仿射变换运动补偿的图；
31.图16是图1的帧间预测部102的详细结构的框图；
32.图17是图16的通常预测运动矢量模式导出部301的详细结构的框图；
33.图18是图16的通常合并模式导出部302的详细结构的框图；
34.图19是用于说明图16的通常预测运动矢量模式导出部301的通常预测运动矢量模式导出处理的流程图；
35.图20是表示通常预测运动矢量模式导出处理的处理步骤的流程图；
36.图21是说明通常合并模式导出处理的处理步骤的流程图；
37.图22是图2的帧间预测部203的详细结构的框图；
38.图23是图22的通常预测运动矢量模式导出部401的详细结构的框图；
39.图24是图22的通常合并模式导出部402的详细结构的框图；
40.图25是用于说明图22的通常预测运动矢量模式导出部401的通常预测运动矢量模式导出处理的流程图；
41.图26是说明历史预测运动矢量候选列表初始化/更新处理步骤的图；
42.图27是在历史预测运动矢量候选列表初始化/更新处理步骤中的、相同要素确认处理步骤的流程图；
43.图28是在历史预测运动矢量候选列表初始化/更新处理步骤中的要素移位处理步骤的流程图；
44.图29是说明历史预测运动矢量候选导出处理步骤的流程图；
45.图30是说明历史合并候选导出处理步骤的流程图；
46.图31a是用于说明历史预测运动矢量候选列表更新处理的一例的图；
47.图31b是用于说明历史预测运动矢量候选列表更新处理的一例的图；
48.图31c是用于说明历史预测运动矢量候选列表更新处理的一例的图；
49.图32是用于说明在l0预测中l0的参考图片(refl0pic)处于处理对象图片(curpic)之前的时刻的情况下的运动补偿预测的图；
50.图33是用于说明在l0预测中l0预测的参考图片处于处理对象图片之后的时刻的
情况下的运动补偿预测的图；
51.图34是用于说明双预测中l0预测的参考图片处于处理对象图片之前的时刻、l1预测的参考图片处于处理对象图片之后的时刻的情况下的运动补偿预测的预测方向的图；
52.图35是用于说明双预测中l0预测的参考图片和l1预测的参考图片处于处理对象图片之前的时刻的情况下的运动补偿预测的预测方向的图；
53.图36是用于说明双预测中l0预测的参考图片和l1预测的参考图片处于处理对象图片之后的时刻的情况下的运动补偿预测的预测方向的图；
54.图37是用于说明本发明实施方式的编码解码装置的硬件结构的一例的图；
55.图38a是说明三角形合并模式的预测的图；
56.图38b是说明三角形合并模式的预测的图；
57.图39是说明平均合并候选导出处理步骤的流程图；
58.图40是说明三角形合并候选导出的流程图；
59.图41是说明第一实施方式的合并三角形分区0的单预测运动信息的导出的流程图；
60.图42是说明第一实施方式的合并三角形分区1的单预测运动信息的导出的流程图；
61.图43a是说明第一实施方式的三角形合并候选的运动信息的例子的图；
62.图43b是说明第一实施方式的三角形合并候选的运动信息的例子的图；
63.图44是说明第二实施方式的合并三角形分区0的单预测运动信息的导出的流程图；
64.图45是说明第二实施方式的合并三角形分区1的单预测运动信息的导出的流程图；
65.图46a是说明第二实施方式的三角形合并候选的运动信息的例子的图；
66.图46b是说明第二实施方式的三角形合并候选的运动信息的例子的图。
具体实施方式
67.定义在本实施方式中使用的技术及技术用语。
68.<树块>
69.在实施方式中，以预定的尺寸对编码/解码处理对象图像进行均等分割。将此单位定义为树块。在图4中，将树块的尺寸设为128
×
128像素，但树块的尺寸并不限定于此，可以设定任意的尺寸。作为处理对象(在编码处理中对应于编码对象，在解码处理中对应于解码对象。)的树块按照光栅扫描顺序，即从左到右、从上到下的顺序切换。各树块的内部可以进行进一步的递归分割。将在对树块进行递归分割之后的、成为编码/解码对象的块定义为编码块。另外，将树块、编码块统称定义为块。通过进行适当的块分割，能够进行高效率的编码。树块的尺寸可以是在编码装置和解码装置中设为预先决定的固定值，也可以采用将编码装置决定的树块的尺寸传送到解码装置的结构。这里，将树块的最大尺寸设为128
×
128像素，将树块的最小尺寸设为16
×
16像素。另外，将编码块的最大尺寸设为64
×
64像素，将编码块的最小尺寸设为4
×
4像素。
70.<预测模式>
71.以处理对象编码块为单位，切换帧内预测(mode_intra)和帧间预测(mode_inter)，该帧内预测(mode_intra)根据处理对象图像的已处理图像信号进行预测，该帧间预测(mode_inter)根据已处理图像的图像信号进行预测。
72.已处理图像用于将在编码处理中完成了编码的信号进行解码而得到的图像、图像信号、树块、块、编码块等，并用于在解码处理中完成了解码的图像、图像信号、树块、块、编码块等。
73.将识别该帧内预测(mode_intra)和帧间预测(mode_inter)的模式定义为预测模式(predmode)。预测模式(predmode)以值的形式表现帧内预测(mode_intra)或帧间预测(mode_inter)。
74.<帧间预测>
75.在根据已处理图像的图像信号进行预测的帧间预测中，能够将多个已处理图像用作参考图片。为了管理多个参考图片，定义l0(参考列表0)和l1(参考列表1)这两种参考列表，分别使用参考索引来确定参考图片。在p条带(pslice)中，能够使用l0预测(pred_l0)。在b条带(bslice)中，能够使用l0预测(pred_l0)、l1预测(pred_l1)、双预测(pred_bi)。l0预测(pred_l0)是参考由l0管理的参考图片的帧间预测，并且l1预测(pred_l1)是参考由l1管理的参考图片的帧间预测。双预测(pred_bi)是同时执行l0预测和l1预测并且参考由l0和l1中的每一个管理的一个个参考图片的帧间预测。将确定l0预测、l1预测和双预测的信息定义为帧间预测模式。关于在以后的处理中在输出上附加有下标lx的常数、变量，以按l0、l1进行处理为前提。
76.<预测运动矢量模式>
77.预测运动矢量模式是传送用于确定预测运动矢量的索引、差分运动矢量、帧间预测模式、参考索引并决定处理对象块的帧间预测信息的模式。预测运动矢量根据预测运动矢量候选和用于确定预测运动矢量的索引导出，所述预测运动矢量候选是根据与处理对象块相邻的已处理块或者属于已处理图像的块中位于与处理对象块相同位置或者其附近(邻近)的块导出的。
78.<合并模式>
79.合并模式是以下模式：不传送差分运动矢量、参考索引，而根据与处理对象块相邻的已处理块或属于已处理图像的块中与处理对象块位于相同位置或其附近(邻近)的块的帧间预测信息导出处理对象块的帧间预测信息。
80.将与处理对象块相邻的已处理块以及该已处理块的帧间预测信息定义为空间合并候选。将属于已处理图像的块中位于与处理对象块相同位置或其附近(邻近)的块、以及根据该块的帧间预测信息导出的帧间预测信息定义为时间合并候选。各合并候选被登记在合并候选列表中，通过合并索引来确定在处理对象块的预测中使用的合并候选。
81.<相邻块>
82.图11是说明用于在预测运动矢量模式和合并模式下导出帧间预测信息而参考的参考块的图。a0、a1、a2、b0、b1、b2、b3是与处理对象块相邻的已处理块。t0是在属于已处理图像块中与处理对象图像中的处理对象块位于相同位置或其附近(邻近)的块。
83.a1、a2是位于处理对象编码块的左侧、与处理对象编码块相邻的块。b1、b3是位于处理对象编码块的上侧、与处理对象编码块相邻的块。a0、b0、b2分别是位于处理对象编码
块的左下、右上、左上的块。
84.后面描述在预测运动矢量模式和合并模式中如何处理相邻块的细节。
85.<仿射变换运动补偿>
86.仿射变换运动补偿是将编码块分割为预定单位的子块，并对分割后的各子块单独决定运动矢量来进行运动补偿的。基于一个以上的控制点来导出各子块的运动矢量，该一个以上的控制点根据与处理对象块相邻的已处理块或属于已处理图像的块中与处理对象块位于相同位置或其附近(邻近)的块的帧间预测信息导出。在本实施方式中，将子块的尺寸设为4
×
4像素，但子块的尺寸并不限定于此，也可以以像素为单位导出运动矢量。
87.图14示出了控制点为两个时的仿射变换运动补偿的例子。在该情况下，两个控制点具有水平方向分量和垂直方向分量两个参数。因此，将控制点为两个时的仿射变换称为四参数仿射变换。图14的cp1、cp2是控制点。
88.图15示出了在控制点为三个时的仿射变换运动补偿的例子。在该情况下，三个控制点具有水平方向分量和垂直方向分量这两个参数。因此，将控制点为三个时的仿射变换称为六参数仿射变换。图15的cp1、cp2、cp3是控制点。
89.仿射变换运动补偿可以在预测运动矢量模式和合并模式中的任一模式中使用。将在预测运动矢量模式下应用仿射变换运动补偿的模式定义为子块预测运动矢量模式，将在合并模式下应用仿射变换运动补偿的模式定义为子块合并模式。
90.<编码块的句法>
91.使用图12a、图12b和图13来说明用于描述编码块的预测模式的句法。图12a的pred_mode_flag是表示是否是帧间预测的标志。如果pred_mode_flag是0，则为帧间预测，如果pred_mode_flag是1，则为帧内预测。在帧内预测的情况下，发送帧内预测的信息intra_pred_mode，在帧间预测的情况下，发送merge_flag。merge_flag是表示是合并模式还是预测运动矢量模式的标志。在预测运动矢量模式的情况下(merge_flag＝0)，发送inter_affine_flag，该inter_affine_flag是表示是否应用子块预测运动矢量模式的标志。如果应用子块预测运动矢量模式(inter_affine_flag＝1)，则发送cu_affine_type_flag。cu_affine_type_flag是在子块预测运动矢量模式中、用于决定控制点的数量的标志。
92.另一方面，在合并模式的情况下(merge_flag＝1)，发送图12b的merge_subblock_flag。merge_subblock_flag是表示是否应用子块合并模式的标志。在子块合并模式的情况下(merge_subblock_flag＝1)，发送合并索引merge_subblock_idx。另一方面，在不是子块合并模式的情况下(merge_subblock_flag＝0)，发送merge_triangle_flag，该merge_triangle_flag是表示是否应用三角形合并模式的标志。如果应用三角形合并模式(merge_triangle_flag＝1)，则针对分割块的方向merge triangle split dir以及被分割的两个分区发送合并三角形索引merge_triangle_idx0、merge_triangle_idx1。另一方面，如果不应用三角形合并模式(merge_triangle_flag＝0)，则发送合并索引merge_idx。
93.图13示出各句法元素的值和相应的预测模式。merge_flag＝0、inter_affine_flag＝0对应于通常预测运动矢量模式(inter pred mode，帧间预测模式)。merge_flag＝0、inter_affine_flag＝1对应于子块预测运动矢量模式(inter affine mode，帧间仿射模式)。merge_flag＝1、merge_subblock_flag＝0、merge_trianlge_flag＝0对应于通常合并
模式(merge mode，合并模式)。merge_flag＝1、merge_subblock_flag＝0、merge_trianlge_flag＝1对应于三角形合并模式(triangle merge mode)。merge_flag＝1、merge_subblock_flag＝1对应于子块合并模式(affine merge mode，仿射合并模式)。
94.<poc>
95.poc(picture order count，图片序列号)是与要被编码的图片相关联的变量，并且设定与图片的输出顺序对应的递增1的值。根据poc的值，能够辨别是否是相同的图片、辨别输出顺序中的图片之间的前后关系、导出图片之间的距离。例如，如果两个图片的poc具有相同的值，则可以判断为是相同的图片。在两个图片的poc具有不同值的情况下，能够判断为poc的值小的图片是先输出的图片，两个图片的poc之间的差表示时间轴方向上的图片之间的距离。
96.(第一实施方式)
97.对本发明的第一实施方式涉及的图像编码装置100和图像解码装置200进行说明。
98.图1是第一实施方式涉及的图像编码装置100的框图。实施方式的图像编码装置100包括块分割部101、帧间预测部102、帧内预测部103、解码图像存储器104、预测方法决定部105、残差生成部106、正交变换/量化部107、比特串编码部108、逆量化/逆正交变换部109、解码图像信号重叠部110、以及编码信息保存存储器111。
99.块分割部101递归地分割已被输入的图像，以生成编码块。块分割部101包括4分割部和2
‑
3分割部，4分割部将成为分割对象的块在水平方向和垂直方向上分别进行分割，2
‑
3分割部将成为分割对象的块在水平方向和垂直方向中的任一个上进行分割。块分割部101将所生成的编码块设定为处理对象编码块，并将该处理对象编码块的图像信号提供给帧间预测部102、帧内预测部103和残差生成部106。另外，块分割部101将表示所决定的递归分割结构的信息提供给比特串编码部108。块分割部101的详细的动作在后面叙述。
100.帧间预测部102进行处理对象编码块的帧间预测。帧间预测部102根据保存在编码信息保存存储器111中的帧间预测信息和保存在解码图像存储器104中的已解码的图像信号导出多个帧间预测信息的候选，从导出的多个候选中选择合适的帧间预测模式，并且将所选择的帧间预测模式和与所选择的帧间预测模式对应的预测图像信号提供给预测方法决定部105。后面描述帧间预测部102的详细结构和动作。
101.帧内预测部103进行处理对象编码块的帧内预测。帧内预测部103将保存在解码图像存储器104中的已解码的图像信号作为参考像素进行参考，通过基于保存在编码信息保存存储器111中的帧内预测模式等编码信息的帧内预测来生成预测图像信号。在帧内预测中，帧内预测部103从多个帧内预测模式中选择合适的帧内预测模式，并将所选择的帧内预测模式和与所选择的帧内预测模式对应的预测图像信号提供给预测方法决定部105。
102.图10a和图10b示出了帧内预测的例子。图10a是示出了帧内预测的预测方向与帧内预测模式编号之间的对应关系的图。例如，帧内预测模式50通过在垂直方向上复制参考像素来生成帧内预测图像。帧内预测模式1是dc模式，并且是将处理对象块的所有像素值设为参考像素的平均值的模式。帧内预测模式0是planar模式(二维模式)，是根据垂直方向和水平方向上的参考像素生成二维帧内预测图像的模式。图10b是生成帧内预测模式40的情况下的帧内预测图像的例子。帧内预测部103将帧内预测模式指示的方向上的参考像素的值复制到处理对象块的每个像素。在帧内预测模式中的参考像素不是整数位置的情况下，
帧内预测部103根据周围的整数位置处的参考像素值通过插值决定参考像素值。
103.解码图像存储器104保存由解码图像信号重叠部110生成的解码图像。解码图像存储器104将保存的解码图像提供给帧间预测部102和帧内预测部103。
104.预测方法决定部105通过使用编码信息和残差的码量、预测图像信号与处理对象图像信号之间的失真量等对帧内预测和帧间预测中的每一个进行评估，来决定最佳预测模式。在帧内预测的情况下，预测方法决定部105将帧内预测模式等的帧内预测信息作为编码信息提供给比特串编码部108。在帧间预测的合并模式的情况下，预测方法决定部105将合并索引、指示是否是子块合并模式的信息(子块合并标志)等帧间预测信息作为编码信息提供给比特串编码部108。在帧间预测的预测运动矢量模式的情况下，预测方法决定部105将帧间预测模式、预测运动矢量索引、l0和l1的参考索引、差分运动矢量、及指示是否为子块预测运动矢量模式的信息(子块预测运动矢量标志)等帧间预测信息作为编码信息提供给比特串编码部108。此外，预测方法决定部105将所决定的编码信息提供给编码信息保存存储器111。预测方法决定部105将预测图像信号提供给残差生成部106及解码图像信号重叠部110。
105.残差生成部106通过从处理对象的图像信号中减去预测图像信号来生成残差，并提供给正交变换/量化部107。
106.正交变换/量化部107根据量化参数对残差进行正交变换和量化，以生成经过正交变换/量化的残差，并且将所生成的残差提供给比特串编码部108和逆量化/逆正交变换部109。
107.比特串编码部108除了序列、图片、条带、编码块单位的信息之外，还针对每个编码块对与由预测方法决定部105决定的预测方法对应的编码信息进行编码。具体而言，比特串编码部108对每个编码块的预测模式predmode进行编码。在预测模式是帧间预测(mode_inter)的情况下，比特串编码部108按照规定的句法(比特串的句法规则)对辨别是否为合并模式的标志、子块合并标志、在是合并模式的情况下的合并索引、在不是合并模式的情况下的帧间预测模式、预测运动矢量索引、与差分运动矢量有关的信息、子块预测运动矢量标志等编码信息(帧间预测信息)进行编码，生成第一比特串。在预测模式是帧内预测(mode_intra)的情况下，按照规定的句法(比特串的句法规则)对帧内预测模式等编码信息(帧内预测信息)进行编码，生成第一比特串。另外，比特串编码部108按照规定的句法对正交变换及量化后的残差进行熵编码，生成第二比特串。比特串编码部108按照规定的句法对第一比特串和第二比特串进行复用，输出比特流。
108.逆量化/逆正交变换部109对从正交变换/量化部107提供的经正交变换/量化的残差进行逆量化和逆正交变换，以计算残差，并将所计算出的残差提供给解码图像信号重叠部110。
109.解码图像信号重叠部110将与预测方法决定部105的决定对应的预测图像信号和由逆量化/逆正交变换部109进行逆量化及逆正交变换而得的残差重叠，生成解码图像，并保存在解码图像存储器104中。此外，解码图像信号重叠部110也可以对解码图像实施减少编码引起的块失真等失真的滤波处理后，保存在解码图像存储器104中。
110.编码信息保存存储器111保存由预测方法决定部105决定的预测模式(帧间预测或帧内预测)等编码信息。在帧间预测的情况下，在编码信息保存存储器111中保存的编码信
息中包括所决定的运动矢量、参考列表l0、l1的参考索引、以及历史预测运动矢量候选列表等帧间预测信息。另外，在帧间预测的合并模式的情况下，编码信息保存存储器111保存的编码信息中除了上述各信息之外，还包含合并索引、表示是否是子块合并模式的信息(子块合并标志)的帧间预测信息。另外，在帧间预测的预测运动矢量模式的情况下，在编码信息保存存储器111保存的编码信息中，除了上述各信息之外，还包含帧间预测模式、预测运动矢量索引、差分运动矢量、表示是否为子块预测运动矢量模式的信息(子块预测运动矢量标志)等帧间预测信息。在帧内预测的情况下，在编码信息保存存储器111保存的编码信息中包含所决定的帧内预测模式等帧内预测信息。
111.图2是表示与图1的图像编码装置对应的本发明的实施方式涉及的图像解码装置的结构的框图。实施方式的图像解码装置包括比特串解码部201、块分割部202、帧间预测部203、帧内预测部204、编码信息保存存储器205、逆量化/逆正交变换部206、解码图像信号重叠部207和解码图像存储器208。
112.图2的图像解码装置的解码处理与图1的图像编码装置的内部设置的解码处理对应，因此图2的编码信息保存存储器205、逆量化/逆正交变换部206、解码图像信号重叠部207以及解码图像存储器208的各结构具有与图1的图像编码装置的编码信息保存存储器111、逆量化/逆正交变换部109、解码图像信号重叠部110以及解码图像存储器104的各结构分别对应的功能。
113.提供给比特串解码部201的比特流根据规定的句法规则被分离。比特串解码部201对分离出的第一比特串进行解码，得到序列、图片、条带、编码块单位的信息、以及编码块单位的编码信息。具体而言，比特串解码部201以编码块为单位解码预测模式predmode，预测模式predmode辨别是帧间预测(mode_inter)还是帧内预测(mode_intra)。在预测模式是帧间预测(mode_inter)的情况下，比特串解码部201按照规定的句法对与辨别是否为合并模式的标志、在合并模式的情况下的合并索引、子块合并标志、预测运动矢量模式的情况下的帧间预测模式、预测运动矢量索引、差分运动矢量、子块预测运动矢量标志等有关的编码信息(帧间预测信息)进行解码，并将编码信息(帧间预测信息)经由帧间预测部203和块分割部202提供给编码信息保存存储器205。在预测模式是帧内预测(mode_intra)的情况下，按照规定的句法对帧内预测模式等编码信息(帧内预测信息)进行解码，将编码信息(帧内预测信息)经由帧间预测部203或帧内预测部204、以及块分割部202提供给编码信息保存存储器205。比特串解码部201对分离出的第二比特串进行解码，计算出正交变换/量化后的残差，并将正交变换/量化后的残差提供给逆量化/逆正交变换部206。
114.当处理对象的编码块的预测模式predmode是帧间预测(mode_inter)中的预测运动矢量模式时，帧间预测部203使用存储在编码信息保存存储器205中的已解码的图像信号的编码信息来导出多个预测运动矢量的候选，并将所导出的多个预测运动矢量的候选登记在后述的预测运动矢量候选列表中。帧间预测部203从登记在预测运动矢量候选列表中的多个预测运动矢量候选中选择与由比特串解码部201解码而提供的预测运动矢量索引对应的预测运动矢量，根据由比特串解码部201解码的差分运动矢量和选择出的预测运动矢量计算运动矢量，并将计算出的运动矢量与其它的编码信息一起保存在编码信息保存存储器205中。这里，要提供/保存的编码块的编码信息是预测模式predmode、表示是否利用l0预测以及l1预测的标志predflagl0[xp][yp]、predflagl1[xp][yp]、l0、l1的参考索引refidxl0
[xp][yp]、refidxl1[xp][yp]、l0、l1的运动矢量mvl0[xp][yp]、mvl1[xp][yp]等。这里，xp、yp是表示图片内的编码块的左上像素的位置的索引。在预测模式predmode是帧间预测(mode_inter)且帧间预测模式是l0预测(pred_l0)的情况下，指示是否使用l0预测的标志predflagl0是1，且指示是否使用l1预测的标志predflagl1是0。在帧间预测模式是l1预测(pred_l1)的情况下，指示是否使用l0预测的标志predflagl0是0，且指示是否使用l1预测的标志predflagl1是1。在帧间预测模式是双预测(pred_bi)的情况下，指示是否使用l0预测的标志predflagl0和指示是否使用l1预测的标志predflagl1都是1。并且，在处理对象的编码块的预测模式predmode是帧间预测(mode_inter)中的合并模式时，导出合并候选。使用存储在编码信息保存存储器205中的已解码的编码块的编码信息，导出多个合并的候选，登记在后述的合并候选列表中，从登记在合并候选列表中的多个合并候选中选择与由比特串解码部201解码而提供的合并索引对应的合并候选，将表示是否利用所选择的合并候选的l0预测及l1预测的标志predflagl0[xp][yp]、predflagl1[xp][yp]、l0、l1的参考索引refidxl0[xp][yp]、refidxl1[xp][yp]、l0、l1的运动矢量mvl0[xp][yp]、mvl1[xp][yp]等帧间预测信息保存在编码信息保存存储器205中。这里，xp、yp是表示图片内的编码块的左上像素的位置的索引。后述帧间预测部203的详细构成和动作。
[0115]
当处理对象的编码块的预测模式predmode是帧内预测(mode_intra)时，帧内预测部204进行帧内预测。在由比特串解码部201解码的编码信息中包含帧内预测模式。帧内预测部204根据包括在由比特串解码部201解码的解码信息中的帧内预测模式，通过帧内预测并根据保存在解码图像存储器208中的已解码图像信号生成预测图像信号，并且将所生成的预测图像信号提供给解码图像信号重叠部207。帧内预测部204由于对应于图像编码装置100的帧内预测部103，因此执行与帧内预测部103相同的处理。
[0116]
逆量化/逆正交变换部206对由比特串解码部201解码后的正交变换/量化后的残差进行逆正交变换及逆量化，得到逆正交变换/逆量化后的残差。
[0117]
解码图像信号重叠部207通过重叠由帧间预测部203进行帧间预测而得的预测图像信号或由帧内预测部204进行帧内预测而得的预测图像信号、和由逆量化/逆正交变换部206进行逆正交变换/逆量化后的残差，对解码图像信号进行解码，将解码后的解码图像信号保存在解码图像存储器208中。在保存在解码图像存储器208中时，解码图像信号重叠部207也可以对解码图像实施减少编码引起的块失真等的滤波处理后，保存在解码图像存储器208中。
[0118]
接着，对图像编码装置100中的块分割部101的动作进行说明。图3是表示将图像分割为树块、并进一步分割各树块的动作的流程图。首先，将输入的图像分割为预定尺寸的树块(步骤s1001)。对于各树块，按照预定的顺序、即光栅扫描顺序进行扫描(步骤s1002)，分割处理对象的树块的内部(步骤s1003)。
[0119]
图7是表示步骤s1003的分割处理的详细动作的流程图。首先，判断是否将处理对象的块进行4分割(步骤s1101)。
[0120]
在判断为将处理对象块4分割的情况下，将处理对象块4分割(步骤s1102)。对于将处理对象块分割而得的各块，按照z扫描顺序、即左上、右上、左下、右下的顺序进行扫描(步骤s1103)。图5是z扫描顺序的例子，图6a的601是将处理对象块4分割后的例子。图6a的601的编号0～3表示处理的顺序。然后，对于在步骤s1101中分割的各块，递归地执行图7的分割
处理(步骤s1104)。
[0121]
在判断为不对处理对象块进行4分割的情况下，进行2
‑
3分割(步骤s1105)。
[0122]
图8是表示步骤s1105的2
‑
3分割处理的详细动作的流程图。首先，判断是否对处理对象的块进行2
‑
3分割，即是否进行2分割和3分割中的某一个(步骤s1201)。
[0123]
在判断为不对处理对象块进行2
‑
3分割的情况下，即判断为不进行分割的情况下，结束分割(步骤s1211)。即，对于通过递归分割处理分割而得的块，不进行进一步的递归分割处理。
[0124]
在判断为将处理对象的块进行2
‑
3分割的情况下，判断是否进一步将处理对象块进行2分割(步骤s1202)。
[0125]
在判断为将处理对象块进行2分割的情况下，判断是否对处理对象块进行上下(垂直方向)分割(步骤s1203)，基于其结果，对处理对象块在上下(垂直方向)进行2分割(步骤s1204)，或者对处理对象块在左右(水平方向)进行2分割(步骤s1205)。作为步骤s1204的结果，处理对象块如图6b中的602所示，被分割为上下(垂直方向)两部分。作为步骤s1205的结果，处理对象块如图6d中的604所示，被分割为左右(水平方向)两部分。
[0126]
在步骤s1202中，在未判断为对处理对象块进行2分割的情况下，即，在判断为3分割的情况下，则判断是否对处理对象块在上中下(垂直方向)进行分割(步骤s1206)，基于该结果，对处理对象块在上中下(垂直方向)进行3分割(步骤s1207)，或者对处理对象块在左中右(水平方向)进行3分割(步骤s1208)。在步骤s1207的结果中，处理对象块如图6c的603所示，被分割为上中下(垂直方向)3部分，在步骤s1208的结果中，处理对象块如图6e的605所示，被分割为左中右(水平方向)3部分。
[0127]
在执行了步骤s1204、步骤s1205、步骤s1207、步骤s1208中任一个之后，按照从左到右、从上到下的顺序对将处理对象块分割而成的各块进行扫描(步骤s1209)。图6b～图6e的从602到605的编号0～2表示处理的顺序。对于分割而成的各块，递归地执行图8的2
‑
3分割处理(步骤s1210)。
[0128]
这里说明的递归的块分割也可以根据分割的次数、或者处理对象的块的尺寸等来限制是否需要分割。限制是否需要分割的信息可以以通过在编码装置和解码装置之间预先约定而不进行信息传递的结构来实现，也可以以通过编码装置决定限制是否需要分割的信息并记录在比特串中来向解码装置传递的结构来实现。
[0129]
在分割完某块时，将分割前的块称为母块，将分割后的各块称为子块。
[0130]
接下来，对图像解码装置200中的块分割部202的动作进行说明。块分割部202按照与图像编码装置100的块分割部101相同的处理步骤来分割树块。但是，不同之处在于，在图像编码装置100的块分割部101中，应用基于图像识别的最佳形状的估计或失真率优化等优化方法，决定最佳的块分割的形状，与此相对，图像解码装置200中的块分割部202通过对比特串中记录的块分割信息进行解码，来决定块分割形状。
[0131]
图9示出与第一实施方式的块分割有关的句法(比特串的句法规则)。coding_quadtree()表示块的4分割处理所涉及的句法。multi_type_tree()表示块的2分割或3分割处理所涉及的句法。qt_split是表示是否对块进行4分割的标志。在对块进行4分割的情况下，设qt_split＝1，在不进行4分割的情况下，设qt_split＝0。在4分割的情况下(qt_split＝1)，对4分割后的各块递归地进行4分割处理(coding_quadtree(0)、coding_
quadtree(1)、coding_quadtree(2)、coding_quadtree(3)，自变量的0～3对应于图6a的601的编号)。在不进行4分割的情况下(qt_split＝0)，按照multi_type_tree()，决定后续的分割。mtt_split是表示是否进一步进行分割的标志。并且，在进行分割的情况下(mtt_split＝1)，传送表示是在垂直方向上分割还是在水平方向上分割的标志即mtt_split_vertical、以及决定是进行2分割还是进行3分割的标志即mtt_split_binary。mtt_split_vertical＝1表示在垂直方向上进行分割，mtt_split_vertical＝0表示在水平方向上进行分割。mtt_spl it_binary＝1表示进行2分割，mtt_split_binary＝0表示进行3分割。在2分割的情况下(mtt_split_binary＝1)，对2分割后的各块递归地进行分割处理(multi_type_tree(0)、multi_type_tree(1)，自变量的0～1对应于图6b～图6d的602或604的编号)。在3分割的情况下(mtt_split_binary＝0)，对3分割后的各块递归地进行分割处理(multi_type_tree(0)、multi_type_tree(1)、multi_type_tree(2)，0～2对应于图6b的603或图6e的605的编号)。通过递归地调用multi_type_tree，进行分层块分割，直到mtt_split＝0为止。
[0132]
<帧间预测>
[0133]
实施方式的帧间预测方法在图1的图像编码装置的帧间预测部102以及图2的图像解码装置的帧间预测部203中实施。
[0134]
对实施方式涉及的帧间预测方法使用附图进行说明。帧间预测方法以编码块为单位在编码处理和解码处理中的任一个中实施。
[0135]
<编码侧的帧间预测部102的说明>
[0136]
图16是示出图1的图像编码装置的帧间预测部102的详细结构的图。通常预测运动矢量模式导出部301导出多个通常预测运动矢量候选来选择预测运动矢量，并计算所选择出的预测运动矢量与检测出的运动矢量之间的差分运动矢量。检测出的帧间预测模式、参考索引、运动矢量以及计算出的差分运动矢量是通常预测运动矢量模式的帧间预测信息。该帧间预测信息被提供给帧间预测模式判定部305。通常预测运动矢量模式导出部301的详细结构和处理在后面叙述。
[0137]
在通常合并模式导出部302中，导出多个通常合并候选，选择通常合并候选，得到通常合并模式的帧间预测信息。该帧间预测信息被提供给帧间预测模式判定部305。通常合并模式导出部302的详细结构和处理将在后面叙述。
[0138]
在子块预测运动矢量模式导出部303中，导出多个子块预测运动矢量候选来选择子块预测运动矢量，并计算所选择出的子块预测运动矢量与检测出的运动矢量之间的差分运动矢量。检测出的帧间预测模式、参考索引、运动矢量和计算出的差分运动矢量为子块预测运动矢量模式的帧间预测信息。该帧间预测信息被提供给帧间预测模式判定部305。
[0139]
在子块合并模式导出部304中，导出多个子块合并候选，选择子块合并候选，得到子块合并模式的帧间预测信息。该帧间预测信息被提供给帧间预测模式判定部305。
[0140]
帧间预测模式判定部305基于从通常预测运动矢量模式导出部301、通常合并模式导出部302、子块预测运动矢量模式导出部303和子块合并模式导出部304提供的帧间预测信息来判定帧间预测信息。与判定结果相应的帧间预测信息从帧间预测模式判定部305被提供给运动补偿预测部306。
[0141]
运动补偿预测部306基于判定出的帧间预测信息对保存在解码图像存储器104中
的参考图像信号进行帧间预测。运动补偿预测部306的详细结构和处理将在后面叙述。
[0142]
<解码侧的帧间预测部203的说明>
[0143]
图22是示出图2的图像解码装置的帧间预测部203的详细结构的图。
[0144]
通常预测运动矢量模式导出部401导出多个通常预测运动矢量候选来选择预测运动矢量，计算选择出的预测运动矢量与解码后的差分运动矢量的相加值来作为运动矢量。解码后的帧间预测模式、参考索引、运动矢量为通常预测运动矢量模式的帧间预测信息。该帧间预测信息经由开关408被提供给运动补偿预测部406。通常预测运动矢量模式导出部401的详细结构和处理将在后面叙述。
[0145]
在通常合并模式导出部402中，导出多个通常合并候选来选择通常合并候选，得到通常合并模式的帧间预测信息。该帧间预测信息经由开关408被提供给运动补偿预测部406。通常合并模式导出部402的详细结构和处理将在后面叙述。
[0146]
在子块预测运动矢量模式导出部403中，导出多个子块预测运动矢量候选来选择子块预测运动矢量，计算选择出的子块预测运动矢量与解码后的差分运动矢量的相加值来作为运动矢量。解码后的帧间预测模式、参考索引、运动矢量成为子块预测运动矢量模式的帧间预测信息。该帧间预测信息经由开关408被提供给运动补偿预测部406。
[0147]
在子块合并模式导出部404中，导出多个子块合并候选来选择子块合并候选，得到子块合并模式的帧间预测信息。该帧间预测信息经由开关408被提供给运动补偿预测部406。
[0148]
在运动补偿预测部406中，基于判定出的帧间预测信息对保存在解码图像存储器208中的参考图像信号进行帧间预测。运动补偿预测部406的详细结构和处理与编码侧的运动补偿预测部306相同。
[0149]
<通常预测运动矢量模式导出部(通常amvp)>
[0150]
图17的通常预测运动矢量模式导出部301包含空间预测运动矢量候选导出部321、时间预测运动矢量候选导出部322、历史预测运动矢量候选导出部323、预测运动矢量候选补充部325、通常运动矢量检测部326、预测运动矢量候选选择部327、以及运动矢量减法部328。
[0151]
图23的通常预测运动矢量模式导出部401包含空间预测运动矢量候选导出部421、时间预测运动矢量候选导出部422、历史预测运动矢量候选导出部423、预测运动矢量候选补充部425、预测运动矢量候选选择部426、以及运动矢量加法部427。
[0152]
分别使用图19、图25的流程图对编码侧的通常预测运动矢量模式导出部301和解码侧的通常预测运动矢量模式导出部401的处理步骤进行说明。图19是示出基于编码侧的通常运动矢量模式导出部301的通常预测运动矢量模式导出处理步骤的流程图，图25是示出基于解码侧的通常运动矢量模式导出部401的通常预测运动矢量模式导出处理步骤的流程图。
[0153]
<通常预测运动矢量模式导出部(通常amvp)：编码侧的说明>
[0154]
参考图19对编码侧的通常预测运动矢量模式导出处理步骤进行说明。在图19的处理步骤的说明中，有时省略图19所示的“通常”一词。
[0155]
首先，通常运动矢量检测部326针对每个帧间预测模式和参考索引检测通常运动矢量(图19的步骤s100)。
[0156]
接着，空间预测运动矢量候选导出部321、时间预测运动矢量候选导出部322、历史预测运动矢量候选导出部323、预测运动矢量候选补充部325、预测运动矢量候选选择部327和运动矢量减法部328针对每个l0和l1分别计算在通常预测运动矢量模式的帧间预测中使用的运动矢量的差分运动矢量(图19的步骤s101至s106)。具体地，当处理对象块的预测模式predmode是帧间预测(mode_inter)并且帧间预测模式是l0预测(pred_l0)时，计算l0的预测运动矢量候选列表mvplistl0，选择预测运动矢量mvpl0，并且计算l0的运动矢量mvl0的差分运动矢量mvdl0。当处理对象块的帧间预测模式是l1预测(pred_l1)时，计算l1的预测运动矢量候选列表mvplistl1，选择预测运动矢量mvpl1，并且计算l1的运动矢量mvl1的差分运动矢量mvdl1。在处理对象块的帧间预测模式是双预测(pred_bi)时，同时进行l0预测和l1预测，计算l0的预测运动矢量候选列表mvplistl0，选择l0的预测运动矢量mvpl0，计算l0的运动矢量mvl0的差分运动矢量mvdl0，并计算l1的预测运动矢量候选列表mvplistl1，计算l1的预测运动矢量mvpl1，分别计算l1的运动矢量mvl1的差分运动矢量mvdl1。
[0157]
对l0、l1分别进行差分运动矢量计算处理，但l0、l1都是共同的处理。因此，在以下说明中，将l0、l1表示为共同的lx。在计算l0的差分运动矢量的处理中，lx的x为0，在计算l1的差分运动矢量的处理中，lx的x为1。另外，在计算lx的差分运动矢量的处理中，在不参考lx而参考另一个列表的信息的情况下，将另一个列表表示为ly。
[0158]
在使用lx的运动矢量mvlx的情况下(图19的步骤s102：是)，计算lx的预测运动矢量的候选，构建lx的预测运动矢量候选列表mvplistlx(图19的步骤s103)。由通常预测运动矢量模式导出部301中的空间预测运动矢量候选导出部321、时间预测运动矢量候选导出部322、历史预测运动矢量候选导出部323、预测运动矢量候选补充部325导出多个预测运动矢量的候选，构建预测运动矢量候选列表mvplistlx。关于图19的步骤s103的详细的处理步骤使用图20的流程图在后面叙述。
[0159]
接着，由预测运动矢量候选选择部327从lx的预测运动矢量候选列表mvplistlx中选择lx的预测运动矢量mvplx(图19的步骤s104)。这里，在预测运动矢量候选列表mvplistlx中，将某一个要素(从0开始数第i个要素)表示为mvplistlx[i]。计算作为运动矢量mvlx与保存在预测运动矢量候选列表mvplistlx中的各预测运动矢量的候选mvplistlx[i]之间的差分的各个差分运动矢量。针对每个预测运动矢量候选列表mvplistlx的要素(预测运动矢量候选)，计算对这些差分运动矢量进行编码时的码量。然后，在登记在预测运动矢量候选列表mvplistlx中的各要素中，选择预测运动矢量的每个候选的码量最小的预测运动矢量的候选mvplistlx[i]作为预测运动矢量mvplx，并获取该索引i。在预测运动矢量候选列表mvplistlx中存在多个成为最小的产生码量的预测运动矢量的候选的情况下，将由预测运动矢量候选列表mvplistlx中的索引i小的编号表示的预测运动矢量的候选mvplistlx[i]选择为最佳的预测运动矢量mvplx，并获取该索引i。
[0160]
接着，运动矢量减法部328从lx的运动矢量mvlx中减去所选择出的lx的预测运动矢量mvplx，设为mvdlx＝mvlx
‑
mvplx，来计算lx的差分运动矢量mvdlx(图19的步骤s105)。
[0161]
<通常预测运动矢量模式导出部(通常amvp)：解码侧的说明>
[0162]
接着，参考图25对解码侧的通常预测运动矢量模式处理步骤进行说明。在解码侧，由空间预测运动矢量候选导出部421、时间预测运动矢量候选导出部422、历史预测运动矢
量候选导出部423和预测运动矢量候选补充部425针对每个l0和l1计算在通常预测运动矢量模式的帧间预测中使用的运动矢量(图25的步骤s201至s206)。具体地，当处理对象块的预测模式predmode是帧间预测(mode_inter)并且处理对象块的帧间预测模式是l0预测(pred_l0)时，计算l0的预测运动矢量候选列表mvplistl0，选择预测运动矢量mvpl0，并且计算l0的运动矢量mvl0。当处理对象块的帧间预测模式是l1预测(pred_l1)时，计算l1的预测运动矢量候选列表mvplistl1，选择预测运动矢量mvpl1，并且计算l1的运动矢量mvl1。在处理对象块的帧间预测模式是双预测(pred_bi)时，同时进行l0预测和l1预测，计算l0的预测运动矢量候选列表mvplistl0，选择l0的预测运动矢量mvpl0，计算l0的运动矢量mvl0，并计算l1的预测运动矢量候选列表mvplistl1，计算l1的预测运动矢量mvpl1，分别计算l1的运动矢量mvl1。
[0163]
与编码侧同样地，在解码侧也对l0、l1分别进行运动矢量计算处理，但l0、l1都是共同的处理。因此，在以下说明中，将l0、l1表示为共同的lx。lx表示用于处理对象的编码块的帧间预测的帧间预测模式。在计算l0的运动矢量的处理中，x为0，在计算l1的运动矢量的处理中，x为1。另外，在计算lx的运动矢量的处理中，在不参考与计算对象的lx相同的参考列表，而是参考另一个参考列表的信息的情况下，将另一个参考列表表示为ly。
[0164]
在使用lx的运动矢量mvlx的情况下(图25的步骤s202：是)，计算lx的预测运动矢量的候选，构建lx的预测运动矢量候选列表mvplistlx(图25的步骤s203)。由通常预测运动矢量模式导出部401中的空间预测运动矢量候选导出部421、时间预测运动矢量候选导出部422、历史预测运动矢量候选导出部423、预测运动矢量候选补充部425计算多个预测运动矢量的候选，构建预测运动矢量候选列表mvplistlx。关于图25的步骤s203的详细的处理步骤，使用图20的流程图在后面叙述。
[0165]
接着，由预测运动矢量候选选择部426从预测运动矢量候选列表mvplistlx中取出与在比特串解码部201中解码而提供的预测运动矢量的索引mvpidxlx对应的预测运动矢量的候选mvplistlx[mvpidxlx]，作为所选择出的预测运动矢量mvplx(图25的步骤s204)。
[0166]
接着，由运动矢量加法部427对由比特串解码部201解码而提供的lx的差分运动矢量mvdlx和lx的预测运动矢量mvplx进行加法运算，设为mvlx＝mvplx mvdlx，计算出lx的运动矢量mvlx(图25的步骤s205)。
[0167]
<通常预测运动矢量模式导出部(通常amvp)：运动矢量的预测方法>
[0168]
图20是表示在本发明的实施方式涉及的图像编码装置的通常预测运动矢量模式导出部301和图像解码装置的通常预测运动矢量模式导出部401中具有共同的功能的通常预测运动矢量模式导出处理的处理步骤的流程图。
[0169]
在通常预测运动矢量模式导出部301以及通常预测运动矢量模式导出部401中，具有预测运动矢量候选列表mvplistlx。预测运动矢量候选列表mvplistlx构成列表结构，设置有将表示预测运动矢量候选列表内部的位置的预测运动矢量索引和与索引对应的预测运动矢量候选作为要素进行保存的存储区域。预测运动矢量索引的数字从0开始，在预测运动矢量候选列表mvplistlx的存储区域中保存预测运动矢量候选。在本实施方式中，假设预测运动矢量候选列表mvplistlx能够登记至少两个预测运动矢量候选(帧间预测信息)。此外，将表示登记在预测运动矢量候选列表mvplistlx中的预测运动矢量候选数的变量numcurrmvpcand设定为0。
[0170]
空间预测运动矢量候选导出部321和421导出来自与左侧相邻的块的预测运动矢量的候选。在该处理中，参考与左侧相邻的块(图11的a0或a1)的帧间预测信息、即表示能否利用预测运动矢量候选的标志以及运动矢量、参考索引等，导出预测运动矢量mvlxa，将导出的mvlxa添加到预测运动矢量候选列表mvplistlx中(图20的步骤s301)。另外，在l0预测时x为0，在l1预测时x为1(以下相同)。接着，空间预测运动矢量候选导出部321和421导出来自与上侧相邻的块的预测运动矢量的候选。在该处理中，参考与上侧相邻的块(图11的b0、b1或b2)的帧间预测信息、即表示能否利用预测运动矢量候选的标志、以及运动矢量、参考索引等，导出预测运动矢量mvlxb，如果分别导出的mvlxa和mvlxb不相等，则将mvlxb添加到预测运动矢量候选列表mvplistlx中(图20的步骤s302)。图20的步骤s301和s302的处理除了参考的相邻块的位置和数量不同这一点以外是共同的，导出表示是否能够利用编码块的预测运动矢量候选的标志availableflaglxn、以及运动矢量mvlxn、参考索引refidxn(n表示a或b，以下相同)。
[0171]
接着，时间预测运动矢量候选导出部322和422导出来自时间与当前的处理对象图片不同的图片中的块的预测运动矢量的候选。在该处理中，导出表示是否能够利用不同时间的图片的编码块的预测运动矢量候选的标志availableflaglxcol、以及运动矢量mvlxcol、参考索引refidxcol、参考列表listcol，将mvlxcol添加到预测运动矢量候选列表mvplistlx中(图20的步骤s303)。
[0172]
此外，假设能够省略以序列(sps)、图片(pps)或条带为单位的时间预测运动矢量候选导出部322和422的处理。
[0173]
接着，历史预测运动矢量候选导出部323和423将登记在历史预测运动矢量候选列表hmvpcandlist中的历史预测运动矢量候选添加到预测运动矢量候选列表mvplistlx中(图20的步骤s304)。关于该步骤s304的登记处理步骤的细节使用图29的流程图在后面叙述。
[0174]
接着，预测运动矢量候选补充部325和425添加(0，0)等预定值的预测运动矢量候选，直到满足预测运动矢量候选列表mvplistlx为止(图20的s305)。
[0175]
<通常合并模式导出部(通常合并)>
[0176]
图18的通常合并模式导出部302包含空间合并候选导出部341、时间合并候选导出部342、平均合并候选导出部344、历史合并候选导出部345、合并候选补充部346、以及合并候选选择部347。
[0177]
图24的通常合并模式导出部402包含空间合并候选导出部441、时间合并候选导出部442、平均合并候选导出部444、历史合并候选导出部445、合并候选补充部446、以及合并候选选择部447。
[0178]
图21是说明在本发明的实施方式涉及的图像编码装置的通常合并模式导出部302和图像解码装置的通常合并模式导出部402中具有共同的功能的通常合并模式导出处理的步骤的流程图。
[0179]
以下，依次说明各过程。此外，在以下的说明中，只要没有特别说明，就对条带类型slice_type为b条带的情况进行说明，但也能适用于p条带的情况。然而，在条带类型slice_type是p条带的情况下，由于仅存在l0预测(pred_l0)作为帧间预测模式，不存在l1预测(pred_l1)和双预测(pred_bi)。因此，能够省略围绕l1的处理。
[0180]
在通常合并模式导出部302和通常合并模式导出部402中，具有合并候选列表mergecandlist。合并候选列表mergecandlist构成列表结构，设置有表示合并候选列表内部的位置的合并索引、和将与索引对应的合并候选作为要素进行保存的存储区域。合并索引的数字从0开始，在合并候选列表mergecandlist的存储区域中保存合并候选。在以后的处理中，假设登记在合并候选列表mergecandlist中的合并索引i的合并候选由mergecandlist[i]表示。在本实施方式中，假定合并候选列表mergecandlist能够登记至少六个合并候选(帧间预测信息)。并且，对表示合并候选列表mergecandlist中登记的合并候选数的变量numcurrmergecand设定0。
[0181]
在空间合并候选导出部341和空间合并候选导出部441中，根据保存在图像编码装置的编码信息保存存储器111或图像解码装置的编码信息保存存储器205中的编码信息，按照b1、a1、b0、a0、b2的顺序导出来自与处理对象块相邻的各个块(图11的b1、a1、b0、a0、b2)的空间合并候选，并将所导出的空间合并候选登记在合并候选列表mergecandlist中(图21的步骤s401)。这里，定义表示b1、a1、b0、a0、b2或时间合并候选col中的任一个的n。导出表示块n的帧间预测信息能否用作空间合并候选的标志availableflagn、空间合并候选n的l0的参考索引refidxl0n和l1的参考索引refidxl1n、表示是否进行l0预测的l0预测标志predflagl0n、表示是否进行l1预测的l1预测标志predflagl1n、l0的运动矢量mvl0n、l1的运动矢量mvl1n。但是，在本实施方式中，由于不参考成为处理对象的编码块所包含的块的帧间预测信息来导出合并候选，所以不导出使用处理对象的编码块所包含的块的帧间预测信息的空间合并候选。
[0182]
接着，在时间合并候选导出部342以及时间合并候选导出部442中，导出来自不同时间的图片的时间合并候选，将导出的时间合并候选登记在合并候选列表mergecandlist中(图21的步骤s402)。导出表示能否利用时间合并候选的标志availableflagcol、表示是否进行时间合并候选的l0预测的l0预测标志predflagl0col、以及表示是否进行l1预测的l1预测标志predflagl1col、以及l0的运动矢量mvl0col和l1的运动矢量mvl1col。
[0183]
此外，能够省略以序列(sps)、图片(pps)或条带为单位的时间合并候选导出部342和时间合并候选导出部442的处理。
[0184]
接着，在历史合并候选导出部345和历史合并候选导出部445中，将登记在历史预测运动矢量候选列表hmvpcandlist中的历史预测运动矢量候选登记在合并候选列表mergecandlist中(图21的步骤s403)。
[0185]
此外，在登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand小于最大合并候选数maxnummergecand的情况下，登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand以最大合并候选数maxnummergecand为上限来导出历史合并候选，并且将其登记在合并候选列表mergecandlist中。
[0186]
接着，在平均合并候选导出部344和平均合并候选导出部444中，从合并候选列表mergecandlist中导出平均合并候选，将导出的平均合并候选添加到合并候选列表mergecandlist中(图21的步骤s404)。
[0187]
此外，在登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand小于最大合并候选数maxnummergecand的情况下，登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand以最大合并候选数maxnummergecand为上限，导出平均合并
候选，并且将其登记在合并候选列表mergecandlist中。
[0188]
这里，平均合并候选是新的合并候选，该新的合并候选具有通过对合并候选列表mergecandlist中登记的第一合并候选和第二合并候选具有的运动矢量按照每个l0预测和l1预测进行平均而获得的运动矢量。
[0189]
接着，在合并候选补充部346和合并候选补充部446中，在登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand小于最大合并候选数maxnummergecand时，登记在合并候选列表mergecandlist中的合并候选数numcurrmergecand以最大合并候选数maxnummergecand为上限导出添加合并候选，并登记在合并候选列表mergecandlist中(图21的步骤s405)。以最大合并候选数maxnummergecand为上限，在p条带中，添加运动矢量具有(0，0)值的预测模式为l0预测(pred_l0)的合并候选。在b条带中，添加运动矢量具有值(0，0)的预测模式为双预测(pred_bi)的合并候选。添加合并候选时的参考索引与已添加的参考索引不同。
[0190]
接着，在合并候选选择部347和合并候选选择部447中，从登记在合并候选列表mergecandlist内的合并候选中选择合并候选。在编码侧的合并候选选择部347通过计算码量和失真量来选择合并候选，并经由帧间预测模式判定部305将表示所选择出的合并候选的合并索引、合并候选的帧间预测信息提供给运动补偿预测部306。另一方面，在解码侧的合并候选选择部447中，基于解码后的合并索引选择合并候选，并将选择出的合并候选提供给运动补偿预测部406。
[0191]
<更新历史预测运动矢量候选列表>
[0192]
接着，详细说明编码侧的编码信息保存存储器111及解码侧的编码信息保存存储器205所具备的历史预测运动矢量候选列表hmvpcandlist的初始化方法及更新方法。图26是用于说明历史预测运动矢量候选列表初始化/更新处理步骤的流程图。
[0193]
在本实施方式中，假定历史预测运动矢量候选列表hmvpcandlist的更新在编码信息保存存储器111和编码信息保存存储器205中执行。也可以在帧间预测部102以及帧间预测部203中设置历史预测运动矢量候选列表更新部，实施历史预测运动矢量候选列表hmvpcandlist的更新。
[0194]
在条带的开头进行历史预测运动矢量候选列表hmvpcandlist的初始设定，在编码侧，在由预测方法决定部105选择了通常预测运动矢量模式或通常合并模式的情况下，更新历史预测运动矢量候选列表hmvpcandlist，在解码侧，在由比特串解码部201解码后的预测信息为通常预测运动矢量模式或通常合并模式的情况下，更新历史预测运动矢量候选列表hmvpcandlist。
[0195]
将在通常预测运动矢量模式或通常合并模式下进行帧间预测时使用的帧间预测信息登记在历史预测运动矢量候选列表hmvpcandlist中作为帧间预测信息候选hmvpcand。帧间预测信息候选hmvpcand包括l0的参考索引refidxl0和l1的参考索引refidxl1、表示是否进行l0预测的l0预测标志predflagl0和表示是否进行l1预测的l1预测标志predflagl1、l0的运动矢量mvl0和l1的运动矢量mvl1。
[0196]
在编码侧编码信息保存存储器111和解码侧的编码信息保存存储器205中具有的历史预测运动矢量候选列表hmvpcandlist中所登记的要素(即，帧间预测信息)中，存在与帧间预测信息候选hmvpcand相同的值的帧间预测信息的情况下，从历史预测运动矢量候选
列表hmvpcandlist中删除该要素。另一方面，在不存在与帧间预测信息候选hmvpcand相同的值的帧间预测信息的情况下，删除历史预测运动矢量候选列表hmvpcandlist的开头的要素，并且将帧间预测信息候选hmvpcand添加到历史预测运动矢量候选列表hmvpcandlist的最后。
[0197]
将本发明的编码侧的编码信息保存存储器111及解码侧的编码信息保存存储器205所具备的历史预测运动矢量候选列表hmvpcandlist的要素的数量设为6。
[0198]
首先，进行以条带为单位的历史预测运动矢量候选列表hmvpcandlist的初始化(图26的步骤s2101)。在条带的开头使历史预测运动矢量候选列表hmvpcandlist的所有要素为空，将历史预测运动矢量候选列表hmvpcandlist中登记的历史预测运动矢量候选的数量(当前的候选数)numhmvpcand的值设定为0。
[0199]
此外，虽然设为以条带为单位(条带的最初的编码块)实施历史预测运动矢量候选列表hmvpcandlist的初始化，但也可以以图片为单位、以矩形(tile)为单位、以树块行为单位实施。
[0200]
接着，针对条带中的每个编码块重复进行以下的历史预测运动矢量候选列表hmvpcandlist的更新处理(图26的步骤s2102至s2107)。
[0201]
首先，进行以编码块为单位的初始设定。对表示是否存在同一候选的标志identicalcandexist设定false(假)的值，对表示删除对象的候选的删除对象索引removeidx设定0(图26的步骤s2103)。
[0202]
判定是否存在登记对象的帧间预测信息候选hmvpcand(图26的步骤s2104)。在由编码侧的预测方法决定部105判定为通常预测运动矢量模式或通常合并模式的情况下，或者在由解码侧的比特串解码部201解码为通常预测运动矢量模式或通常合并模式的情况下，将该帧间预测信息设为登记对象的帧间预测信息候选hmvpcand。在由编码侧的预测方法决定部105判定为帧内预测模式、子块预测运动矢量模式或子块合并模式的情况下，或者由解码侧的比特串解码部201解码为帧内预测模式、子块预测运动矢量模式或子块合并模式的情况下，不进行历史预测运动矢量候选列表hmvpcandlist的更新处理，不存在登记对象的帧间预测信息候选hmvpcand。在不存在登记对象的帧间预测信息候选hmvpcand的情况下，跳过步骤s2105～s2106(图26的步骤s2104：否)。在存在登记对象的帧间预测信息候选hmvpcand的情况下，执行步骤s2105之后的处理(图26的步骤s2104：是)。
[0203]
接着，判定在历史预测运动矢量候选列表hmvpcandlist的每个要素中是否存在与登记对象的帧间预测信息候选hmvpcand相同的值的要素(帧间预测信息)、即是否存在相同的要素(图26的步骤s2105)。图27是该相同要素确认处理步骤的流程图。在历史预测运动矢量候选数numhmvpcand的值为0的情况下(图27的步骤s2121：否)，历史预测运动矢量候选列表hmvpcandlist为空，由于不存在相同候选，因此跳过图27的步骤s2122～s2125，结束该相同要素确认处理步骤。在历史预测运动矢量候选数numhmvpcand的值大于0的情况下(图27的步骤s2121：是)，历史预测运动矢量索引hmvpidx从0到numhmvpcand
‑
1，重复步骤s2123的处理(图27的步骤s2122～s2125)。首先，比较历史预测运动矢量候选列表的从0开始数的第hmvpidx个要素hmvpcandlist[hmvpidx]是否与帧间预测信息候选hmvpcand相同(图27的步骤s2123)。在相同的情况下(图27的步骤s2123：是)，对表示是否存在相同候选的标志identicalcandexist设定为true(真)的值，对表示删除对象的要素的位置的删除对象索引
removeidx设定当前的历史预测运动矢量索引hmvpidx的值，结束该相同要素确认处理。在不相同的情况下(图27的步骤s2123：否)，使hmvpidx增加1，如果历史预测运动矢量索引hmvpidx为numhmvpcand
‑
1以下，则进行步骤s2123以后的处理。
[0204]
再次返回图26的流程图，进行历史预测运动矢量候选列表hmvpcandlist的要素的移位及添加处理(图26的步骤s2106)。图28是图26的步骤s2106的历史预测运动矢量候选列表hmvpcandlist的要素移位/添加处理步骤的流程图。首先，判定在去除保存在历史预测运动矢量候选列表hmvpcandlist中的要素之后是添加新的要素，还是在不去除要素的情况下添加新的要素。具体地，比较表示是否存在相同候选的标志identicalcandexist是否为true(真)或numhmvvpcand是否为6(图28的步骤s2141)。在满足表示是否存在相同候选的标志identicalcandexist为true(真)或当前的候选数numhmvpcand为6的任一个条件的情况下(图28的步骤s2141：是)，去除保存在历史预测运动矢量候选列表hmvpcandlist中的要素之后，添加新的要素。将索引i的初始值设定为removeidx 1的值。从该初始值到numhmvpcand，重复步骤s2143的要素移位处理。(图28的步骤s2142～s2144)。通过将hmvpcandlist[i]的要素复制到hmvpcandlist[i
‑
1]，将要素向前方移位(图28的步骤s2143)，将i增加1(图28的步骤s2142～s2144)。接下来，将帧间预测信息候选hmvpcand添加到与历史预测运动矢量候选列表的最后相当的从0开始数的第(numhmvpcand
‑
1)个hmvpcandlist[numhmvpcand
‑
1](图28的步骤s2145)，结束该历史预测运动矢量候选列表hmvpcandlist的要素移位/添加处理。另一方面，在表示是否存在相同候选的标志identicalcandexist为true(真)以及numhmvpcand为6的任一个条件均不满足的情况下(图28的步骤s2141：否)，不除去保存在历史预测运动矢量候选列表hmvpcandlist中的要素，而将帧间预测信息候选hmvpcand添加到历史预测运动矢量候选列表的最后(图28的步骤s2146)。这里，历史预测运动矢量候选列表的最后是从0开始数的第numhmvpcand个hmvpcandlist[numhmvpcand]。另外，使numhmvpcand增加1，结束该历史预测运动矢量候选列表hmvpcandlist的要素的移位及添加处理。
[0205]
图31a至图31c是用于说明历史预测运动矢量候选列表的更新处理的一例的图。在已登记六个要素(帧间预测信息)的历史预测运动矢量候选列表hmvpcan dlist中添加新的要素时，从历史预测运动矢量候选列表hm vpcandlist的前方的要素开始依次与新的帧间预测信息进行比较(图31a)，如果新的要素与历史预测运动矢量候选列表hmvpcandlist的从开头起第三个的要素hmvp2是相同的值，则从历史预测运动矢量候选列表hmvpcan dlist中删除要素hmvp2、并将后方的要素hmvp3～hmvp5向前方一个个地移位(复制)，将新的要素添加到历史预测运动矢量候选列表hmvpc andlist的最后(图31b)，完成历史预测运动矢量候选列表hmvpcandlist的更新(图31c)。
[0206]
<历史预测运动矢量候选导出处理>
[0207]
接着，详细说明作为图20的步骤s304的处理步骤的从历史预测运动矢量候选列表hmvpcandlist导出历史预测运动矢量候选的方法，图20的步骤s304的处理步骤是在编码侧的通常预测运动矢量模式导出部301的历史预测运动矢量候选导出部323、解码侧的通常预测运动矢量模式导出部401的历史预测运动矢量候选导出部423中共同的处理。图29是说明历史预测运动矢量候选导出处理步骤的流程图。
[0208]
在当前的预测运动矢量候选数numcurrmvpcand为预测运动矢量候选列表
mvplistlx的最大要素数(这里为2)以上或者历史预测运动矢量候选数numhmvpcand的值为0的情况下(图29的步骤s2201的否)，省略图29的步骤s2202至s2209的处理，结束历史预测运动矢量候选导出处理步骤。在当前的预测运动矢量候选数numcurrmvpcand小于预测运动矢量候选列表mvplistlx的最大要素数2且历史预测运动矢量候选数numhmvpcand的值大于0时(图29的步骤s2201的是)，执行图29的步骤s2202至s2209的处理。
[0209]
接下来，重复图29的步骤s2203至s2208的处理，直到索引i从1到4和历史预测运动矢量候选数numcheckedhmvpcand的任一个较小的值为止(图29的步骤s2202至s2209)。在当前的预测运动矢量候选数numcurrmvpcand是预测运动矢量候选列表mvplistlx的最大要素数2以上的情况下(图29的步骤s2203：否)，省略图29的步骤s2204至s2209的处理，结束该历史预测运动矢量候选导出处理步骤。在当前的预测运动矢量候选数numcurrmvpcand小于预测运动矢量候选列表mvplistlx的最大要素数2(图29的步骤s2203：是)的情况下，执行图29的步骤s2204之后的处理。
[0210]
接着，对y为0和1(l0和l1)分别进行从步骤s2205到s2207的处理(图29的步骤s2204～s2208)。在当前的预测运动矢量候选数numcurrmvpcand是预测运动矢量候选列表mvplistlx的最大要素数2以上的情况下(图29的步骤s2205：否)，省略图29的步骤s2206至s2209的处理，结束该历史预测运动矢量候选导出处理步骤。在当前的预测运动矢量候选数numcurrmvpcand小于预测运动矢量候选列表mvplistlx的最大要素数2的情况下(图29中的步骤s2205：是)，执行图29中的步骤s2206之后的处理。
[0211]
接着，在历史预测运动矢量候选列表hmvpcandlist中存在与编码/解码对象运动矢量的参考索引refidxlx相同的参考索引的要素、且与预测运动矢量列表mvplistlx的任何要素均不相同的要素的情况下(图29的步骤s2206：是)，向预测运动矢量候选列表的从0开始数第numcurrmvpcand个要素mvplistlx[numcurrmvpcand]添加历史预测运动矢量候选hmvpcandlist[numhmvpcand
‑
i]的ly的运动矢量(图29的步骤s2207)，使当前的预测运动矢量候选数numcurrmvpcand增加1。在历史预测运动矢量候选列表hmvpcandlist中不存在与编码/解码对象运动矢量的参考索引refidxlx相同的参考索引的要素、且与预测运动矢量列表mvplistlx的任何要素均不相同的要素的情况下(图29的步骤s2206：否)，跳过步骤s2207的添加处理。
[0212]
在l0和l1中两者都进行以上的图29的步骤s2205到s2207的处理(图29的步骤s2204～s2208)。将索引i增加1，在索引i小于等于4和历史预测运动矢量候选数numhmvpcand的任一个较小的值的情况下，再次进行步骤s2203以后的处理(图29的步骤s2202～s2209)。
[0213]
<历史合并候选导出处理>
[0214]
接着，详细说明作为图21的步骤s404的处理步骤的从历史合并候选列表hmvpcandlist导出历史合并候选的方法，所述图21的步骤s404的处理步骤是在编码侧的通常合并模式导出部302的历史合并候选导出部345、解码侧的通常合并模式导出部402的历史合并候选导出部445中共同的处理。图30是说明历史合并候选导出处理步骤的流程图。
[0215]
首先，进行初始化处理(图30的步骤s2301)。对ispruned[i]的从0到第(numcurrmergecand
‑
1)个要素的每个要素设定false(假)的值，并对变量numorigmergecand设定登记在当前的合并候选列表中的要素数numcurrmergecand。
[0216]
接着，将索引hmvpidx的初始值设定为1，从该初始值到numhmvpcand重复进行从图30的步骤s2303到步骤s2310的添加处理(图30的步骤s2302～s2311)。如果登记在当前的合并候选列表中的要素数numcurrmergecand不是(最大合并候选数maxnummergecand
‑
1)以下，则由于合并候选被添加到合并候选列表中的所有要素，因此结束该历史合并候选导出处理(图30的步骤s2303的否)。如果登记在当前的合并候选列表中的要素数numcurrmergecand是(最大合并候选数maxnummergecand
‑
1)以下，则执行步骤s2304以后的处理。对samemotion设定false(假)的值(图30的步骤s2304)。接着，将索引i的初始值设定为0，从该初始值到numorigmergecand
‑
1进行图30的步骤s2306、s2307的处理(图30的s2305～s2308)。比较历史运动矢量预测候选列表的从0开始数的第(numhmvpcand
–
hmvpidx)个的要素hmvpcandlist[numhmvpcand
‑
hmvpidx]是否与合并候选列表的从0开始数的第i个的要素mergecandlist[i]是相同值(图30的步骤s2306)。
[0217]
合并候选的相同值是指当合并候选所具有的所有构成要素(帧间预测模式、参考索引和运动矢量)的值相同时合并候选为相同值。在合并候选为相同值且ispruned[i]为false(假)的情况下(图30的步骤s2306的是)，samemotion以及ispruned[i]都设定为true(真)(图30的步骤s2307)。在不是相同值的情况下(图30的步骤s2306的否)，跳过步骤s2307的处理。在图30的步骤s2305至s2308的重复处理完成之后，比较samemotion是否为false(假)(图30的步骤s2309)，在samemotion为false(假)的情况下(图30的步骤s2309的是)，即由于历史预测运动矢量候选列表的从0开始数第(numhmvpcand
‑
hmvpidx)个要素hmvpcandlist[numhvpcand
‑
hmvpidx]不存在于mergecandlist，因此在合并候选列表的第numcurrmergecand个的mergecandlist[numcurrmergecand]中添加从历史预测运动矢量候选列表的从0开始数的第(numhmvpcand
–
hmvpidx)个的要素hmvpcandlist[numhmvpcand
‑
hmvpidx]，并使numcurrmergecand增加1(图30的步骤s2310)。使索引hmvpidx增加1(图30的步骤s2302)，进行图30的步骤s2302～s2311的重复处理。
[0218]
在完成了对历史预测运动矢量候选列表中的所有要素的确认、或者对合并候选列表的所有要素添加合并候选后，完成该历史合并候选的导出处理。
[0219]
<平均合并候选导出处理>
[0220]
接着，详细说明作为图21的步骤s403的处理步骤的平均合并候选的导出方法，图21的步骤s403的处理步骤是在编码侧的通常合并模式导出部302的平均合并候选导出部344、解码侧的通常合并模式导出部402的平均合并候选导出部444中共同的处理。图39是用于说明平均合并候选导出处理步骤的流程图。
[0221]
首先，进行初始化处理(图39的步骤s1301)。对变量numorigmergecand设定当前的合并候选列表中登记的要素数numcurrmergecand。
[0222]
接着，从合并候选列表的开头开始依次扫描，决定两个运动信息。设定为表示第一个运动信息的索引i＝0，表示第二个运动信息的索引j＝1。(图39的步骤s1302～s1303)。如果登记在当前的合并候选列表中的要素数numcurrmergecand不是(最大合并候选数maxnummergecand
‑
1)以下，则合并候选已被添加到合并候选列表的所有要素，因此结束该历史合并候选导出处理(图39的步骤s1304)。如果登记在当前的合并候选列表中的要素数numcurrmergecand为(最大合并候选数maxnummergecand
‑
1)以下，则进行步骤s1305之后的处理。
[0223]
判定合并候选列表的第i个运动信息mergecandlist[i]和合并候选列表的第j个运动信息mergecandlist[j]是否均无效(图39的步骤s1305)，如果它们均无效，则不导出mergecandlist[i]和mergecandlist[j]的平均合并候选，转移到下一个要素。如果mergecandlist[i]和mergecandlist[j]不是均无效，则将x设为0和1，重复以下的处理(图39的步骤s1306到s1314)。
[0224]
判定mergecandlist[i]的lx预测是否有效(图39的步骤s1307)。如果mergecandlist[i]的lx预测有效，则判定mergecandlist[j]的lx预测是否有效(图39的步骤s1308)。如果mergecandlist[j]的lx预测有效，即如果mergecandlist[i]的lx预测和mergecandlist[j]的lx预测均有效，则导出具有lx预测的运动矢量和mergecandlist[i]的lx预测的参考索引的lx预测的平均合并候选，并将其设定为averagecand的lx预测，使averagecand的lx预测有效，该lx预测的运动矢量是对mergecandlist[i]的lx预测的运动矢量和mergecandlist[j]的lx预测的运动矢量进行平均而得到的(图39的步骤s1309)。在图39的步骤s1308中，如果mergecandlist[j]的lx预测不是有效，即mergecandlist[i]的lx预测有效且mergecandlist[j]的lx预测无效，则导出具有mergecandlist[i]的lx预测的运动矢量和参考索引的lx预测的平均合并候选，并将其设定为averagecand的lx预测，使averagecand的lx预测有效(图39的步骤s1310)。在图39的步骤s1307中，如果mergecandlist[i]的lx预测不是有效，则判定mergecandlist[j]的lx预测是否有效(图39的步骤s1311)。如果mergecandlist[j]的lx预测有效，即如果mergecandlist[i]的lx预测无效且mergecandlist[j]的lx预测有效，则导出具有mergecandlist[j]的lx预测的运动矢量和参考索引的lx预测的平均合并候选，并将其设定为averagecand的lx预测，使averagecand的lx预测有效(图39的步骤s1312)。在图39的步骤s1311中，如果mergecandlist[j]的lx预测不是有效，即如果mergecandlist[i]的lx预测和mergecandlist[j]的lx预测均无效，则使averagecand的lx预测无效(图39的步骤s1312)。
[0225]
将如上所述生成的l0预测、l1预测或bi预测的平均合并候选averagecand添加到合并候选列表的第numcurrmergecand个mergecandlist[numcurrmergecand]，使numcurrmergecand增加1(图39的步骤s1315)。以上，结束平均合并候选的导出处理。
[0226]
另外，平均合并候选分别用运动矢量的水平分量和运动矢量的垂直分量进行平均。
[0227]
<运动补偿预测处理>
[0228]
运动补偿预测部306获取在编码中为当前预测处理的对象的块的位置以及尺寸。另外，运动补偿预测部306从帧间预测模式判定部305获取帧间预测信息。根据所获取的帧间预测信息导出参考索引和运动矢量，在获取使解码图像存储器104内的参考索引所确定的参考图片从与作为预测处理的对象的块的图像信号相同的位置移动了运动矢量的量的位置的图像信号后，生成预测信号。
[0229]
在帧间预测中的帧间预测模式是如l0预测或l1预测那样的、来自单个参考图片的预测的情况下，将从一个参考图片获取的预测信号设为运动补偿预测信号，在帧间预测模式是如bi预测那样的、预测模式是来自两个参考图片的预测的情况下，将对从两个参考图片获取的预测信号进行加权平均而得的信号设为运动补偿预测信号，并将运动补偿预测信号提供给预测方法决定部105。这里，将双预测的加权平均的比率设为1∶1，但也可以使用其
他的比率进行加权平均。例如，也可以设为成为预测对象的图片与参考图片的图片间隔越近则加权的比率越大。另外，也可以使用图片间隔的组合与加权比率的对应表来进行加权比率的计算。
[0230]
运动补偿预测部406具有与编码侧的运动补偿预测部306相同的功能。运动补偿预测部406通过开关408从通常预测运动矢量模式导出部401、通常合并模式导出部402、子块预测运动矢量模式导出部403和子块合并模式导出部404获取帧间预测信息。运动补偿预测部406将所获得的运动补偿预测信号提供给解码图像信号重叠部207。
[0231]
<关于帧间预测模式>
[0232]
将进行根据单个的参考图片的预测的处理定义为单预测。在单预测的情况下，进行l0预测或l1预测这样的、使用登记在参考列表l0或l1中的两个参考图片的任一个的预测。
[0233]
图32示出了单预测中的l0的参考图片(refl0pic)处于处理对象图片(curpic)之前的时刻的情况。图33示出了单预测中的l0预测的参考图片处于处理对象图片之后的时刻的情况。同样地，也能够通过将图32和图33的l0预测的参考图片置换为l1预测的参考图片(refl1pic)来进行单预测。
[0234]
将进行根据两个参考图片的预测的处理定义为双预测，在双预测的情况下，利用l0预测和l1预测这两者来表述为bi预测。图34示出了双预测中的l0预测的参考图片处于处理对象图片之前的时刻、l1预测的参考图片处于处理对象图片之后的时刻的情况。图35示出了双预测中的l0预测的参考图片和l1预测的参考图片处于处理对象图片之前的时刻的情况。图36示出了双预测中的l0预测的参考图片和l1预测的参考图片处于处理对象图片之后的时刻的情况。
[0235]
如此，l0/l1的预测类别和时间的关系能够在l0不限定于过去方向、l1不限定于未来方向的情况下使用。另外，在双预测的情况下，可以使用相同的参考图片执行l0预测和l1预测中的每一个。此外，基于表示是否使用l0预测和是否使用l1预测的信息(例如，标志)来判断是以单预测来进行运动补偿预测还是以双预测进行运动补偿预测。
[0236]
<关于参考索引>
[0237]
在本发明的实施方式中，为了提高运动补偿预测的精度，能够在运动补偿预测中从多个参考图片中选择最佳的参考图片。因此，将在运动补偿预测中利用的参考图片用作参考索引，并且将参考索引与差分运动矢量一起编码到比特流中。
[0238]
<基于通常预测运动矢量模式的运动补偿处理>
[0239]
如在图16的编码侧的帧间预测部102中也示出，当在帧间预测模式判定部305中选择了基于通常预测运动矢量模式导出部301的帧间预测信息时，运动补偿预测部306从帧间预测模式判定部305获取该帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引和运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给预测方法决定部105。
[0240]
同样地，如在图22的解码侧的帧间预测部203中也示出那样，当在解码过程中开关408与通常预测运动矢量模式导出部401连接时，运动补偿预测部406获取基于通常预测运动矢量模式导出部401的帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引以及运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给解码图
像信号重叠部207。
[0241]
<基于通常合并模式的运动补偿处理>
[0242]
如在图16的编码侧中的帧间预测部102中也示出的那样，当在帧间预测模式判定部305中选择了基于通常合并模式导出部302的帧间预测信息时，运动补偿预测部306从帧间预测模式判定部305获取该帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引和运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给预测方法决定部105。
[0243]
同样地，如在图22的解码侧的帧间预测部203中也示出的那样，当在解码过程中开关408与通常合并模式导出部402连接时，运动补偿预测部406获取基于通常合并模式导出部402的帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引、运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给解码图像信号重叠部207。
[0244]
<基于子块预测运动矢量模式的运动补偿处理>
[0245]
如在图16的编码侧的帧间预测部102中也示出的那样，当在帧间预测模式判定部305中选择了基于子块预测运动矢量模式导出部303的帧间预测信息时，运动补偿预测部306从帧间预测模式判定部305获取该帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引和运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给预测方法决定部105。
[0246]
同样，如在图22的解码侧的帧间预测部203中也示出的那样，当在解码过程中开关408与子块预测运动矢量模式导出部403连接时，运动补偿预测部406获取基于子块预测运动矢量模式导出部403的帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引以及运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给解码图像信号重叠部207。
[0247]
<基于子块合并模式的运动补偿处理>
[0248]
如在图16的编码侧的帧间预测部102中也示出的那样，当在帧间预测模式判定部305中选择了基于子块合并模式导出部304的帧间预测信息时，运动补偿预测部306从帧间预测模式判定部305获取该帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引以及运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给预测方法决定部105。
[0249]
同样地，如在图22的解码侧的帧间预测部203中也示出的那样，当在解码过程中开关408与子块合并模式导出部404连接时，运动补偿预测部406获取基于子块合并模式导出部404的帧间预测信息，导出成为当前处理对象的块的帧间预测模式、参考索引以及运动矢量，生成运动补偿预测信号。所生成的运动补偿预测信号被提供给解码图像信号重叠部207。
[0250]
<基于仿射变换预测的运动补偿处理>
[0251]
在通常预测运动矢量模式和通常合并模式中，能够基于以下标志使用基于仿射模型的运动补偿。以下标志基于在编码处理中由帧间预测模式判定部305决定的帧间预测条件而被反映在以下标志中，并且被编码到比特流中。在解码处理中，基于比特流中的以下标志来确定是否执行基于仿射模型的运动补偿。
[0252]
sps_affine_enabled_flag表示在帧间预测中能否使用基于仿射模型的运动补
偿。如果sps_affine_enabled_flag为0，则以序列为单位进行抑制，使得不是基于仿射模型的运动补偿。另外，inter_affine_flag和cu_affine_type_flag不在编码视频序列的cu(编码块)句法中传送。如果sps_affine_ena bled_flag是1，则能够在编码视频序列中使用基于仿射模型的运动补偿。
[0253]
sps_affine_type_flag表示在帧间预测中能否使用基于六参数仿射模型的运动补偿。如果sps_affine_type_flag为0，则被抑制为不是基于六参数仿射模型的运动补偿。另外，cu_affine_type_flag不在编码视频序列的cu句法中传送。如果sps_affine_type_flag是1，则能够在编码视频序列中使用基于六参数仿射模型的运动补偿。在不存在sps_affine_type_flag的情况下，设为是0。
[0254]
在对p条带或b条带进行解码的情况下，在成为当前处理对象的cu中，如果inter_affine_flag是1，则使用基于仿射模型的运动补偿来生成成为当前处理对象的cu的运动补偿预测信号。如果inter_affine_flag是0，则仿射模型不用于成为当前处理对象的cu。在不存在inter_affine_flag的情况下，设为是0。
[0255]
在对p条带或b条带进行解码的情况下，在成为当前处理对象的cu中，如果cu_affine_type_flag是1，则使用基于六参数仿射模型的运动补偿来生成成为当前处理对象的cu的运动补偿预测信号。如果cu_affine_type_flag为0，则使用基于四参数仿射模型的运动补偿来生成成为当前处理对象的cu的运动补偿预测信号。
[0256]
在基于仿射模型的运动补偿中，由于以子块为单位导出参考索引或运动矢量，因此以子块为单位使用成为处理对象的参考索引或运动矢量来生成运动补偿预测信号。
[0257]
四参数仿射模型是以下模式：根据两个控制点的各自的运动矢量的水平分量及垂直分量的四个参数导出子块的运动矢量，以子块为单位进行运动补偿。
[0258]
<三角形合并模式>
[0259]
三角形合并模式是合并模式的一种，是将编码/解码块内分为斜向的分区并进行运动补偿预测的模式。三角形合并模式是将编码/解码块分割为非矩形形状的块的几何学分割合并模式的一种，相当于在几何学分割合并模式中将编码/解码块以对角线分割为两个直角三角形的模式。
[0260]
几何学分割合并模式例如由表示分割角度的索引(angleidx)和表示距编码块的中心的距离的索引(distanceidx)这两个参数的组合来表示。在一个示例中，定义64个图案作为几何学分割合并模式，并对其进行定长编码。在64个图案中，表示分割角度的索引表示构成编码块的对角线的角度(例如45度(在以32分割表现360度的结构中，angleidx＝4)或135度(在以32分割表现360度的结构中，angleidx＝12))，且表示距编码块的中心的距离的索引最小(distanceidx＝0，表示分割边界通过编码块的中心)的2个模式表示以对角线分割编码块，相当于三角形合并模式。
[0261]
使用图38a及图38b对三角形合并模式进行说明。图38a和38b示出作为16
×
16的三角形合并模式的编码/解码块的预测的一例。三角形合并模式的编码/解码块被分割为4
×
4的子块，各子块被分配给单预测的分区0(uni0)、单预测的分区1(uni1)、双预测的分区2(bi)这三个分区。这里，将位于对角线上侧的子块分配给分区0，将位于对角线下侧的子块分配给分区1，将位于对角线上的子块分配给分区2。如果merge_triangle_split_dir为0，则如图38a那样分配分区，如果merge_triangle_split_dir为1，则如图38b那样分配分区。
[0262]
对于分区0的运动补偿预测使用由合并三角形索引0指定的单预测的运动信息。对于分区1的运动补偿预测使用由合并三角形索引1指定的单预测的运动信息。对于分区2的运动补偿预测，使用将由合并三角形索引0指定的单预测的运动信息和由合并三角形索引1指定的单预测的运动信息组合起来的双预测的运动信息。
[0263]
这里，单预测的运动信息是1组运动矢量和参考索引，双预测的运动信息由2组运动矢量和参考索引构成。另外，运动信息是指单预测的运动信息或双预测的运动信息。
[0264]
合并候选选择部347和447将导出的合并候选列表mergecandlist用作三角形合并候选列表trianglemergecandlist。
[0265]
对与三角形合并候选导出有关的图40的流程图进行说明。
[0266]
首先，作为三角形合并候选列表trianglemergecandlist，使用合并候选列表mergecandlist(步骤s3501)。
[0267]
接着，优先包含运动信息列表l0的合并候选，导出合并三角形分区0的单预测运动信息(步骤s3502)。
[0268]
接下来，优先包含运动信息列表l1的合并候选，导出合并三角形分区1的单预测运动信息(步骤s3503)。
[0269]
另外，步骤s3502和步骤s3503可以以不同顺序导出，也可以并行处理。
[0270]
图41是说明第一实施方式的合并三角形分区0的单预测运动信息的导出的流程图。
[0271]
首先，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l0的运动信息(步骤s3601)。在候选m具有运动信息列表l0的运动信息的情况下，将候选m的运动信息列表l0的运动信息设为三角形合并候选(步骤s3602)。对于候选m(m＝0，1，
…
，nummergecand
‑
1)，按照升序进行步骤s3601和步骤s3602，追加导出三角形合并候选。
[0272]
接着，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l1的运动信息(步骤s3603)。在候选m具有运动信息列表l1的运动信息的情况下，将候选m的运动信息列表l1的运动信息设为三角形合并候选(步骤s3604)。对于候选m(m＝nummergecand
‑
1，
…
，1，0)，按照降序进行步骤s3603和步骤s3604，追加导出三角形合并候选。
[0273]
图42是说明第一实施方式的合并三角形分区1的单预测运动信息的导出的流程图。
[0274]
首先，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l1的运动信息(步骤s3701)。在候选m具有运动信息列表l1的运动信息的情况下，将候选m的运动信息列表l1的运动信息设为三角形合并候选(步骤s3702)。对于候选m(m＝0，1，
…
，nummergecand
‑
1)，按照升序进行步骤s3701和步骤s3702，追加导出三角形合并候选。
[0275]
接着，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l0的运动信息(步骤s3703)。在候选m具有运动信息列表l0的运动信息的情况下，将候选m的运动信息列表l0的运动信息设为三角形合并候选(步骤s3704)。对于候选m(m＝nummergecand
‑
1，
…
，1，0)，按照降序进行步骤s3703和步骤s3704，追加导出三角形合
并候选。
[0276]
图43a及图43b是说明第一实施方式的三角形合并候选的运动信息的例子的图。
[0277]
图43a示出合并候选列表的例子，在合并索引0的合并候选中，帧间预测模式是双预测(pred
‑
bi)，运动信息列表l0的运动信息是mv0_l0，运动信息列表l1的运动信息是mv0_l1。在合并索引1的合并候选中，帧间预测模式是单预测(pred
‑
l0)，运动信息列表l0的运动信息是mv1_l0，不具有运动信息列表l1的运动信息。在合并索引2的合并候选中，帧间预测模式是单预测(pred
‑
l1)，不具有运动信息列表l0的运动信息，运动信息列表l1的运动信息是mv2_l1。在合并索引3的合并候选中，帧间预测模式是双预测(pred_bi)，运动信息列表l0的运动信息是mv3_l0，运动信息列表l1的运动信息是mv3_l1。在合并索引4的合并候选中，帧间预测模式是单预测(pred
‑
l0)，运动信息列表l0的运动信息是mv4_l0，不具有运动信息列表l1的运动信息。
[0278]
图43b是示出图43a的合并候选列表的例子的情况下的合并三角形分区0和合并三角形分区1的运动信息分别为怎样的信息的图。
[0279]
合并三角形分区0的单预测运动信息候选按照mv0_l0、mv1_l0、mv3_l0、mv4_l0、mv3_l1的顺序构成运动信息。合并三角形分区1的单预测运动信息候选按照mv0_l1、mv2_l1、mv3_l1、mv4_l0、mv3_l0的顺序构成运动信息。
[0280]
这里，合并三角形索引0(merge_triangle_idx0)和合并三角形索引1(merge_triangle_idx1)的最大值分别与合并索引(merge_idx)相同。也就是说，合并三角形分区0和合并三角形分区1各自的最大三角形合并候选数与最大合并候选数maxnummergecand相等。这样，能够使合并索引、合并三角形索引0和合并三角形索引1的cabac(context
‑
based adaptive binary arithmetic coding，基于上下文的自适应二进制算术编码)的上下文共同化，可以对透视图和上下文表进行简化和节省内存。另外，以sps(sequence parameter set，序列参数集)编码(解码)合并索引的最大值(最大合并候选数)。并且，也以sps编码(解码)合并三角形索引0和合并三角形索引1的最大值(最大三角形合并候选数)。
[0281]
这样，通过合并三角形分区0和合并三角形分区1变更运动信息的优先顺序，再次使用合并候选列表，同时抑制合并三角形分区0和合并三角形分区1的运动信息重复的可能性，导出编码效率高的三角形合并候选，上述为本发明的特征，也可以将合并三角形分区0的单预测运动信息优先运动信息列表l1导出，将合并三角形分区1的单预测运动信息优先运动信息列表l0导出。
[0282]
(变形例1)
[0283]
在变形例1中，与第一实施方式中的合并三角形索引不同，合并三角形索引0和合并三角形索引1的最大三角形合并候选数互不相同。这里，合并三角形索引1的最大三角形合并候选数比合并三角形索引0的最大三角形合并候选数小1。此时，作为合并三角形索引1的单预测运动信息候选，排除在合并三角形索引0中选择的合并候选。即，合并三角形索引0的最大三角形合并候选数与合并索引的最大合并候选数相同，合并三角形索引1的最大三角形合并候选数比合并索引的最大合并候选数小1。
[0284]
如上所述，通过使合并三角形索引1的最大数比合并三角形索引0小1，在如根据候选数提高编码效率的truncated unary这样的编码串中，提高编码效率。另外，通过排除与合并候选的重复，也可以提高编码效率。
[0285]
这里，在一般的影像的编码中，三角形合并模式的利用率比通常的合并模式的利用率低。因此，也可以使合并三角形索引0的最大三角形合并候选数小于合并索引的最大合并候选数。另外，对于合并候选列表，越接近开头的候选越是有效的候选，选择率越高，越远离开头的候选，越是无效的候选，选择率越低。因此，在三角形合并模式下远离开头的候选、即合并三角形索引0或合并三角形索引1中的较大的候选的选择率低，因此能够在抑制编码效率降低的同时提高处理效率。
[0286]
(第二实施方式)
[0287]
在第二实施方式中，在合并三角形分区0和合并三角形分区1中，参考列表1内的候选搜索的顺序与第一实施方式不同。其它构成与第一实施方式相同。
[0288]
图44是说明第二实施方式的合并三角形分区0的单预测运动信息的导出的流程图。
[0289]
首先，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l0的运动信息(步骤s3801)。在候选m具有运动信息列表l0的运动信息的情况下，将候选m的运动信息列表l0的运动信息设为三角形合并候选(步骤s3802)。对于候选m(m＝0，1，
…
，nummergecand
‑
1)，按照升序进行步骤s3801和步骤s3802，追加导出三角形合并候选。
[0290]
接着，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l1的运动信息(步骤s3803)。在候选m具有运动信息列表l1的运动信息的情况下，将候选m的运动信息列表l1的运动信息设为三角形合并候选(步骤s3804)。对于候选m(m＝0，1，
…
，nummergecand
‑
1)，按照升序进行步骤s3803和步骤s3804，追加导出三角形合并候选。
[0291]
图45是说明第二实施方式的合并三角形分区1的单预测运动信息的导出的流程图。
[0292]
首先，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l1的运动信息(步骤s3901)。在候选m具有运动信息列表l1的运动信息的情况下，将候选m的运动信息列表l1的运动信息设为三角形合并候选(步骤s3902)。对于候选m(m＝nummergecand
‑
1，
…
，1，0)，按照降序进行步骤s3901和步骤s3902，追加导出三角形合并候选。
[0293]
接着，对于导出的合并候选列表mergecandlist内的第m个候选，判定候选m是否具有运动信息列表l0的运动信息(步骤s3903)。在候选m具有运动信息列表l0的运动信息的情况下，将候选m的运动信息列表l0的运动信息设为三角形合并候选(步骤s3904)。对于候选m(m＝nummergecand
‑
1，
…
，1，0)，按照降序进行步骤s3903和步骤s3904，追加导出三角形合并候选。
[0294]
图46a及图46b是说明第二实施方式的三角形合并候选的运动信息的例子的图。图46a示出合并候选列表的例子，与图43a相同。
[0295]
图46b是示出图46a的合并候选列表的例子的情况下的合并三角形分区0的单预测运动信息候选和合并三角形分区1的单预测运动信息分别为怎样的信息的图。
[0296]
合并三角形分区0的单预测运动信息候选按照mv0_l0、mv1_l0、mv3_l0、mv4_l0、mv0_l1的顺序构成运动信息。合并三角形分区1的单预测运动信息候选按照mv3_l1、mv2_
l1、mv0_l1、mv4_l0、mv3_l0的顺序构成运动信息。
[0297]
这里，合并三角形索引0(merge_triangle_idx0)和合并三角形索引1(merge_triangle_idx1)的最大值分别与合并索引(merge_idx)相同。也就是说，合并三角形分区0和合并三角形分区1各自的最大三角形合并候选数与最大合并候选数maxnummergecand相等。这样，能够使合并索引、合并三角形索引0和合并三角形索引1的cabac(context
‑
based adaptive binary arithmetic coding，基于上下文的自适应二进制算术编码)的上下文共同化，可以对透视图和上下文表进行简化和节省内存。另外，以sps(sequence parameter set，序列参数集)编码(解码)合并索引的最大值(最大合并候选数)。并且，也以sps编码(解码)合并三角形索引0和合并三角形索引1的最大值(最大三角形合并候选数)。
[0298]
这样，通过合并三角形分区0和合并三角形分区1变更运动信息的优先顺序，再次使用合并候选列表，同时抑制合并三角形分区0和合并三角形分区1的运动信息重复的可能性，导出编码效率高的三角形合并候选，上述为本发明的特征，也可以将合并三角形分区0的单预测运动信息优先运动信息列表l1导出，将合并三角形分区1的单预测运动信息优先运动信息列表l0导出。
[0299]
(变形例1)
[0300]
在变形例1中，与第二实施方式中的合并三角形索引不同，合并三角形索引0与合并三角形索引1的最大三角形合并候选数互不相同。这里，合并三角形索引1的最大三角形合并候选数比合并三角形索引0的最大三角形合并候选数小1。此时，作为合并三角形索引1的单预测运动信息候选，排除在合并三角形索引0中选择的合并候选。即，合并三角形索引0的最大三角形合并候选数与合并索引的最大合并候选数相同，合并三角形索引1的最大三角形合并候选数比合并索引的最大合并候选数小1。
[0301]
如上所述，通过使合并三角形索引1的最大数比合并三角形索引0小1，在如根据候选数提高编码效率的truncated unary这样的编码串中，提高编码效率。另外，通过排除与合并候选的重复，也可以提高编码效率。
[0302]
这里，在一般的影像的编码中，三角形合并模式的利用率比通常的合并模式的利用率低。因此，也可以使合并三角形索引0的最大三角形合并候选数小于合并索引的最大合并候选数。另外，对于合并候选列表，越接近开头的候选越是有效的候选，选择率越高，越远离开头的候选，越是无效的候选，选择率越低。因此，在三角形合并模式下远离开头的候选、即合并三角形索引0或合并三角形索引1中的较大的候选的选择率低，因此能够在抑制编码效率降低的同时提高处理效率。
[0303]
在以上所述的所有实施方式中，图像编码装置输出的比特流具有特定的数据格式，以便能够根据在实施方式中使用的编码方法进行解码。另外，与该图像编码装置对应的图像解码装置能够对该特定的数据格式的比特流进行解码。
[0304]
在使用有线或无线网络用于在图像编码装置和图像解码装置之间交换比特流的情况下，可以将比特流转换为适合于通信线路的传送形式的数据格式来传送。在该情况下，设置了：发送装置，将从图像编码装置输出的比特流转换为适合于通信线路的传送形式的数据格式的编码数据并将该编码数据发送到网络；以及接收装置，从网络接收编码数据并将该编码数据恢复为比特流而提供给图像解码装置。发送装置包括：存储器，对从图像编码装置输出的比特流进行缓冲；分组处理部，对比特流进行分组；以及发送部，经由网络发送
已被分组的编码数据。接收装置包括：接收部，经由网络接收已被分组的编码数据；存储器，对已接收到的编码数据进行缓冲；以及分组处理部，对编码数据进行分组处理以生成比特流，并将该比特流提供给图像解码装置。
[0305]
另外，也可以通过在构成中添加显示由图像解码装置解码的图像的显示部来作为显示装置。在这种情况下，显示部读出由解码图像信号重叠部207生成并保存在解码图像存储器208中的解码图像信号，并且显示在屏幕上。
[0306]
另外，也可以将拍摄部添加到结构中，将拍摄到的图像输入到图像编码装置中，从而作为拍摄装置。在这种情况下，拍摄部将拍摄到的图像信号输入到块分割部101。
[0307]
图37示出本实施方式的编码解码装置的硬件结构的一例。编码解码装置包括本发明实施方式涉及的图像编码装置和图像解码装置的结构。该编码解码装置9000具有cpu9001、编解码器ic9002、i/o接口9003、存储器9004、光盘驱动器9005、网络接口9006、视频接口9009，各部分通过总线9010连接。
[0308]
图像编码部9007和图像解码部9008典型地作为编解码器ic9002来安装。本发明实施方式涉及的图像编码装置的图像编码处理由图像编码部9007执行，本发明实施方式涉及的图像解码装置中的图像解码处理由图像解码部9008执行。i/o接口9003例如通过usb接口实现，与外部的键盘9104、鼠标9105等连接。cpu9001基于通过i/o接口9003输入的用户操作，控制编码解码装置9000，以执行用户期望的动作。作为用户通过键盘9104、鼠标9105等进行的操作，有执行编码和解码中的哪一个的功能的选择、编码质量的设定、比特流的输入输出目的地、图像的输入输出目的地等。
[0309]
当用户希望再现记录在盘记录介质9100中的图像的操作时，光盘驱动器9005从插入的盘记录介质9100读出比特流，并且经由总线9010将读出的比特流发送到编解码器ic9002的图像解码部9008。图像解码部9008对输入的比特流执行本发明的实施方式涉及的图像解码装置中的图像解码处理，并将解码图像经由视频接口9009发送到外部的监视器9103。另外，编码解码装置9000具有网络接口9006，并能够经由网络9101与外部的分发服务器9106、便携终端9107连接。当用户希望再现记录在分发服务器9106或移动终端9107上的图像而不是记录在盘记录介质9100上的图像时，网络接口9006从网络9101获取比特流，而不是从输入的盘记录介质9100读出比特流。另外，在用户希望再现记录在存储器9004中的图像的情况下，对记录在存储器9004中的比特流，执行本发明的实施方式涉及的图像解码装置中的图像解码处理。
[0310]
在用户希望将由外部的相机9102拍摄的图像进行编码并记录在存储器9004中的操作的情况下，视频接口9009从相机9102输入图像，经由总线9010发送到编解码器ic9002的图像编码部9007。图像编码部9007对经由视频接口9009输入的图像执行本发明的实施方式涉及的图像编码装置中的图像编码处理，并生成比特流。然后，通过总线9010将比特流发送到存储器9004。当用户希望将比特流记录在盘记录介质9100上而不是存储器9004中时，光盘驱动器9005针对插入的盘记录介质9100进行比特流的写入。
[0311]
也可以实现具有图像编码装置而不具有图像解码装置的硬件结构、或具有图像解码装置而不具有图像编码装置的硬件结构。这样的硬件结构例如通过将编解码器ic9002分别置换为图像编码部9007或图像解码部9008来实现。
[0312]
与上述编码和解码相关的处理当然可以实现为使用硬件的传送、存储和接收装
置，并且可以通过存储在rom(只读存储器)、闪存等中的固件或计算机等的软件来实现。可以将该固件程序、软件程序记录在计算机等可读取的记录介质中来提供，也可以通过有线或无线网络从服务器提供，还可以作为地面波或卫星数字广播的数据广播来提供。
[0313]
以上，基于实施方式对本发明进行了说明。实施方式为例示，这些各构成要素和各处理步骤的组合可以有各种变形例，并且这样的变形例也在本发明的范围内，这是本领域技术人员能够理解的。
[0314]
产业上的可利用性
[0315]
本发明能够利用于将图像分割为块来进行预测的图像编码以及解码技术。
[0316]
符号说明
[0317]
100图像编码装置、101块分割部、102帧间预测部、103帧内预测部、104解码图像存储器、105预测方法决定部、106残差生成部、107正交变换/量化部、108比特串编码部、109逆量化/逆正交变换部、110解码图像信号重叠部、111编码信息保存存储器、200图像解码装置、201比特串解码部、202块分割部、203帧间预测部、204帧内预测部、205编码信息保存存储器、206逆量化/逆正交变换部、207解码图像信号重叠部、208解码图像存储器。