图像感测装置和图像处理装置的制作方法

1.本公开的各种实施方式涉及半导体设计技术，并且更具体地，涉及图像感测装置。


背景技术：

2.图像感测装置是使用半导体对光起反应的特性来捕捉图像的装置。图像感测装置一般分为电荷耦合器件(ccd)图像感测装置和互补金属氧化物半导体(cmos)图像感测装置。近来，cmos图像感测装置被广泛使用，这是因为cmos图像感测装置可以允许在单个集成电路(ic)上直接实现模拟控制电路和数字控制电路二者。


技术实现要素：

3.本公开的各种实施方式涉及能够在从原始图像生成输出图像时进行端到端学习的图像感测装置。
4.根据实施方式，一种图像感测装置可以包括：第一模块，其适用于基于原始图像和多个第一卷积层，生成针对每个颜色通道分离的多个插值图像；第二模块，其适用于基于多个插值图像和多个第二卷积层，生成针对每个颜色通道分离的多个细化图像；以及第三模块，其适用于基于多个细化图像和多个第三卷积层，生成对应于原始图像的至少一个输出图像。
5.第二模块可以学习多个第二卷积层中的每一个中包含的权重以生成多个细化图像。
6.第三模块可以学习多个第三卷积层中的每一个中包含的权重以生成输出图像。
7.多个第一卷积层中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。
8.根据本公开的实施方式，一种图像感测装置可以包括：第一模块，其适用于基于通过设定的滤色器图案生成的原始图像，在保持设定的滤色器图案中的对齐的同时生成针对每个颜色通道分离的多个插值图像；第二模块，其适用于基于多个插值图像和第一学习算法生成多个细化图像；以及第三模块，其适用于基于多个细化图像和第二学习算法，生成与原始图像对应的至少一个输出图像。
9.第一模块可以使用多个第一卷积层来生成多个插值图像。
10.多个第一卷积层中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。
11.第二模块可以使用多个第二卷积层来生成多个细化图像，并学习多个第二卷积层中的每一个所包含的权重。
12.第三模块可以使用多个第三卷积层来生成输出图像，并学习多个第三卷积层中的每一个所包含的权重。
13.根据本公开的实施方式，一种图像感测装置可以包括：第一模块，其适用于接收原始图像并基于原始图像以及第一卷积层、第二卷积层和第三卷积层生成多个插值图像，多
个插值图像包括与第一颜色通道和第一卷积层相关联的第一子集的插值图像、与第二颜色通道和第二卷积层相关联的第二子集的插值图像、与第三颜色通道和第三卷积层相关联的第三子集的插值图像；第二模块，其适用于基于多个插值图像以及第四卷积层、第五卷积层和第六卷积层生成多个细化图像，多个细化图像包括与第一颜色通道和第四卷积层相关联的第一子集的细化图像、与第二颜色通道和第五卷积层相关联的第二子集的细化图像、与第三颜色通道和第六卷积层相关联的第三子集的细化图像；以及第三模块，其适用于校正多个细化图像以生成输出图像。
14.根据本公开的实施方式，一种图像感测装置可以包括：图像传感器，其包括具有预定滤色器图案的像素阵列，并且适用于生成原始图像；图像处理器，其适用于基于原始图像生成输出图像，并在基于原始图像生成输出图像时支持使用多个卷积层的端到端学习网络。
15.学习网络可以被设计为在对原始图像进行插值时保持在预定滤色器图案中的对齐。
附图说明
16.图1是例示了根据本公开的实施方式的图像感测装置的框图。
17.图2是例示了图1中所示的图像传感器的框图。
18.图3是例示了图2中所示的像素阵列的示例的图。
19.图4是例示了图1中所示的图像处理器的框图。
20.图5是例示了图4中所示的第一模块的示例的框图。
21.图6是例示了图4中所示的第一模块的另一示例的框图。
22.图7是例示了图4中所示的第二模块的框图。
23.图8至图13是例示了根据本公开的实施方式的图1中所示的图像感测装置的操作的图。
具体实施方式
24.下面参照附图描述本公开的各种实施方式，以便详细地描述本公开，使得本公开所属领域的普通技术人员可以容易地实施本公开的技术精神。
25.将理解，在整个说明书中，当元件被称为“连接至”或“联接至”另一元件时，该元件可以直接连接到或联接至另一元件，或者按照在其间插置一个或更多个元件的方式电连接至或联接至另一元件。此外，还应理解，本说明书中使用的术语“包括”、“包含”及其衍生词不排除一个或更多个其它元件的存在，而是可以进一步包括或具有一个或更多个其它元件，除非另有说明。在整个说明书的描述中，一些组件被描述为单数形式，但本公开不限于此，并且将理解的是，这些组件可以形成为复数个。
26.图1是例示了根据本公开的实施方式的图像感测装置10的框图。
27.参照图1，图像感测装置10可以包括图像传感器100和图像处理器200。
28.图像传感器100可以根据入射光生成原始图像img。
29.图像处理器200可以基于原始图像img生成输出图像dimg。当基于原始图像img生成输出图像dimg时，图像处理器200可以支持使用多个卷积层的端到端学习网络。图像处理
器200可以通过经由端到端学习网络改善原始图像img中所包括的伪影和/或在处理原始图像img时生成的伪影，来生成具有提高的清晰度的输出图像dimg。
30.图2是例示了图1中所示的图像传感器100的框图。
31.参照图2，图像传感器100可以包括像素阵列110和信号转换器120。
32.像素阵列110可以包括在行方向和列方向上布置的多个像素(参见图3)。像素阵列110可以针对每行生成模拟类型的图像值vpx。例如，像素阵列110可以在第一行时间期间从布置在第一行的像素生成图像值vpx，并且在第n行时间期间从布置在第n行的像素生成图像值vpx，其中“n”是大于2的整数。
33.信号转换器120可以将模拟类型的图像值vpx转换成数字类型的图像值dpx。原始图像img可以包括图像值dpx。例如，信号转换器120可以包括模数转换器。
34.图3是例示了图2中所示的像素阵列110的示例的图。
35.参照图3，像素阵列110可以以设定的滤色器图案来布置。例如，设定的滤色器图案可以是拜耳(bayer)图案。拜耳图案可以由各自具有2
×
2像素的重复单元组成。在每个单元中，各自具有绿滤色器的两个像素g和g(以下称为“绿色”)可以设置为在其角部处彼此对角地面对，并且具有蓝滤色器的像素b(以下称为“蓝色”)和具有红滤色器的像素r(以下称为“红色”)可以设置在每个单元的其它角部处。四个像素g、r、b和g不一定限于图3所示的布置结构，而是可以基于上述拜耳图案以各种方式布置。
36.虽然以像素阵列110具有拜耳图案为例描述了本实施方式，但本公开不限于此，而是可以具有各种图案，诸如四边形图案。
37.图4是例示了图1中所示的图像处理器200的框图。
38.参照图4，图像处理器200可以包括第一模块210、第二模块220和第三模块230。
39.第一模块210可以基于原始图像img生成针对每个颜色通道分离的多个插值图像iimg。例如，多个插值图像iimg可以包括根据绿通道的第一插值图像iimg1、根据红通道的第二插值图像iimg2和根据蓝通道的第三插值图像iimg3。第一模块210在生成多个插值图像iimg时可以使用多个第一卷积层。例如，第一模块210可以基于原始图像img和第一卷积层cl1生成第一插值图像iimg1，基于原始图像img和第二卷积层cl2生成第二插值图像iimg2，并且基于原始图像img和第三卷积层cl3生成第三插值图像iimg3。第一模块210可以在保持拜耳图案中的对齐的同时针对每个颜色通道对原始图像img进行插值并生成多个插值图像iimg(参见图8至图10)。
40.第二模块220可以基于多个插值图像iimg和第一学习算法，生成针对每个颜色通道分离的多个细化图像rimg。例如，多个细化图像rimg可以包括根据绿通道的第一细化图像rimg1、根据红通道的第二细化图像rimg2和根据蓝通道的第三细化图像rimg3。第二模块220在生成多个细化图像rimg时可以使用多个第二卷积层。例如，第二模块220可以基于第一插值图像iimg1至第三插值图像iimg3以及第四卷积层cl4生成第一细化图像rimg1。此外，第二模块220可以基于第一插值图像iimg1至第三插值图像iimg3以及第五卷积层cl5生成第二细化图像rimg2。此外，第二模块220可以基于第一插值图像iimg1至第三插值图像iimg3以及第六卷积层cl6生成第三细化图像rimg3。第二模块220可以基于第一学习算法学习多个第二卷积层中的每一个中所包括的权重。
41.第三模块230可以基于多个细化图像rimg和第二学习算法生成至少一个输出图像
dimg。第三模块230可以学习并校正多个细化图像rimg中的缺陷、噪声等，并生成具有优良质量的输出图像dimg。由于第三模块230可以使用公知的深度学习网络作为第二学习算法，因此下面将省略对第三模块230的详细描述。作为参考，公知的深度学习网络可以根据所需目的扩展到各个领域，并且使用例如jpeg、bmp等的普通图像作为输入图像，而不是本公开的例如细化图像的图像。
42.图5是例示了图4中所示的第一模块210的示例的框图。通过示例，将描述生成第一插值图像iimg1至第三插值图像iimg3的第一模块210。
43.参照图5，第一模块210可以包括第一储存模块211、第一插值模块213、第二插值模块215和第三插值模块217。
44.第一储存模块211可以存储第一卷积层cl1、第二卷积层cl2和第三卷积层cl3。例如，第一卷积层cl1可以包括与像素阵列110的滤色器图案对应的第一卷积核ck11、第二卷积核ck12、第三卷积核ck13和第四卷积核ck14(参见图8)。第一卷积核ck11至第四卷积核ck14中的每一个可以包括用于对绿通道进行插值的权重。所有的权重可以各自具有固定值。第二卷积层cl2可以包括与像素阵列110的滤色器图案相对应的第一卷积核ck21、第二卷积核ck22、第三卷积核ck23和第四卷积核ck24(参见图9)。例如，第一卷积核ck21至第四卷积核ck24中的每一个可以包括用于对红通道进行插值的权重。所有的权重可以各自具有固定值。第三卷积层cl3可以包括与像素阵列110的滤色器图案相对应的第一卷积核ck31、第二卷积核ck32、第三卷积核ck33和第四卷积核ck34(参见图10)。例如，第一卷积核ck31至第四卷积核ck34中的每一个可以包括用于对蓝通道进行插值的权重。所有的权重可以各自具有固定值。
45.第一插值模块213可以基于原始图像img和第一卷积层cl1中所包含的权重，生成绿通道的第一插值图像iimg1。
46.第二插值模块215可以基于原始图像img和第二卷积层cl2中包含的权重，生成红通道的第二插值图像iimg2。
47.第三插值模块217可以基于原始图像img和第三卷积层cl3中包含的权重，生成蓝通道的第三插值图像iimg3。
48.图6是例示了图4中所示的第一模块210的另一示例的框图。通过示例，将描述生成第一插值图像iimg1至第三插值图像iimg3的第一模块210。
49.参照图6，第一模块210可以包括计算模块219、第一储存模块211、第一插值模块213、第二插值模块215和第三插值模块217。
50.计算模块219可以基于原始图像img计算第一卷积层cl1至第三卷积层cl3中的每一个中所包含的权重当中的可变值vv。
51.第一储存模块211可以存储第一卷积层cl1、第二卷积层cl2和第三卷积层cl3。例如，第一卷积层cl1可以包括与像素阵列110的滤色器图案相对应的第一卷积核ck11至第四卷积核ck14(参见图8)。第一卷积核ck11至第四卷积核ck14中的每一个可以包括用于对绿通道进行插值的权重。权重可以具有固定值和可变值。可变值可以是可变值vv中的一些。第二卷积层cl2可以包括与像素阵列110的滤色器图案相对应的第一卷积核ck21至第四卷积核ck24(参见图9)。例如，第一卷积核ck21至第四卷积核ck24中的每一个可以包括用于对红通道进行插值的权重。权重可以具有固定值和可变值。可变值可以是可变值vv中的其它可
变值。第三卷积层cl3可以包括与像素阵列110的滤色器图案相对应的第一卷积核ck31至第四卷积核ck34(参见图10)。例如，第一卷积核ck31至第四卷积核ck34中的每一个可以包括用于对蓝通道进行插值的权重。权重可以具有固定值和可变值。可变值可以是可变值vv中的其它可变值。
52.第一插值模块213可以基于原始图像img和第一卷积层cl1中所包含的权重，生成绿通道的第一插值图像iimg1。
53.第二插值模块215可以基于原始图像img和第二卷积层cl2中所包含的权重，生成红通道的第二插值图像iimg2。
54.第三插值模块217可以基于原始图像img和第三卷积层cl3中所包含的权重，生成蓝通道的第三插值图像iimg3。
55.图7是例示了图4中所示的第二模块220的框图。通过示例，将描述生成第一细化图像rimg1至第三细化图像rimg3的第二模块220。
56.参照图7，第二模块220可以包括第二储存模块221、第一学习模块223、第二学习模块225和第三学习模块227。
57.第二储存模块221可以存储第四卷积层cl4、第五卷积层cl5和第六卷积层cl6。例如，第四卷积层cl4可以包括第一卷积核ck41、第二卷积核ck42和第三卷积核ck43，第一卷积核ck41至第三卷积核ck43分别与第一插值图像iimg1至第三插值图像iimg3卷积，以生成绿通道的第一细化图像rimg1(参见图11)。第一卷积核ck41至第三卷积核ck43中的每一个可以包括权重。权重可以是可变值。第五卷积层cl5可以包括第一卷积核ck51、第二卷积核ck52和第三卷积核ck53，第一卷积核ck51至第三卷积核ck53分别与第一插值图像iimg1至第三插值图像iimg3卷积，以生成红通道的第二细化图像rimg2(参见图12)。第一卷积核ck51至第三卷积核ck53中的每一个可以包括权重。权重可以是可变值。第六卷积层cl6可以包括第一卷积核ck61、第二卷积核ck62和第三卷积核ck63，第一卷积核ck61至第三卷积核ck63分别与第一插值图像iimg1至第三插值图像iimg3卷积，以生成蓝通道的第三细化图像rimg3(参见图13)。第一卷积核ck61至第三卷积核ck63中的每一个可以包括权重。权重可以是可变值。
58.第一学习模块223可以基于第四卷积层cl4和第一插值图像iimg1至第三插值图像iimg3生成第一细化图像rimg1。第一学习模块223可以在生成第一细化图像rimg1时通过学习来改变或更新第四卷积层cl4中所包含的权重。第一学习模块223可以在生成第一细化图像rimg1时重复卷积运算至少一次。当第一学习模块223重复卷积运算“n”次时，可能需要多于“n”个第四卷积层cl4。
59.第二学习模块225可以基于第五卷积层cl5和第一插值图像iimg1至第三插值图像iimg3生成第二细化图像rimg2。第二学习模块225可以在生成第二细化图像rimg2时通过学习来改变或更新第五卷积层cl5中所包含的权重。第二学习模块225可以在生成第二细化图像rimg2时重复卷积运算至少一次。当第二学习模块225重复卷积运算“n”次时，可能需要多于“n”个第五卷积层cl5。
60.第三学习模块227可以基于第六卷积层cl6和第一插值图像iimg1至第三插值图像iimg3生成第三细化图像rimg3。第三学习模块227可以在生成第三细化图像rimg3时通过学习来改变或更新第六卷积层cl6中所包含的权重。第三学习模块227可以在生成第三细化图
像rimg3时重复卷积运算至少一次。当第三学习模块227重复卷积运算“n”次时，可能需要多于“n”个第六卷积层cl6。
61.在下文中，描述根据本公开的实施方式的具有上述配置的图像感测装置10的操作。
62.当图像传感器100根据入射光生成原始图像img时，图像处理器200可以通过经由端到端学习网络改善原始图像img中包含的伪影和/或在处理原始图像img时生成的伪影，来生成具有提高的清晰度的输出图像dimg。
63.图8至图10是例示了图像处理器200中包括的第一模块210的操作的图。
64.参照图8，第一模块210可以基于原始图像img和第一卷积层cl1生成第一插值图像iimg1。第一模块210可以根据原始图像img中所包括的图像值的位置，选择性地使用第一卷积核ck11至第四卷积核ck14。例如，第一模块210可以在对与拜耳图案相对应的图像值当中的奇数行和奇数列交叉的位置处的图像值1进行插值时使用第一卷积核ck11。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的奇数行和偶数列交叉的位置处的图像值2进行插值时使用第二卷积核ck12。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的偶数行和奇数列交叉的位置处的图像值3进行插值时使用第三卷积核ck13。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的偶数行和偶数列交叉的位置处的图像值4进行插值时使用第四卷积核ck14。换言之，第一模块210可以在保持拜耳图案的绿色对齐的同时根据绿通道对原始图像img进行插值并生成第一插值图像iimg1。
65.在实施方式中，第一卷积核ck11至第四卷积核ck14中的每一个可以包括各自具有固定值的权重。例如，在第一卷积核ck11中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第二卷积核ck12中，由于在奇数行和偶数列的交叉处的图像值2对应于红色，因此应用于图像值2的权重可以为“0”，应用于与绿色相对应的周边图像值的权重可以为“1/4”，并且应用于与蓝色相对应的周边图像值的权重可以为“0”。在第三卷积核ck13中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“0”，应用于与绿色相对应的周边图像值的权重可以为“1/4”，并且应用于与红色相对应的周边图像值的权重可以为“0”。在第四卷积核ck14中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“1”，应用于周边图像值的权重可以为“0”。
66.在实施方式中，第一卷积核ck11至第四卷积核ck14中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。例如，在第一卷积核ck11中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第二卷积核ck12中，由于在奇数行和偶数列的交叉处的图像值2对应于红色，因此应用于图像值2的权重可以为“rgain/9”，应用于与绿色相对应的周边图像值的权重可以为“1/9”，并且应用于与蓝色相对应的周边图像值的权重可以为“bgain/9”。“rgain”根据下式1计算，并且“bgain”根据下式2计算。
67.[式1]
[0068]
rgain＝tgv/trv
[0069]
在此，“tgv”表示原始图像img中包含的图像值当中的与绿色相对应的全部图像值的平均值，并且“trv”表示原始图像img中包含的图像值当中的与红色相对应的全部图像值
的平均值。
[0070]
[式2]
[0071]
bgain＝tgv/tbv
[0072]
这里，“tbv”表示原始图像img中包含的图像值当中的与蓝色相对应的全部图像值的平均值。
[0073]
接下来，在第三卷积核ck13中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“bgain/9”，应用于与绿色相对应的周边图像值的权重可以为“1/9”，应用于与红色相对应的周边图像值的权重可以为“rgain/9”。“rgain”根据上式1计算，而“bgain”根据上式2计算。在第四卷积核ck14中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。
[0074]
参照图9，第一模块210可以基于原始图像img和第二卷积层cl2生成第二插值图像iimg2。第一模块210可以根据原始图像img中所包含的图像值的位置，选择性地使用第一卷积核ck21至第四卷积核ck24。例如，第一模块210可以在对与拜耳图案相对应的图像值当中的在奇数行和奇数列交叉的位置处的图像值1进行插值时使用第一卷积核ck21。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的在奇数行和偶数列交叉的位置处的图像值2进行插值时使用第二卷积核ck22。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的在偶数行和奇数列交叉的位置处的图像值3进行插值时使用第三卷积核ck23。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的在偶数行和偶数列交叉的位置处的图像值4进行插值时使用第四卷积核ck24。也就是说，第一模块210可以在保持拜耳图案的红色对齐的同时根据红通道对原始图像img进行插值并生成第二插值图像iimg2。
[0075]
在实施方式中，第一卷积核ck21至第四卷积核ck24中的每一个可以包括各自具有固定值的权重。例如，在第一卷积核ck21中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“0”，应用于与红色相对应的周边图像值的权重可以为“1/2”，并且应用于与蓝色和绿色相对应的周边图像值的权重可以为“0”。在第二卷积核ck22中，由于在奇数行和偶数列的交叉处的图像值2对应于红色，因此应用于图像值2的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第三卷积核ck23中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“0”，应用于与红色相对应的周边图像值的权重可以为“1/4”，并且应用于与绿色相对应的周边图像值的权重可以为“0”。在第四卷积核ck24中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“0”，应用于与红色相对应的周边图像值的权重可以为“1/2”，并且应用于与蓝色和绿色相对应的周边图像值的权重可以为“0”。
[0076]
在实施方式中，第一卷积核ck21至第四卷积核ck24中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。例如，在第一卷积核ck21中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“1/(9*rgain)”，应用于与红色相对应的周边图像值的权重可以是“1/9”，应用于与蓝色相对应的周边图像值的权重可以为“bgain/(9*rgain)”并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*rgain)”。在第二卷积核ck22中，由于在奇数行和偶数列的交叉处的图像值
2对应于红色，因此应用于图像值2的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第三卷积核ck23中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“bgain/(9*rgain)”，应用于与红色相对应的周边图像值的权重可以为“1/9”，并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*rgain)”。在第四卷积核ck24中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“1/(9*rgain)”，应用于与红色相对应的周边图像值的权重可以为“1/9”，应用于与蓝色相对应的周边图像值的权重可以为“bgain/(9*rgain)”，并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*rgain)”。“rgain”根据上式1计算，并且“bgain”根据上式2计算。
[0077]
参照图10，第一模块210可以基于原始图像img和第三卷积层cl3生成第三插值图像iimg3。第一模块210可以根据原始图像img中所包含的图像值的位置，选择性地使用第一卷积核ck31至第四卷积核ck34。例如，第一模块210可以在对与拜耳图案相对应的图像值当中的在奇数行和奇数列交叉的位置处的图像值1进行插值时使用第一卷积核ck31。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的奇数行和偶数列交叉的位置处的图像值2进行插值时使用第二卷积核ck32。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的在偶数行和奇数列交叉的位置处的图像值3进行插值时使用第三卷积核ck33。此外，第一模块210可以在对与拜耳图案相对应的图像值当中的在偶数行和偶数列交叉的位置处的图像值4进行插值时使用第四卷积核ck34。也就是说，第一模块210可以在保持拜耳图案的蓝色对齐的同时根据蓝通道对原始图像img进行插值并生成第三插值图像iimg3。
[0078]
在实施方式中，第一卷积核ck31至第四卷积核ck34中的每一个可以包括各自具有固定值的权重。例如，在第一卷积核ck31中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“0”，应用于与蓝色相对应的周边图像值的权重可以为“1/2”，并且应用于与红色和绿色相对应的周边图像值的权重可以为“0”。在第二卷积核ck32中，由于在奇数行和偶数列的交叉处的图像值2对应于红色，因此应用于图像值2的权重可以为“0”，应用于与蓝色相对应的周边图像值的权重可以为“1/4”，并且应用于与绿色相对应的周边图像值的权重可以为“0”。在第三卷积核ck33中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第四卷积核ck34中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“0”，应用于与蓝色相对应的周边图像值的权重可以为“1/2”，并且应用于与红色和绿色相对应的周边图像值的权重可以为“0”。
[0079]
在实施方式中，第一卷积核ck31至第四卷积核ck34中的每一个可以包括各自具有固定值的权重或者其中混合了固定值和可变值的权重。例如，在第一卷积核ck31中，由于在奇数行和奇数列的交叉处的图像值1对应于绿色，因此应用于图像值1的权重可以为“1/(9*bgain)”，应用于与蓝色相对应的周边图像值的权重可以为“1/9”，应用于与红色相对应的周边图像值的权重可以为“rgain/(9*bgain)”并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*bgain)”。在第二卷积核ck32中，由于在奇数行和偶数列的交叉处的图像值2对应于红色，因此应用于图像值2的权重可以为“rgain/(9*bgain)”，应用于与蓝色相对应的周边图像值的权重可以为“1/9”，并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*bgain)”。在第三卷积核ck33中，由于在偶数行和奇数列的交叉处的图像值3对应于蓝色，因此应用于图像值3的权重可以为“1”，并且应用于周边图像值的权重可以为“0”。在第四卷积核ck34中，由于在偶数行和偶数列的交叉处的图像值4对应于绿色，因此应用于图像值4的权重可以为“1/(9*bgain)”，应用于与蓝色相对应的周边图像值的权重可以为“1/9”，应用于与红色相对应的周边图像值的权重可以为“rgain/(9*bgain)”，并且应用于与绿色相对应的周边图像值的权重可以为“1/(9*bgain)”。“rgain”根据上式1计算，并且“bgain”根据上式2计算。
[0080]
图11至图13是例示了根据本公开的实施方式的图像处理器200中所包括的第二模块220的操作的图。
[0081]
参照图11，第二模块220可以通过使第一插值图像iimg1至第三插值图像iimg3与第四卷积层cl4卷积来生成第一细化图像rimg1。第四卷积层cl4可以包括为每个颜色通道分配的第一卷积核ck41至第三卷积核ck43。第一卷积核ck41至第三卷积核ck43中的每一个可以包括权重。例如，第一卷积核ck41可以包括第一权重w41_1至第九权重w41_9，第二卷积核ck42可以包括第一权重w42_1至第九权重w42_9，并且第三卷积核ck43可以包括第一权重w43_1至第九权重w43_9。当代表性地描述第一细化图像rimg1中包含的图像值当中的目标图像值t1时，可以基于下式3来计算目标图像值t1。
[0082]
[式3]
[0083][0084]
当生成第一细化图像rimg1时，第二模块220可以通过第一学习算法来学习并改变或更新第四卷积层cl4中包含的权重。
[0085]
例如，第一学习算法可以在第一细化图像rimg1和第一期望图像之间的差减小的方向上改变第四卷积层cl4中包含的权重。当第一学习算法通过使用第一细化图像rimg1和第一期望图像之间的差来计算梯度，将梯度反向传播到第四卷积层cl4，并更新第四卷积层cl4中包含的权重时，可以从原始图像img获得所需形状的第一细化图像rimg1。
[0086]
参照图12，第二模块220可以通过使第一插值图像iimg1至第三插值图像iimg3与第五卷积层cl5卷积来生成第二细化图像rimg2。第五卷积层cl5可以包括为每个颜色通道分配的第一卷积核ck51至第三卷积核ck53。第一卷积核ck51至第三卷积核ck53中的每一个可以包括权重。例如，第一卷积核ck51可以包括第一权重w51_1至第九权重w51_9，第二卷积核ck52可以包括第一权重w52_1至第九权重w52_9，并且第三卷积核ck53可以包括第一权重w53_1至第九权重w53_9。当代表性地描述第二细化图像rimg2中包含的图像值当中的目标图像值t2时，可以基于下式4来计算目标图像值t2。
[0087]
[式4]
[0088][0089]
当生成第二细化图像rimg2时，第二模块220可以通过第一学习算法学习并改变或更新第五卷积层cl5中包含的权重。
[0090]
例如，第一学习算法可以在第二细化图像rimg2和第二期望图像之间的差减小的方向上改变第五卷积层cl5中包含的权重。当第一学习算法通过使用第二细化图像rimg2和
第二期望图像之间的差来计算梯度，将梯度反向传播到第五卷积层cl5，并更新第五卷积层cl5中包含的权重时，可以从原始图像img获得所需形状的第二细化图像rimg2。
[0091]
参照图13，第二模块220可以通过使第一插值图像iimg1至第三插值图像iimg3与第六卷积层cl6卷积，来生成第三细化图像rimg3。第六卷积层cl6可以包括为每个颜色通道分配的第一卷积核ck61至第三卷积核ck63。第一卷积核ck61至第三卷积核ck63中的每一个可以包括权重。例如，第一卷积核ck61可以包括第一权重w61_1至第九权重w61_9，第二卷积核ck62可以包括第一权重w62_1至第九权重w62_9，并且第三卷积核ck63可以包括第一权重w63_1至第九权重w63_9。当代表性地描述第三细化图像rimg3中包含的图像值当中的目标图像值t3时，可以基于下式5计算目标图像值t3。
[0092]
[式5]
[0093][0094]
当生成第三细化图像rimg3时，第二模块220可以通过第一学习算法学习并改变或更新第六卷积层cl6中包含的权重。
[0095]
例如，第一学习算法可以在第三细化图像rimg3和第三期望图像之间的差减小的方向上改变第六卷积层cl6中包含的权重。当第一学习算法通过使用第三细化图像rimg3和第三期望图像之间的差来计算梯度，将梯度反向传播到第六卷积层cl6，并更新第六卷积层cl6中包含的权重时，可以从原始图像img获得所需形状的第三细化图像rimg3。
[0096]
第三模块230可以通过第二学习算法生成与第一细化图像rimg1至第三细化图像rimg3相对应的输出图像dimg。例如，第三模块230可以使用至少一个卷积层。
[0097]
根据本公开的前述实施方式，当第一模块至第三模块基于它们各自的卷积层或卷积核进行操作，以从原始图像生成输出图像时，可以实现端到端学习网络。当第一模块至第三模块不基于各自的卷积层进行操作时，可能难以实现反向传播，从而可能无法实现端到端学习网络。
[0098]
根据本公开的实施方式，当从原始图像生成输出图像时，可以实现端到端学习，从而提高图像感测装置的性能。
[0099]
另外，根据本公开的实施方式，端到端学习网络可以容易地与常规开发的深度学习网络兼容，从而用于各种应用中。
[0100]
虽然已经参照各种实施方式例示并描述了本公开，但是所公开的实施方式是为了描述而提供的，而非旨在限制。此外，应当注意，如本领域技术人员根据本公开将认识到的，可以通过落入所附权利要求范围内的替换、改变和修改以各种方式来实现本公开。
[0101]
相关申请的交叉引用
[0102]
本技术要求于2020年12月10日提交的韩国专利申请no.10-2020-0172539的优先权，其公开内容通过引用整体并入本文。