专业的句容网站建设,广告营销案例100例,门户网站时代,sns营销Multi-level Wavelet-CNN for Image Restoration#xff1a;MWCNN摘要一. 介绍二.相关工作三.方法摘要
存在的问题#xff1a;
在低级视觉任务中#xff0c;对于感受野尺寸与效率之间的平衡是一个关键的问题#xff1b;普通卷积网络通常以牺牲计算成本去扩大感受野#…
Multi-level Wavelet-CNN for Image RestorationMWCNN摘要一. 介绍二.相关工作三.方法摘要
存在的问题
在低级视觉任务中对于感受野尺寸与效率之间的平衡是一个关键的问题普通卷积网络通常以牺牲计算成本去扩大感受野
解决办法
使用膨胀卷积代理普通卷积方式以此扩大感受野此方式缺点其使用棋盘模式对输入图像进行稀疏采样导致处理结果会存在网格效应
本文提出的方法MWCNN
在改进的U-Net架构之上引入小波变换去减少压缩子网络中的特征尺寸使用一个单独的卷积层去减少特征的通道数目在扩大子网络中使用小波逆变换重构高分辨率特征
效果
可应用于许多图像恢复任务比如去噪、单一图像超分辨任务等可将MWCNN视为膨胀滤波和子采样的泛化形式
原文链接《Multi-level Wavelet-CNN for Image Restoration》
一. 介绍
图像恢复
目的是从质量退化的图像y中恢复出干净图像x传统方法有基于先验建模和鉴别学习的近些年卷积神经网络CNNs广泛应用于许多具有代表性的图像恢复任务并展现出了优越的性能
为什么CNN在图像恢复领域比较受欢迎
基于CNN的方法在一些图像恢复任务上的表现比传统方法好且有很大的超越研究表明可将现有的基于CNN的去噪器插入基于模型的优化方法以此解决更复杂的图像恢复任务
基于CNN进行研究 感受野越大对于图像的空间上下文则考虑的越多因此更大的感受野有助于提升网络性能 由于输入图像和输出图像通常需保持一样的尺寸所以一个经典方案是使用移除池化层的全卷积网络FCN FCN可通过加深网络或者使用尺寸更大的卷积核以此扩大模型感受野但显而易见的是这种方式会带来更大的计算成本消耗 使用膨胀卷积代理普通卷积方式以此扩大感受野此方式缺点其使用棋盘模式对输入图像进行稀疏采样导致处理结果会存在网格效应 通常随着感受野的扩大网络模型的性能也会随之提升但可看出这种推论也可能存在特殊情况FSRCNN。所以在进行感受野增大时需要考虑如何避免增加计算成本以及性能提升的潜在牺牲。
Multi-level Wavelet-CNN for Image RestorationMWCNN
目的扩大感受野对网络性能和效率之间做一个更好的平衡采用改进的U-NetU-Net中包含一个压缩子网络、一个扩大子网络MWCNN采用小波变化替换压缩子网络中的池化操作DWT可逆故可保证在下采样过程中保留所有信息DWT可捕捉特征的所有频率信息和位置信息故有助于保存细节纹理信息在扩大子网络中使用小波逆变换对低分辨率特征进行上采样 重构高分辨率特征为了丰富特征表示以及减少计算成本在连接同层压缩-扩大子网络的特征图时使用元素级加法可将MWCNN视为膨胀滤波和子采样的泛化形式MWCNN在扩大感受野方面更有效
本文贡献
提出MWCNN用于扩大感受野对网络性能和网络效率做了更好的均衡由于DWT良好的空间-频域定位能力该网络可以保存更好的纹理细节信息MWCNN在许多图像恢复任务上展现出良好的性能
二.相关工作
之前的研究比如WaveResNet、DWSR表明将DWT应用于CNN有利于CNN学习之前的工作通常只考虑一级小波变换而忽略了子带之间的依赖影响本文提出的MWCNN考虑了多级小波变换再扩大感受野的同时保证无信息损失MWCNN可以将DWT嵌入到任何具有池化的CNN中更有效地对空间上下文和子带之间的依赖进行建模。
三.方法
WPT VS MWCNN MWCNN受多级小波变换WPT的启发引入CNN搭建 WPT采用二级小波变换MWCNN在WPT基础上引入CNN块 在每级小波变换后引入CNN块将其分解的子带作为CNN块的输入进而将CNN块的输出作为下一级小波变换的输入 MWCNN可视为WPT的通用模式当CNN块变为一致性映射时MWCNN则退化为WPT了 骨干网络采用改进的U-Net 分解阶段使用DWT进行下采样实现池化的功能 重构阶段使用IWT卷积实现重构操作 网络结构
CNN块为无池化的4层FCN每次完整的卷积过程包括卷积核为3*3的卷积层、BatchNormalization层以及ReLU层需要注意的是扩张子网络中最后一个卷积块的最后一个卷积过程只有卷积操作丢弃了BatchNormalization层以及ReLU层整个网络共涉及24个网络层图中可看到最终MWCNN借助三级小波变换/逆变换实现下采样、上采样操作MWCNN默认采用哈尔小波进行小波变换/逆变换 MWCNN对U-Net做的改进
U-Net中的下采样、上采样操作分别被DWT和IWT代替MWCNN中除了第一个卷积块对特征图通道进行了增加其他的卷积块都是减少特征图通道以此学习压缩表示采用元素级加法连接同层的压缩子网与扩张子网的特征图
损失函数 其中xi为真实干净图像标签yi为退化图像网络输入F(yi,θ)为网络输出θ为网络参数。 这里我不知道他右下角这个F表示F范数还是啥意思
DWT为啥可以实现下采样实现池化 以2维哈尔小波为例有四个滤波核分别为 以fLL为例类似卷积操作对应位置求和一个大小为4*4的特征即可变为2*2实现下采样IWT反向操作实现上采样将低分辨率图像重构为高分辨率图像。
DWT为啥可以近似膨胀滤波扩大感受野 原文中这么描述二者的关系我举个例子 3*3卷积核在膨胀率为2的膨胀卷积中可看做一个5*5的卷积核所以在进行隔点采样如果原始特征大小为5*5则膨胀卷积结果为1*1 而使用DWT先对5*5特征进行滤波会得到3*3特征再对其进行3*3卷积即可得到1*1结果 上图中的公式可按照下图的例子进行理解区别在于作者对于特征图的下标从1开始计算我这里是从0开始x1为对x进行fLL滤波后的结果其中一个像素点对应原图中的4领域像素。
