从化市网站建设,平台设计图片欣赏,深圳网站建设-中国互联,龙华网站制作前言
图像拼接在实际的应用场景很广#xff0c;比如无人机航拍#xff0c;遥感图像等等#xff0c;图像拼接是进一步做图像理解基础步骤#xff0c;拼接效果的好坏直接影响接下来的工作#xff0c;所以一个好的图像拼接算法非常重要。
再举一个身边的例子吧#xff0c;…前言
图像拼接在实际的应用场景很广比如无人机航拍遥感图像等等图像拼接是进一步做图像理解基础步骤拼接效果的好坏直接影响接下来的工作所以一个好的图像拼接算法非常重要。
再举一个身边的例子吧你用你的手机对某一场景拍照但是你没有办法一次将所有你要拍的景物全部拍下来所以你对该场景从左往右依次拍了好几张图来把你要拍的所有景物记录下来。那么我们能不能把这些图像拼接成一个大图呢
这是一个较为新颖的竞赛课题方向学长非常推荐 更多资料, 项目分享
https://gitee.com/dancheng-senior/postgraduate 一、拼接效果
依照惯例 废话不多说先上拼接效果
拼接左图
拼接右图 拼接效果
拼接前 拼接后
二、算法介绍
1.拼接算法简介
图像拼接技术就是将数张有重叠部分的图像可能是不同时间、不同视角或者不同传感器获得的拼成一幅无缝的全景图或高分辨率图像的技术。在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。
图像拼接目前有很多算法图像拼接的质量主要依赖于图像的配准程度因此通过不同的图像匹配方式将算法分为以下两种
1.1 基于区域相关拼接算法
该算法比较传统和普遍从待拼接图像的灰度值出发对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异1.通过累加各点灰度的差值2.计算两块区域的对应像素点灰度值的相关系数相关系数越大则两块图像的匹配程度越高3.两者中计算相关系数的效果更好。对此差异比较后来判断待拼接图像重叠区域的相似程度由此得到待拼接图像重叠区域的范围和位置从而实现图像拼接。 也可以通过FFT 变换将图像由时域变换到频域然后再进行配准。对位移量比较大的图像可以先校正图像的旋转然后建立两幅图像之间的映射关系。
1.2 基于特征相关拼接算法
于特征的配准方法不是直接利用图像的像素值而是通过像素导出图像的特征然后以图像特征为标准对图像重叠部分的对应特征区域进行搜索匹配该类拼接算法有比较高的健壮性和鲁棒性。
在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。
1.3 拼接算法的基本流程
根据给定图像/集实现特征匹配通过匹配特征计算图像之间的变换结构利用图像变换结构实现图像映射针对叠加后的图像采用APAP之类的算法 对齐特征点通过图割方法自动选取拼接缝根据multi-band bleing策略实现融合
2. 拼接算法原理
2.1 第一种特征匹配
特征是要匹配的两个输入图像中的元素为了给图像提供更好的特征匹配采用角点匹配进行定量测量。在视点变化时角点特征是稳定的。角点检测算法有Harris角点检测算法、SIFT特征点检测算法、FAST角点检测算法、SURF特征点检测算法。 本次实验使用的Opencv stitch源码中默认第一选择是SURF特征点检测第二是ORB特征点检测。 SURFSpeeded Up Robust Features改进了特征的提取和描述方式用一种更为高效的方式完成特征的提取和描述。它是SIFT的高效变种也是提取尺度不变特征算法步骤与SIFT算法大致相同但采用的方法不一样SURF算法要比SIFT算法更高效。
2. 2 第二种计算图像之间的变换结构
2.1.SURF使用Hessian矩阵来检测特征点该矩阵是x,y方向的二阶导数矩阵可测量一个函数的局部曲率其行列式值代表像素点周围的变化量特征点需取行列式值的极值点。2.2特征点定位通过特征点邻近信息插补来定位特征点。2.3方向定位通过计算特征点周围像素点x,y方向的哈尔小波变换并将x,y方向的变换值在xy平面某一角度区间内相加组成一个向量在所有的向量当中最长的(即x、y分量最大的)即为此特征点的方向。2.4特征描述子选定了特征点的方向后其周围相素点需要以此方向为基准来建立描述子。此时以5 ∗ 5 5 55∗5个像素点为一个子区域取特征点周围 20 ∗ 20 20 2020∗20个像素点的范围共16个子区域计算子区域内的x、y方向(此时以平行特征点方向为x、垂直特征点方向为y的哈尔小波转换总和Σdx、ΣdyΣdx、Σdy与其向量长度总和Σ|dx|、Σ|dy|Σ|dx|、Σ|dy|共四个量值共可产生一个64维的描2.5如果两个特征点的矩阵迹正负号相同代表这两个特征具有相同方向上的对比度变化如果不同说明这两个特征点的对比度变化方向是相反的即使欧氏距离为0也直接予以排除。2.6用方型滤波器取代SIFT中的高斯滤波器利用积分图计算位于滤波器方型的四个角落值大幅提高运算速度。
2. 3 第三种通过graph cut寻找拼接缝 上图中我们把两个Patch拼合到一起它们首先被放置为有一定重合区域。为了让两者之间的缝隙尽可能的不明显我们需要知道一个分割线cut)在这个分割线的左边图像像素由A贡献相反在其右边图像像素则由B贡献。 这里我们将输出的图像看做是由”图(Graph)“所表示并且给这个Graph两个端点一个是A一个是B 上图中标有数字的节点实际上是重合区域的像素节点之间的连接都是有代价的。我们需要拿起剪刀从某个连接上剪掉某些连接并且要使得被剪掉的连接的代价之和最小化这就是最典型的图算法中的最小割问题min cut它也对应着所谓的最大流问题(max flow)。 那么如何定义连接之间的代价呢这里假设在重合区域两个相邻的输出像素分别是s和t。我们知道输出的像素既可能来自于A也可能来自于B于是我们用A(s)B(s)来表示s点在A图和B图的颜色, 用A(t)B(t)来表示t点在A图和B图的颜色。 于是s点和t点的连接的代价被定义为 我们要做的就是寻找一个切割缝最小化M ( s , t , A , B ) M(s,t,A,B)M(s,t,A,B)当找到这条缝之后左边的像素从A中拷贝而来而右边的像素则从B中拷贝而来即可。 接下来就可以不断的拼合更多的Patch目标是用越来越多次的覆盖输出图片中的缝隙使得图像重合部分越来越多直到代价值收敛。
最后 更多资料, 项目分享
https://gitee.com/dancheng-senior/postgraduate
