步骤:
Canny边缘检测是一种非常流行的边缘检测算法,是John Canny在1986年提出的。它是一个多阶段的算法,即由多个步骤构成。
1.图像降噪
2.计算图像梯度
3.非极大值抑制
4.阈值筛选
opencv源码中,canny边缘检测的过程。
首先,图像降噪--进行边缘检测前,我们知道梯度算子可以用于增强图像,本质上是通过增强边缘轮廓来实现的,也就是说是可以检测到边缘的。但是,它们受噪声的影响都很大。那么,我们第一步就是想到要先去除噪声,因为噪声就是灰度变化很大的地方,所以容易被识别为伪边缘。
第二步,计算图像梯度,首先做一个横向soble算子,再做一次纵向soble算子,然后根据传入参数的不同,或直接绝对值相加,或平方后相加,再开方,得到可能边缘。计算图像梯度能够得到图像的边缘,因为梯度是灰度变化明显的地方,而边缘也是灰度变化明显的地方。当然这一步只能得到可能的边缘。因为灰度变化的地方可能是边缘,也可能不是边缘。这一步就有了所有可能是边缘的集合。在opencv源码中,运用了soble算子,一阶导数梯度算子,得到可以的边缘
第三步,非极大值抑制 + 滞后阈值处理。一、如果大于低阈值可能为边缘 二、若一定为边缘需要满足 ①当前值要大于低阈值。②当前值得soble梯度方向下,要大于两边soble梯度方向的点的值 ③ 若当前值还大于最大阈值,且图像上前一个和上一个点没有入栈,就加入栈中。置为2,其他的置为0;(0可能为边缘,1 一定不是边缘,2 一定为边缘。)
第四步,边缘跟踪。 在栈中的点一定为边缘,从栈不断中取出点,判断点的8个方向上,是否存在可能为边缘的点,若存在,就认定,这个可能为边缘的点置为一定为边缘,加入栈中。
对二、三步骤进行详解:
2、计算梯度幅度和方向
可选用的模板:soble算子、Prewitt算子、Roberts模板等等;
一般采用soble算子,OpenCV也是如此,利用soble水平和垂直算子与输入图像卷积计算dx、dy:
进一步可以得到图像梯度的幅值:
为了简化计算,幅值也可以作如下近似:
如下图表示了中心点的梯度向量、方位角以及边缘方向(任一点的边缘与梯度向量正交) :
3、根据角度对幅值进行非极大值抑制
划重点:是沿着梯度方向对幅值进行非极大值抑制,而非边缘方向,这里初学者容易弄混。
例如:3*3区域内,边缘可以划分为垂直、水平、45°、135°4个方向,同样,梯度反向也为四个方向(与边缘方向正交)。因此为了进行非极大值,将所有可能的方向量化为4个方向,如下图:
量化化情况可总结为:
- 水平边缘--梯度方向为垂直:
- 135°边缘--梯度方向为45°:
- 垂直边缘--梯度方向为水平:
- 45°边缘--梯度方向为135°:
非极大值抑制即为沿着上述4种类型的梯度方向,比较3*3邻域内对应邻域值的大小:
在每一点上,领域中心 x 与沿着其对应的梯度方向的两个像素相比,若中心像素为最大值,则保留,否则中心置0,这样可以抑制非极大值,保留局部梯度最大的点,以得到细化的边缘。
opencv 源码(我把名字改为了canny_1);
// Canny.cpp : 定义控制台应用程序的入口点。
//
#include "stdafx.h"
#include<opencv2/opencv.hpp>
#include<iostream>
#include<stdio.h>
#include<algorithm>
using namespace std;
using namespace cv;
void Canny_1(InputArray _src, OutputArray _dst, double low_thresh, double high_thresh, int aperture_size, bool L2gradient)
{
Mat src = _src.getMat(); //输入图像
CV_Assert(src.depth() == CV_8U); // 8位无符号
_dst.create(src.size(), CV_8U); //根据src的大小构造目标矩阵dst
Mat dst = _dst.getMat(); //输出图像,为单通道黑白图
// low_thresh 表示低阈值, high_thresh表示高阈值
// aperture_size 表示算子大小,默认为3
// L2gradient计算梯度幅值的标识,默认为false
// 如果L2gradient为false 并且 apeture_size的值为-1(-1的二进制标识为:1111 1111)
// L2gradient为false 则计算sobel导数时,用G = |Gx|+|Gy|
// L2gradient为true 则计算sobel导数时,用G = Math.sqrt((Gx)^2 + (Gy)^2) 根号下 开平方
if (!L2gradient && (aperture_size & CV_CANNY_L2_GRADIENT) == CV_CANNY_L2_GRADIENT) //aperture_size 为负数时
{
// CV_CANNY_L2_GRADIENT 宏定义其值为: Value = (1<<31) 1左移31位 即2147483648
//backward compatibility
// ~标识按位取反
aperture_size &= ~CV_CANNY_L2_GRADIENT; //相当于 aperture_size 取绝对值
L2gradient = true;
}
// 判别条件1:aperture_size是奇数
// 判别条件2: aperture_size的范围应当是[3,7], 默认值3
if ((aperture_size & 1) == 0 || (aperture_size != -1 && (aperture_size < 3 || aperture_size > 7)))
CV_Error(CV_StsBadFlag, ""); // 报错
if (low_thresh > high_thresh) // 如果低阈值 > 高阈值
std::swap(low_thresh, high_thresh); // 则交换低阈值和高阈值
#ifdef HAVE_TEGRA_OPTIMIZATION
if (tegra::canny(src, dst, low_thresh, high_thresh, aperture_size, L2gradient))
return;
#endif
#ifdef USE_IPP_CANNY
if (aperture_size == 3 && !L2gradient &&
ippCanny(src, dst, (float)low_thresh, (float)high_thresh))
return;
#endif
const int cn = src.channels(); // cn为输入图像的通道数
Mat dx(src.rows, src.cols, CV_16SC(cn)); // 存储 x方向 方向导数的矩阵,CV_16SC(cn):16位有符号cn通道
Mat dy(src.rows, src.cols, CV_16SC(cn)); // 存储 y方向 方向导数的矩阵 ......
/*Sobel参数说明:(参考cvSobel)
cvSobel(
const CvArr* src, // 输入图像
CvArr* dst, // 输入图像
int xorder, // x方向求导的阶数
int yorder, // y方向求导的阶数
int aperture_size = 3 // 滤波器的宽和高 必须是奇数
);
*/
//一. 计算横向、纵向sobel梯度
// BORDER_REPLICATE 表示当卷积点在图像的边界时,原始图像边缘的像素会被复制,并用复制的像素扩展原始图的尺寸
// 计算x方向的sobel方向导数,计算结果存在dx中
Sobel(src, dx, CV_16S, 1, 0, aperture_size, 1, 0, cv::BORDER_REPLICATE);
// 计算y方向的sobel方向导数,计算结果存在dy中
Sobel(src, dy, CV_16S, 0, 1, aperture_size, 1, 0, cv::BORDER_REPLICATE);
//L2gradient为true时, 表示需要根号下开平方运算,阈值也需要平方
if (L2gradient)
{
low_thresh = std::min(32767.0, low_thresh);
high_thresh = std::min(32767.0, high_thresh);
if (low_thresh > 0) low_thresh *= low_thresh; //低阈值平方运算
if (high_thresh > 0) high_thresh *= high_thresh; //高阈值平方运算
}
int low = cvFloor(low_thresh); // cvFloor返回不大于参数的最大整数值, 相当于取整
int high = cvFloor(high_thresh);
// ptrdiff_t 是C/C++标准库中定义的一个数据类型,signed类型,通常用于存储两个指针的差(距离),可以是负数
// mapstep 用于存放
ptrdiff_t mapstep = src.cols + 2; // +2 表示左右各扩展一条边
// AutoBuffer<uchar> 会自动分配一定大小的内存,并且指定内存中的数据类型是uchar
// 列数 +2 表示图像左右各自扩展一条边 (用于复制边缘像素,扩大原始图像)
// 行数 +2 表示图像上下各自扩展一条边
AutoBuffer<uchar> buffer((src.cols + 2)*(src.rows + 2) + cn * mapstep * 3 * sizeof(int));
int* mag_buf[3]; //定义一个大小为3的int型指针数组,
mag_buf[0] = (int*)(uchar*)buffer;
mag_buf[1] = mag_buf[0] + mapstep * cn;
mag_buf[2] = mag_buf[1] + mapstep * cn;
memset(mag_buf[0], 0, /* cn* */mapstep * sizeof(int));
uchar* map = (uchar*)(mag_buf[2] + mapstep * cn);
memset(map, 1, mapstep);
memset(map + mapstep * (src.rows + 1), 1, mapstep);
int maxsize = std::max(1 << 10, src.cols * src.rows / 10); // 2的10次幂 1024
std::vector<uchar*> stack(maxsize); // 定义指针类型向量,用于存地址
uchar **stack_top = &stack[0]; // 栈顶指针(指向指针的指针),指向stack[0], stack[0]也是一个指针
uchar **stack_bottom = &stack[0]; // 栈底指针 ,初始时 栈底指针 == 栈顶指针
// 梯度的方向被近似到四个角度之一 (0, 45, 90, 135 四选一)
/* sector numbers
(Top-Left Origin)
1 2 3
* * *
* * *
0*******0
* * *
* * *
3 2 1
*/
// define 定义函数块
// CANNY_PUSH(d) 是入栈函数, 参数d表示地址指针,让该指针指向的内容为2(int型强制转换成uchar型),并入栈,栈顶指针+1
// 2表示 像素属于某条边缘 可以看下方的注释
// CANNY_POP(d) 是出栈函数, 栈顶指针-1,然后将-1后的栈顶指针指向的值,赋给d
#define CANNY_PUSH(d) *(d) = uchar(2), *stack_top++ = (d)
#define CANNY_POP(d) (d) = *--stack_top
// calculate magnitude and angle of gradient, perform non-maxima suppression.
// fill the map with one of the following values:
// 0 - the pixel might belong to an edge 可能属于边缘
// 1 - the pixel can not belong to an edge 不属于边缘
// 2 - the pixel does belong to an edge 一定属于边缘
// 二、for内进行非极大值抑制 + 滞后阈值处理
for (int i = 0; i <= src.rows; i++) // i 表示第i行
{
// i == 0 时,_norm 指向 mag_buf[1]
// i > 0 时, _norm 指向 mag_buf[2]
// +1 表示跳过每行的第一个元素,因为是后扩展的边,不可能是边缘
int* _norm = mag_buf[(i > 0) + 1] + 1;
if (i < src.rows)
{
short* _dx = dx.ptr<short>(i); // _dx指向dx矩阵的第i行
short* _dy = dy.ptr<short>(i); // _dy指向dy矩阵的第i行
if (!L2gradient) // 如果 L2gradient为false
{
for (int j = 0; j < src.cols*cn; j++) // 对第i行里的每一个值都进行计算
_norm[j] = std::abs(int(_dx[j])) + std::abs(int(_dy[j])); // 用||+||计算
}
else
{
for (int j = 0; j < src.cols*cn; j++)
//用平方计算,当 L2gradient为 true时,高低阈值都被平方了,所以此处_norm[j]无需开平方
_norm[j] = int(_dx[j])*_dx[j] + int(_dy[j])*_dy[j]; //
}
if (cn > 1) // 如果不是单通道
{
for (int j = 0, jn = 0; j < src.cols; ++j, jn += cn)
{
int maxIdx = jn;
for (int k = 1; k < cn; ++k)
if (_norm[jn + k] > _norm[maxIdx]) maxIdx = jn + k; // 取每个通道的最大值,把图像变成单通道。
_norm[j] = _norm[maxIdx];
_dx[j] = _dx[maxIdx];
_dy[j] = _dy[maxIdx];
}
}
_norm[-1] = _norm[src.cols] = 0; // 最后一列和第一列的梯度幅值设置为0
}
// 当i == src.rows (最后一行)时,申请空间并且每个空间的值初始化为0, 存储在mag_buf[2]中
else
memset(_norm - 1, 0, /* cn* */mapstep * sizeof(int));
// at the very beginning we do not have a complete ring
// buffer of 3 magnitude rows for non-maxima suppression
if (i == 0)
continue;
uchar* _map = map + mapstep * i + 1; // _map 指向第 i+1 行,+1表示跳过该行第一个元素
_map[-1] = _map[src.cols] = 1; // 第一列和最后一列不是边缘,所以设置为1
int* _mag = mag_buf[1] + 1; // take the central row 中间那一行
ptrdiff_t magstep1 = mag_buf[2] - mag_buf[1];
ptrdiff_t magstep2 = mag_buf[0] - mag_buf[1];
const short* _x = dx.ptr<short>(i - 1);
const short* _y = dy.ptr<short>(i - 1);
// 如果栈的大小不够,则重新为栈分配内存(相当于扩大容量)
if ((stack_top - stack_bottom) + src.cols > maxsize)
{
int sz = (int)(stack_top - stack_bottom);
maxsize = maxsize * 3 / 2;
stack.resize(maxsize); // 重新设置栈的大小:使用vector 模拟栈的。
stack_bottom = &stack[0]; // 栈尾
stack_top = stack_bottom + sz; // 栈头
}
int prev_flag = 0; //前一个像素点 0:非边缘点 ;1:边缘点
for (int j = 0; j < src.cols; j++) // 第 j 列
{
/*其中
#define TG22 (int)(0.4142135623730950488016887242097*(1<<CANNY_SHIFT) + 0.5)
是tan(PI/8)的快速算法, tg67是tan(67.5)的快速算法。*/
#define CANNY_SHIFT 15
// tan22.5
const int TG22 = (int)(0.4142135623730950488016887242097*(1 << CANNY_SHIFT) + 0.5);
int m = _mag[j];
if (m > low) // 非极大值抑制 一、如果大于低阈值可能为边缘 二、若一定为边缘需要满足 ①当前值要大于低阈值。②当前值得soble方向下,要大于左右的点的值 ③ 若当前值还大于最大阈值,且前一个和上一个点没有入栈,就加入栈中。置为2,其他的置为0;
{
int xs = _x[j]; // dx中 第i-1行 第j列
int ys = _y[j]; // dy中 第i-1行 第j列
int x = std::abs(xs);
int y = std::abs(ys) << CANNY_SHIFT;
int tg22x = x * TG22;
if (y < tg22x) //角度小于22.5 用区间表示:[0, 22.5)
{
// 与左右两点的梯度幅值比较,如果比左右都大
//(此时当前点是左右邻域内的极大值),则 goto __ocv_canny_push 执行入栈操作
if (m > _mag[j - 1] && m >= _mag[j + 1]) goto __ocv_canny_push;
}
else //角度大于22.5
{
int tg67x = tg22x + (x << (CANNY_SHIFT + 1));
if (y > tg67x) //(67.5, 90)
{
//与上下两点的梯度幅值比较,如果比上下都大
//(此时当前点是左右邻域内的极大值),则 goto __ocv_canny_push 执行入栈操作
if (m > _mag[j + magstep2] && m >= _mag[j + magstep1]) goto __ocv_canny_push;
}
else //[22.5, 67.5]
{
// ^ 按位异或 如果xs与ys异号 则取-1 否则取1
int s = (xs ^ ys) < 0 ? -1 : 1;
//比较对角线邻域
if (m > _mag[j + magstep2 - s] && m > _mag[j + magstep1 + s]) goto __ocv_canny_push;
}
}
}
//比当前的梯度幅值低阈值还低,直接被确定为非边缘
prev_flag = 0;
_map[j] = uchar(1); // 1 表示不属于边缘
continue;
__ocv_canny_push:
// 前一个点不是边缘点 并且 当前点的幅值大于高阈值(大于高阈值被视为边缘像素) 并且 正上方的点不是边缘点
if (!prev_flag && m > high && _map[j - mapstep] != 2)
{
//将当前点的地址入栈,入栈前,会将该点地址指向的值设置为2(查看上面的宏定义函数块里)
CANNY_PUSH(_map + j);
prev_flag = 1;
}
else
_map[j] = 0;
}
// scroll the ring buffer
// 交换指针指向的位置,向上覆盖,把mag_[1]的内容覆盖到mag_buf[0]上
// 把mag_[2]的内容覆盖到mag_buf[1]上
// 最后 让mag_buf[2]指向_mag指向的那一行
_mag = mag_buf[0];
mag_buf[0] = mag_buf[1];
mag_buf[1] = mag_buf[2];
mag_buf[2] = _mag;
}
//三.边缘跟踪
// now track the edges (hysteresis thresholding)
// 通过上面的for循环,确定了各个邻域内的极大值点为边缘点(标记为2)
// 现在,在这些边缘点的8邻域内(上下左右+4个对角),将可能的边缘点(标记为0)确定为边缘
while (stack_top > stack_bottom)
{
uchar* m;
if ((stack_top - stack_bottom) + 8 > maxsize)
{
int sz = (int)(stack_top - stack_bottom);
maxsize = maxsize * 3 / 2;
stack.resize(maxsize);
stack_bottom = &stack[0];
stack_top = stack_bottom + sz;
}
CANNY_POP(m); // 出栈
if (!m[-1]) CANNY_PUSH(m - 1);
if (!m[1]) CANNY_PUSH(m + 1);
if (!m[-mapstep - 1]) CANNY_PUSH(m - mapstep - 1);
if (!m[-mapstep]) CANNY_PUSH(m - mapstep);
if (!m[-mapstep + 1]) CANNY_PUSH(m - mapstep + 1);
if (!m[mapstep - 1]) CANNY_PUSH(m + mapstep - 1);
if (!m[mapstep]) CANNY_PUSH(m + mapstep);
if (!m[mapstep + 1]) CANNY_PUSH(m + mapstep + 1);
}
// the final pass, form the final image
// 生成边缘图
const uchar* pmap = map + mapstep + 1;
uchar* pdst = dst.ptr();
for (int i = 0; i < src.rows; i++, pmap += mapstep, pdst += dst.step)
{
//标记0: (uchar)-(0>>1)等于0
//标记1:(uchar)-(1>>1)也等于0
//标记2:(uchar)-(2>>1)=uchar(-1)=255
//边缘像素值全部是255,非边缘全部是0
for (int j = 0; j < src.cols; j++)
pdst[j] = (uchar)-(pmap[j] >> 1);
}
}
int main()
{
Mat src,src1, dst;
src = imread("C:\\Users\\Geek\\Desktop\\1281425_2019-07-18_10_0\\对比\\35472.bmp", IMREAD_GRAYSCALE);
blur(src, src1, Size(3, 3)); // 需要减少噪声。
Canny_1(src1, dst, 100, 200, 3, false);
imshow("src", src);
imshow("dst", dst);
waitKey(0);
return 0;
}
opencv中Canny的API调用:
int main()
{
Mat src,src1, dst;
src = imread("C:\\Users\\Geek\\Desktop\\1281425_2019-07-18_10_0\\对比\\35472.bmp", IMREAD_GRAYSCALE);
blur(src, src1, Size(3, 3)); // 需要减少噪声。
Canny(src1, dst, 100, 200, 3, false);
imshow("src", src);
imshow("dst", dst);
waitKey(0);
return 0;
}
结果: