目录
什么是计算机视觉
计算机视觉的应用:
计算机视觉与人工智能
数字图像处理基础
计算机成像原理
图像采样与分辨率
灰度级与灰度图像
彩色图像与彩色空间
其他色彩空间
颜色空间的变换
色彩处理
常用图像处理技术
形态相关操作
色彩梯度
轮廓处理
什么是计算机视觉
计算机视觉(Computer Vision,简称CV)在广义上是和图像相关的技术总称。包括图像的采集获取,图像的压缩编码,图像的存储和传输,图像的合成,三维图像重建,图像增强,图像修复,图像的分类和识别,目标的检测、跟踪、表达和描述,特征提取,图像的显示和输出等等。
随着计算机视觉在各种场景的应用和发展,已有的图像技术也在不断的更新和扩展。
计算机视觉技术已经在许多领域得到了广泛的应用,以下是一些典型的例子:
计算机视觉的应用:
公安安放:人脸识别,指纹识别,场景监控,环境建模。
生物医学:染色体分析,X光,CT图像分析,显微医学操作。
文字处理:文字识别,文档修复,办公自动化,垃圾邮件分类。
国防军事:资源探测,军事侦查,导弹路径规划。
只能交通:公路交通管理,电子警察执法抓拍系统,自动驾驶车辆。
休闲娱乐:电影特效,视屏编辑,人像美颜,体感游戏,VR。
计算机视觉与人工智能
计算机视觉中的大部分理论运用了人工智能的技术。人工智能的发展离不开计算机视觉,计算机视觉中的很多应用问题给人工智能技术提供了研究方向。
人工智能在计算机视觉中最成熟的技术方向是图像识别,它实现了如何让机器理解图像中的内容。
如何让机器去理解机器的内容。
数字图像处理基础
人的眼睛近似为一个球体。物体的光线通过角膜和晶状体的折射,在视网膜上成倒立缩小的实像。
视网膜上分布光线接收的神经元细胞,分为锥状体和杆状体。每只眼睛有600万-700万个锥状体,其对颜色灵敏度很高,负责亮光视觉,有7500万-15000万杆状体,杆状体没有颜色感觉,负责暗视觉。
计算机成像原理
数字图像的采集过程类似人眼,使用大量的光敏传感器构成的阵列获取图像。成像的质量由传感器的单元数,尺寸和传感性能决定。
多数传感器的输出是连续的电压波形,图像数字化就是将一副画面的数据转换为计算机能够处理的数字形式。
图像数字化包括两种处理过程:采样和量化。
图像采样与分辨率
将空间上连续的图像变成离散点的操作称为采样。
采样是按照某种时间间隔或空间间隔,采集模拟信号的过程,即空间离散化。
图像数字化的采样过程是将空间上连续的图像变化为离散的点。
采样的效果由传感器的采样间隔和采样孔径决定,采样间隔和采样孔径的大小是两个很重要的参数。
采样后得到离散图像的尺寸成为图像分辨率。分辨率是数字图像可辨别的最小细节。
分辨率由宽和高两个参数构成。宽表示水平方向的细节数,高表示垂直方向的细节数,
例如:
一副640*480分辨率的图像,表示这幅图像是由640*480=307200个点组成。
一副图片的像数越多,图片的质量越高,像数越少,图片的质量越低。
采样间隔越小,所得图像像素越多,空间分辨率高,图像质量好,但数据量大。下图展示了lena图的分辨率从512×512依次降低到8×8的图像效果。
灰度级与灰度图像
灰度级(depth)表征了每个采样点的传感器输出中可分辨的最小变化。
灰度级通常是2的整数次幂。我们用m级或者n位来表示灰度级。图像数据的灰度级越多视觉效果就越好。计算机中最常用的是8位图像。
例如:
一副8位的图像,表示每个采样点右2^8=256级。从最暗到最亮,可以分辨256个级别。
一副32级的灰度图像,每个采样点从最暗到最亮,可以分辨32个级别。
量化等级越多,所得图像层次越丰富,灰度分辨率高,图像质量好,但数据量大。下图展示了lena图的灰度级从256级依次降低到4级的图像效果。
单通道的数字图像被称为灰度图。通常,单通道记录了采样点的亮度信息,
例如8位的图像,0表示最暗(黑色),255表示最亮(白色)。(地是黑的,天是白的)
彩色图像与彩色空间
为了表征彩色图像,我们需要使用多通道数字图像。最普遍的方式是使用RGB颜色空间。RGB颜色空间中每个像素点右三个维度,分别记录在红(Red)、绿(Green)、蓝(Blue)三原色的分量上的亮度。(这三种颜色不能通过其他颜色来合成,其他颜色都可以通过这三种颜色合成)。
另一种常用的颜色空间是HSV,该颜色空间可以用一个圆锥来表示
HSV表示色相(hue)、饱和度(saturation)和亮度(value)
H表示颜色相位角(hue),取值范围是0----360;S表示颜色的饱和度(satuation),范围从0到1,它表示成所选颜色的纯度和该颜色最大的纯度之间的比率。
V表示色彩的明亮成都(value),范围从0到1。
中间部分饱和度比较低,边缘部分饱和度比较高。锥体的下面部分亮度比较暗,上面部分亮度比较亮。
其他色彩空间
颜色空间的变换
在计算机视觉中,尤其是颜色识别相关的算法设计中,各种颜色空间混合使用是常见的方法。RGB,HSV,YUV等常见颜色空间可以通过计算公式实现相互转换,这个过程叫做颜色空间变化。颜色变换的计算公式比较复杂,通常图像处理库会提供颜色空间变化的API给用户调用。
色彩处理
灰度值:将彩色图像转换为灰度图像
二值化/反二值化:将灰度图像转换为只有黑色和白色两种颜色的图像
色彩提取:提取指定的颜色
直方图均衡化:调节图像统计直方图分布(反应图像的像素的分布规律)
亮度、饱和度、色彩调整
常用图像处理技术
形态相关操作
仿射变换:对图像进行旋转、平移
缩放、裁剪
图像相加、相减(水印效果,找两幅图像的差异)
透视变换(图像形状的矫正,拍出来的身份证是斜的,我们可以拿来正立)
图像腐蚀、膨胀、形态学梯度(便于部分收缩、扩展,膨胀的图像减去腐蚀的图像)
色彩梯度
模糊(图像像素与像素之间的差异变小)
锐减(图像像素与像素之间的差异变大)
边缘检测(色彩边缘最大的地方)
轮廓处理
轮廓查找、绘制
绘制矩形、圆型、椭圆包围
多边形拟合