相机拍摄物体的大致过程为:物体反射(或照射)的光线经过镜头,到达图像传感器,图像传感器把光信号转换为电信号,然后模数转换器件把电荷信号转换成数字信号,数字信号经过放大电路进入微处理器,数字信号经过ISP运算处理之后传输到存储器中存储为图像。 示意图如下:

数字摄像机架构图 数字摄像机内部框图_图像传感器

数字摄像机架构图 数字摄像机内部框图_图像传感器_02

1. 图像传感器

图像传感器是相机的主要组件之一,对成像质量影响很大。

传感器将从镜头上传导过来的光线转换为电信号,再通过内部的DA转换为数字信号。由于传感器的每个pixel只能感光R光或者B光或者G光,如下图,因此每个像素此时存贮的是单色的,我们称之为RAW DATA。要想将每个像素的RAW DATA还原成三基色,就需要信号处理器ISP来处理。

数字摄像机架构图 数字摄像机内部框图_数字摄像机架构图_03

图像传感器主要分两种,CCD(charge-coupled device,电荷耦合器件)和CMOS(complementary meta-oxide semiconductor,互补金属氧化物半导体)。CCD传感器成像质量好,图像明锐通透,细节丰富,色彩还原度好,但是成本较高,耗电功率高。CMOS传感器成像质量稍差,但耗电功率较低,成本也比DDC低。当今手机中主要还是采用CMOS传感器。CMOS传感器中集成了模数转换器,CCD传感器没有集成了模数转换器。

 

2. 图像信号处理器

图像信号处理器(Image Signal Processing,ISP)的作用就是对图像传感器传输过来的信号进行运算处理,最终得出经过线性纠正、噪点去除、坏点修补、颜色插值、白平衡校正、曝光校正等处理后的结果。ISP能够在很大程度上决定相机最终的成像质量。

ISP 的主要功能特性包括[3]

  • DEMOSAIC
    DEMOSAIC 是 ISP 的主要功能之一。SENSOR 的像素点上覆盖着 CFA,光线通过 CFA 后照射到像素上。CFA 由 R、G、B 三种颜色的遮光罩组成,每种遮光罩只允许一种颜色通过,因此每个像素输出的信号只包含 R、G、B 三者中的一种颜色信息。SENSOR 输出的这种数据就是 BAYER 数据,即通常所说的 RAW 数据。显而易见,RAW 数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC 就是通过插值算法将将每个像素所代表的真实颜色计算出来。
  • FOCUS
    根据光学知识,景物在传感器上成像最清晰时处于合焦平面上。通过更改 LENS 的位置,使得景物在传感器上清晰的成像,是 ISP FOCUS 功能所需要完成的任务。FOCUS 分为手动和自动两种模式。ISP 可以运行 CONTRAST AF、PDAF、LASER AF 等算法实现自动对焦。
  • EXPOSURE
    曝光。EXPOSURE 主要影响图像的明暗程度。ISP 需要实现 AE 功能,通过控制曝光程度,使得图像亮度适宜。
  • WB
    白平衡。白平衡与色温相关,用于衡量图像的色彩真实性和准确性。ISP需要实现 AWB 功能,力求在各种复杂场景下都能精确的还原物体本来的颜色。
  • LSC
    用于消除图像周边和图片中心的不一致性,包含亮度和色度两方面。ISP 需要借助 OTP 中的校准数据完成 LSC 功能。
  • GAMMA CORRECTION
    伽玛校正。传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。
  • CROP/RESIZE
    图像剪裁,即改变图像的尺寸。可用于输出不同分辨率的图像。
  • VRA
    视觉识别。用于识别特定的景物,例如人脸识别,车牌识别。ISP 通过各种 VRA 算法,准确的识别特定的景物。
  • DRC
    动态范围校正。动态范围即图像的明暗区间。DRC 可以使得暗处的景物不至于欠曝,而亮处的景物不至于过曝。ISP 需要支持 DRC 功能。
  • CSC
    颜色空间转换。例如,ISP 会将 RGB 信号转化为 YUV 信号输出。
  • IS
    图像稳定。IS 的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。IS 有很多种,例如 OIS、DIS、EIS。ISP 可以实现 DIS 和 EIS。

 除了上面提到的功能外,ISP还需要支持 DENOISE、CONTRAST、SATURATION、SHARPNESS 等功能。