成像电子元件101：了解适用于机器视觉应用的相机传感器

构造 | 功能 | 光谱特性

除了成像光学元件之外，成像电子元件也对成像系统的性能起着至关重要的作用。必须正确集成所有的组件，包括相机、捕获板、软件以及电缆，方可享受最优越的系统性能。在我们开始深入讨论任何额外的课题之前，您必须充分理解相机传感器以及其相关的关键概念和术语。

相机的核心就是传感器，现代的传感器都是固态电子器件，每个都包含了上百万个离散的光探测区域，我们称这些光探测区域为像素。虽然相机制造商有很多，但大多数的传感器都是由同几个公司生产的。不过，电子元件之间的不同接口设计也可能会让使用同一款传感器的两台不同相机有着非常不同的性能和特性。过去，相机都使用如Vidicons和Plumbicons（光导摄像管）的光电管作为图像传感器。虽然现在已经不再被使用，它们对于传感器尺寸和格式相关的命名至今还是起着绝对重要的作用。至今，几乎所有的机器视觉传感器均可分为以下两类：电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)成像器。

传感器构造

电荷耦合器件(CCD)

电荷耦合器件(CCD)在1969年由科学家在美国新泽西州的贝尔实验室发明。多年来，它都是最普遍的图像捕捉技术，应用于数字天文摄影到机器视觉检测。CCD传感器是一个硅片，包含了许多的感光区域（图1）。电荷耦合器件这个术语实际上指的是在芯片上将电荷包从一个感光单元移向另一个感光单元进行读出的方式，它是一个简单的移位寄存器，类似于救援队的概念。时钟脉冲创建势阱，将电荷包在一块芯片上移来移去，然后再经由一个电容器转换为电压。CCD传感器本身是一个模拟设备，但其输出将通过数字相机上的一个模拟数字转换器(ADC)立即转换为数字信号，无论是片上或片外。在模拟相机上，每个区域的电压都是以一个特定的序列读出的，而同步脉冲将于信号链的某个点被添上，以重建图像。

电荷包受限于它们可被传输的速度，所以电荷传输是导致CCD速度延缓的主要因素，但同时它也为CCD提供了高灵敏度并保持了像素和像素之间的一致性。由于每个电荷包都会经过相同的电压转换，因此CCD的感光区域非常均匀。电荷传输也会导致一种高光溢出的现象，即电荷由于阱深度或电荷容量有限，从一个光敏区域溢出到邻近的区域，因而为传感器的有用动态范围带来了上限。这种现象表现为CCD相机图像上，亮点的扩散。

以弥补CCD中较低的阱深度，使用显微透镜来提高填充因子，或有效的感光区域，以弥补电荷耦合移位寄存器在芯片上所占用的空间。这提高了像素的效率，但是却增加了入射光线的角灵敏度，因此入射光线必须要以接近垂直入射的角度击中传感器方可实现有效收集。

图1： 电荷耦合器件(CCD)的方块框图

互补金属氧化物半导体(CMOS)

互补金属氧化物半导体(CMOS)由Frank Wanlass在1963年发明。然而，他直到1967年才获得它的专利，而它也一直到了90年代才开始被广泛应用于成像应用中。在CMOS传感器中，感光像素上的电荷将在像素区域中被转换为电压，信号以乘以行和列进行多路复用，以加增在芯片数字模拟转换器(DAC)上。CMOS的固有设计注定它是一个数字设备。每个区域就是一个光电二极管和三个晶体管组成的，执行着像素的重置或激活、电荷的放大和转换，以及选择或多路复用的功能(图2)。这让CMOS传感器实现高速运行，却也降低了其灵敏度，并由于多个电荷至电压转换电路之间制造环节的不一致性带来了高固定噪声。

图2： 互补金属氧化物半导体(CMOS)的方块框图

CMOS传感器的多路复用配置多半都有电子卷帘快门伴随，虽然如果像素区域内有很多的额外晶体管，用户可使用一个全局快门同时曝光所有的像素，然后按顺序将它们读出。CMOS传感器的另一个优势，就是它的功耗和功率耗散相对于同等的CCD传感器要低，这是因为CMOS传感器内的电荷的流，或电流量，比CCD传感器的要更少。同时，CMOS传感器能够在不出现高光溢出的情况下处理高光信号，因此，可以在特别的高动态范围相机中使用，甚至能够让焊缝或光丝成像。因为数字CCD相机都需要额外的片外ADC电路，因此CMOS相机的尺寸也往往会小于它们的等同数字CCD相机。

多层MOS制造流程的CMOS传感器不允许使用的微透镜的芯片上，从而降低有效收集效率或传感器的填充因子相比CCD等效。这种低效率，结合了像素和像素之间的不一致性，导致了低信噪比以及CCD传感器还更低的总体图像质量。表1比较了CCD和CMOS传感器之间的一般差异。

替代传感器材料

短波红外(SWIR)是新兴的成像技术。一般而言它被定义为任何波长范围介于0.9 – 1.7μm的光线，不过也可作为0.7 – 2.5μm的光线。使用SWIR波长范围允许成像通过密度的变化以及通过如雾的障碍物。然而，正常的CCD和CMOS图像在红外线方面均不够灵敏，因此在这方面不能发挥什么作用。因此，都使用特殊的铟镓砷化物(InGaAs)传感器。InGaAs材料有个带隙，或能隙，因此可以从红外能生成光电流。这些传感器使用许多的InGaAs光电二极管，并一般使用CMOS传感器结构。欲参见可见光和SWIR图像的比较，请参阅，什么是SWIR？。

在比SWIR还长的波长范围，热成像就占了主导地位。在这样的情况下，我们使用微测辐射热计阵列，因为它在7 - 14μm波长范围非常灵敏。每个微测辐射热计阵列中的每个像素都包含了一个辐射热测量计，其电阻将随着温度变化。这个电阻的变化将在基片中由电子元件转换成电压以读出（图3）。这些传感器不像许多红外成像器需要主动冷却，因此它们非常有用。

图3： 微测辐射热计传感器阵列剖面图说明

传感器特点

像素

当光线从图像落到一个相机传感器上时，该光线将由名叫像素的小型势阱矩阵收集。图像将被分为小型、离散的像素。来自这些感光单元的信息将被收集、组织再传输到一个监视器上以方便显示。这些像素可能是光电二极管或光电电容器，当光线入射在传感器的离散位置上，它们将产生一个与入射光线的光量成正比的电荷，限制电荷占用的空间并将其存储。一个像素将入射光子转换成电荷的能力得取决于其量子效率。例如，如果十个入射光子产生了四个光电子，那么量子效率就是40%。固态成像器的典型量子效率值在30 - 60%的范围内。量子效率取决于波长，并且对光强度的响应不一定是均匀的。光谱响应曲线往往指定量子效率作为其波长的函数。欲了解更多有关信息，请参阅本应用案例的光谱特性部分。

数字相机中的像素一般都是正方形的。一般的像素大小都在3 - 10μm之间。虽然通常只需要指定传感器的像素数量，大小对成像电子元件也是是非常重要的。大型像素一般而言都拥有高电荷饱和能力和较高的信噪比(SNRs)。使用小型像素，您就会发现，尽管一些问题，如高光溢出，将愈加严重，而像素串扰在高空间频率时也会降低对比度，但固定的传感器尺寸和放大倍率将相当容易实现高分辨率。简单测量传感器分辨率的一个方法就是衡量一个毫米种有多少的像素数

模拟CCD相机均备有四方形的像素（较大的垂直维度）。这是因为，由于带宽方面的限制，视频信号制式的扫描线数量有限（NTSC为525行、PAL为625行）。非对称的像素所带来的水平分辨率要比垂直分辨率更高。（具有相同视频信号制式的）模拟CCD相机通常有相同的垂直分辨率。因此，整个成像行业都要使用水平分辨率以指定分辨率。

图4： 带有RGB色彩和红外截止过滤片的相机传感器像素说明

传感器尺寸

相机传感器的有效区域大小，对于确定系统的视场(FOV)是非常重要的。对于固定的初级放大倍率而言（取决于成像镜头），大型的传感器能带来较大的FOV。以下是几个标准的面扫描传感器尺寸：¼"、1/3"、½"、1/1.8"、2/3"、1"，以及1.2"，还提供更大的传感器尺寸（图5）。这些标准的术语可以追溯到用于电视广播成像器的Vidicon真空管，所以请注意，传感器的实际维度将会有所不同。注意：传感器尺寸及其维度之间不存在直接联系，它只纯粹是一个的遗产公约。然而，这些标准大多数都保持在4:3（水平-垂直）的长宽比。

成像应用中常出现的问题之一就是成像镜头能否支持某些特定的传感器尺寸。如果传感器对镜头设计而言太大了，那么最后生成的图像就会因为渐晕而看似逐渐消失，在边缘的地方渐渐退化（光线通过成像镜头的外缘而出现消光情况）。这通常被称为隧道效应，因为视场的边缘将变得黑暗。较小尺寸的传感器将不会有这种渐晕问题。

帧速率和快门速度

帧速率指的是一秒以内刷新的全帧数目（可能由两个视场组成）例如，一个备有30帧/秒的模拟相机包含了两个1/60秒的视场。选择更快的帧速率可让用户在对象经过FOV时采集更多的图片，这将有利于高速应用。

图6： 隔行显示器内的快门速度、视场和全帧之间的关系

快门速度与传感器的曝光时间相对应。曝光时间控制入射光线的光量。可以通过降低照明或增加快门速度控制（由曝光过度造成的）相机高光溢出。增加快门速度可以帮助创建动态对象的快照，它可能只是每秒采样30次（视频直播）。

与在大多数情况下帧速率都由显示器限制的模拟相机不同的是，数字相机允许可调整的帧速率。一个系统的最大帧速率要取决于传感器的读出速度、接口（包括电缆）的数据传输率、像素数量（每帧传输的数据量）。在某些情况下，相机也以可以通过降低混合像素的分辨率，或通过限制感兴趣区域，以更高的帧速率运行。这减少了每帧的数据量，允许以固定的传输速率传输更多帧。一个好的估计方法就是，曝光时间是帧速率的倒数。然而，有鉴于像素的重置及读出过程，每两个曝光之间都有一个有限的最低的时间（以几百微秒计算），尽管许多相机都能够读出一个帧的同时暴露下一个（廉线）。此最低时间常常能在相机数据表中找到。欲了解更多有关像素混合和感兴趣区域方面的信息，请参阅成像电子元件101：基本数字相机设置知识，改善您的成像效果。

CMOS相机有潜力使用更高的帧速率，因为其读出每个像素的过程要比CCD传感器中的移位寄存器传输电荷的速度更迅速。数字相机可以曝光数十秒直至几分钟，但只有CCD相机可以完成最长的曝光，它比CMOS具有更低的暗电流和噪声。CMOS成像器固有的噪声让其有用曝光时间受限于几秒。

电子快门

直到几年前，CCD相机都还在使用电子或全局快门，而所有的CMOS相机也只在使用卷帘快门。全局快门类似于机械快门，所有像素都同时进行曝光和采样，再然后按照顺序读出；所有像素的光子捕获的开始和结束都在同一时间完成。但在另一方面，卷帘快门按顺序曝光、采样、读出像素，这它意味着每一行图像都是在稍微不同的时间内进行采样的。直观而言，运动对象的图像将被卷帘快门扭曲，这个效果可以通过在积分时间线重叠的时间点上使用触发选通的方式得到最小化。请注意，这在低速的时候不成问题。为CMOS实施全局快门需要一个更复杂的架构，而非标准的卷帘快门模型，还需要额外的晶体管和存储电容器，它还要允许廉线，或者在读出上一个帧的同时开始下一帧的曝光。自从包含了全局快门的CMOS传感器的可用性正稳步增长，无论CCD还是CMOS相机，在高速运动的应用中都变得非常有用。

相比全局快门和卷帘快门，异步触发快门是指像素的触发曝光。也就是说，相机随时可以采集图像，但只有在收获到外部的触发信号才能够曝光像素。这与一个正常的固定帧速率正好相反，正常的固定帧速率就如在内部触发快门。

图7a： 运动模糊比较。传感器芯片，放置在带有触发全局快门（左）和连续全局快门（右），迅速向前的输送带上

图7b： 全局快门和卷帘快门的运动模糊比较。传感器芯片，放置在带有全局快门（左）和卷帘快门（右），缓慢向前的输送带上

传感器抽头

一个增加相机传感器读出速度的方法就是在传感器上使用多个抽头。这意味着不会按照顺序通过单一的输出放大器和ADC读出所有的像素，视场将被分割、再读出到多个输出。往往我们把它当做一个双向抽头，视场的左右两边会分别读出。这就如将帧速率乘二，图像因此可以轻易被软件重建。请务必注意，如果传感器抽头之间的增益不相同，或如果多个ADC略有不同的性能（通常都是这样的情况），那么，重建图像中将会出现分裂。好消息是，这是可以被校准出来的。许多拥有超过几百万像素的大型传感器都使用多个传感器抽头。这一点，大体而言，都只适用于逐行扫描数字相机，否则，相机将会有显示方面的问题。多抽头传感器的性能在很大程度上取决于内部相机硬件的实施。

光谱特性

黑白相机

CCD和CMOS传感器在350 - 1050nm的波长范围非常灵敏，虽然通常指定范围为400 - 1000nm。传感器的光谱响应曲线指示其灵敏度（图8）。许多高质量的 相机均提供红外(IR)截止滤光片，进行可见光谱特定的成像。通常可以移除这些滤光片进行近红外成像。

图8： 一台典型黑白CCD的规格化光谱响应

CMOS传感器一般而言都相较CCD传感器对红外波长灵敏。这是因为它们拥有较深的有效区域深度。光子的穿透深度与其频率有关，因此，特定的有效区域厚度若拥有更深的深度，就会产生更少的光电子，进而降低量子效率。

彩色相机

固体传感器基于光电效应操作，因此不能分辨不同颜色。如今市面上共有两种彩色CCD相机：单芯片彩色CCD相机和三芯片彩色CCD相机。单芯片彩色CCD相机提供常用、低成本的成像解决方案，并使用镶嵌（如拜耳）光学滤光片将入射的光线分解为其各种颜色。然后，再将每种不同的颜色射往不同的像素集（图9a）。不同制造商的镶嵌图案各有不同的精确结构。由于需要更多的像素来识别颜色，单芯片彩色相机的固有分辨率比等同的黑白相机要低，而这个低于的程度则取决于制造商特定的彩色插值算法。

图9a：单芯片彩色CCD相机，使用镶嵌滤光片以过滤颜色

三芯片彩色CCD相机经过特别设计以解决这个分辨率的问题，其使用棱镜将入射光谱的每个不同部分转向不同的芯片上（图9b）。可以获得更准确的色彩再现，因为物体的每个空间点上都有个单独的RGB亮度值，而不是使用彩色插值算法确定颜色。三芯片彩色CCD相机提供极高的分辨率，但备有更低的光灵敏度，而且也有可能很昂贵。一般而言都需要特殊的3CCD镜头，它需要具有很好的彩色矫正功能，以弥补光路的改变，而且，对C接口而言，还需要减小的间隙好让后镜头突出。选择单芯片或三芯片最终取决于特定的应用要求。

图9b： 三芯片彩色CCD相机，使用棱镜以分散颜色

相机系统最基本的组件就是传感器。技术和功能的类型将大大改善整体的图像质量，因此，理解相机传感器规格背后的意义将帮助您最终选择最适合的成像光学元件以进行组合。欲了解更多关于成像电子元件的信息，请参阅我们成像电子元件101系列中的相机分辨率、相机类型，以及相机设置。