利用扩大的波段最大限度地增加图像信息

高光谱成像（HSI）和多光谱成像（MSI）是利用专门的视觉系统从电磁波谱的延伸区域获取除可见光外的额外图像信息的两种相关技术（图1）。

图 1: 可见光波长只是整个电磁波谱的一小部分，高光谱成像（HSI）和多光谱成像（MSI）利用额外的波长来收集更多的信息。

这些技术虽然相似，但略有不同，对各自的应用空间都很有用。虽然这些技术提供了卓越的图像信息，但所使用的系统在光源、滤光片和光学设计方面的复杂性要高得多。

成像技术

典型的机器视觉系统只利用可见光波段（从400到700纳米）中的光，大多数机器视觉传感器的光谱敏感度峰值在550纳米左右。传感器的灵敏度由量子效率曲线给出，它描述了对于一个特定的传感器，将特定波长的光子转化为电信号的效率。然而，标准硅传感器的量子效率在进入紫外和红外波长范围后会下降（图2）。

图 2: RGB 相机的量子效率曲线显示了红、绿、蓝三色敏感度之间的重叠。

高光谱和多光谱成像技术利用专门的成像镜头和机器视觉传感器来收集有关物体和环境的图像细节信息，比标准的可见光视觉系统要大得多。这些专门的传感器的制造成本要高得多，因为它们是由不同于硅的基底材料制成的。诸如砷化铟( InAs )、砷化镓( GaAs )、铟镓砷( InGaAs )等材料被用于波长高达2600nm的成像，而碲镉汞( MCT或Hg Cd Te)、锑化铟( InSb )焦平面阵列、铟镓砷( InGaAs )焦平面阵列、微测辐射热计等材料则被用于近红外和中波红外波段的成像。这些特殊的传感器需要更大的像素尺寸和精确的校准来达到所需的灵敏度和分辨率。¹

虽然是用特殊材料制造的，但这些传感器的功能与传统的机器视觉传感器几乎一样，没有什么注意事项。机器视觉相机传感器从输出的灰度阵列中构建二维图像，这些图像通常用于对物体进行分类、测量或定位的特征识别。如果不使用光学滤光片或拜尔模式（RGB）滤光片来限制入射到像素上的光的波长，传统的传感器就无法区分光的波长。2 它是由视觉软件利用相邻像素及其周围的波长信息构建图像的。在高光谱（HS）图像中，像素捕捉到所有关于坐标位置（在像素网格内）和信号强度的相同信息。然而，以前传统图像的二维灰度阵列变成了三维阵列（或立方体），其中波长是新增的维度（图2）。

图 3: 多光谱（MS）成像和高光谱（HS）成像的区别在于波长信息是分别以离散方式还是连续方式表示。

从上面的 图3 可以看出，传感器阵列的每个像素都收集到了波长信息。多光谱（MS）成像和高光谱（HS）成像的区别在于如何表示波长信息。多光谱成像将波长信息分组为不连续的波段，而高光谱成像则用连续的波段表示。因此，这些技术与高光谱成像几乎相同，具有比多光谱成像更高的波长分辨率。正因如此，这两种技术在不同的环境中呈现出各自的优势。高光谱成像最适合于对连续波谱上信号的微妙差异敏感的应用。这些微妙的差异可能会被采样更大波段的多光谱系统所遗漏。有选择地拒绝和捕捉某些波段而不捕捉其他波段对高光谱成像是有利的，因为处理较少的波长意味着较少的整体处理时间。

获取波长信息的采集方式主要有4种，每种模式都各有优缺点。摆扫（Whiskbroom）法是一个点扫描过程，每次获取一个空间坐标的光谱信息，提供最高水平的光谱分辨率，但需要在X轴和Y轴上扫描目标区域。这大大增加了总的采集时间。¹ 推扫（pushbroom）法是一种线扫描方法，每次捕捉和扫描一行像素，直到获得全部区域。采用这种方法的系统可以结构紧凑、重量轻、操作简单。然而，对于这种方法，准确的曝光时间至关重要。不正确的曝光时间会对某些光谱波段产生饱和度错误的图像。平面扫描方法对整个二维区域进行扫描，并使用多个图像捕获来创建光谱深度。这种采集方法不需要传感器或系统的平移，但关键是在采集过程中物体不能移动。第四种也是最近开发的采集方法是单次拍摄，或快照方法。这种方法在一个整合期内抢拍并收集整个高光谱数据立方体。1 这种方法对未来的高光谱成像很有前景，但受到较低空间分辨率的限制，因此需要等待发展。¹

图 4: 四种采集模式(A)点扫描，即摆扫（whiskbroom）模式、(B) 线扫描，即推扫（pushbroom）模式、(C)平面扫描，即区域扫描模式 和 (D) 单次拍摄模式。

应用

越来越多的不同应用空间利用高光谱成像(HSI）和多光谱成像（MSI），包括用无人驾驶飞行器（UAV）和卫星对地球表面进行遥感和空中成像。HSI和MSI摄影可以穿透地球大气层和云层，对地面进行无遮挡的观察。这种成像是监测人口变化、观察地质活动和研究考古遗址的理想手段。此外，高光谱成像(HSI）和多光谱成像（MSI）技术已被用于监测和研究有关森林砍伐、生态系统退化、碳循环和不稳定天气系统的环境模式。研究人员能够利用成像数据创建有关全球生态的预测模型，这有助于应对气候变化和人类对自然的影响。³

在高光谱成像和多光谱成像信息的帮助下，医生能够无创地扫描皮肤以检测包括癌症在内的细胞异常。这是由于某些波长能够比其他波长更深入地渗入皮肤。有了这种成像技术，医生不再需要根据患者的症状描述来推断其病情。此外，这些成像系统可以自动记录和解释光谱数据，加快诊断速度，缩短诊断和治疗之间的时间，以获得更好的结果。⁴

其他受益于高光谱和多光谱成像的行业还包括农业、食品质量和安全，以及制药等。⁵ 农民能够使用搭载在无人机和拖拉机上的光谱成像系统来扫描大片农田，分析作物的生长情况、植物的健康状况、土壤的状况、杀虫剂等化学品的应用以及是否存在有害的传染病或活性感染。有了这些数据，农户可以优化空间的使用，并使生产最大化。^如图5 和 ^视频1所示，这些技术对确定天然森林的健康状况同样有益。

图 5: 这些图像是一条小溪穿过一片树林的画面。最左边的图像是一个标准的彩色图像。中间这幅图像仅由可见光谱以外的红外波长创建。第三幅图像是根据前两幅图像的波长信息创建的虚假彩色图像，可用于识别树木的健康状况和任何人造物体的存在。图片来源：Benjamin Margulies.

视频 1 : 了解更多关于如何组合不同光谱中的图像 (如图5所示)，以了解更多关于植物种群健康的信息。

高光谱成像和多光谱成像的未来发展包括使这些成像系统更紧凑、更经济、更方便使用。让这项技术在所有行业中更容易获得和使用，无疑将使其在更多的应用中得到使用。

参考文献：

1. Hyperspectral Imaging: A Review on UAV-Based Sensors, Data Processing and Applications for Agriculture and Forestry.
2. Schelkanova, I., et al.“Early Optical Diagnosis of Pressure Ulcers.”Biophotonics for Medical Applications, 2015, pp. 347–375., doi:10.1016/b978-0-85709-662-3.00013-0.
3. Unninayar, S., and L. Olsen.“Monitoring, Observations, and Remote Sensing – Global Dimensions.”Encyclopedia of Ecology, 2008, pp. 2425–2446., doi:10.1016/b978-008045405-4.00749-7.
4. Schneider, Armin, and Hubertus Feußner.Biomedical Engineering in Gastrointestinal Surgery.Academic Press, 2017.
5. Imaging in Dermatology, 2016; Chapter 16 – Hyperspectral and Multispectral Imaging in Dermatology.