摘要：
伴随着当今更低成本和更高性能的工业相机的趋势，对CMOS图像传感器也提出了更高的要求，需要通过设计系统级芯片（SoC）来实现这一目标。为实现该目标，需通过3D芯片堆栈和背照(back side illuminated ，BSI)技术，把多个图像处理任务集成到单一器件中。在未来将会出现具有精密的机器学习和专有的智能计算芯片结合图像撷取功能的解决方案，创造出紧凑的高速运算视觉系统。
可是在实现崭新的大型技术集成之前，必需扫除两个主要发展障碍—芯片的热量管理和功耗。
现在，先进的前照(front side illuminated ，FSI) CMOS传感器集成了模拟和数字功能，实现了成本和效能兼具的解决方案。能够达成这些目标，关键在于把有利于系统效能及嵌入到图像传感器SOC等各种因素的巧妙分隔。在这里，分隔图像系统应用以及诸如CPU、FPGA和DSP等已有图像处理器件的角色是核心因素，因功能重覆会导致成本上升。而开发一个能够为目标应用市场提供可行方案，以达到大规模量产(以实现最低生产成本)的标准图像SOC产品，事前需要两个模块的深入对话。
终端相机产品的主要的市场参与者，包括硬件、软件、系统建构者和光学工程师，以及一个多范畴的图像传感器开发队伍，都在贡献着各自在半导体科技和终端相机产品技术和应用的知识，寻找创新的产品解决方案。
本文将介绍一款面向条形码读码器和其它嵌入式视觉应用的CMOS图像传感器系列产品、它们的应用实例，以及一些未来发展趋势。
条形码 – 现今最流行的编码系统以及相关阅读技术概况
在以节假日及季节性消费零售和网上购物的行业中，物流运输、制造和批发等行业每日扫描逾50亿个条形码。随着1970年代全球首个条形码在一包口香糖上出现，现在它显然是最流行的可读编码系统，并且不断发展新的应用范围。一维条形码是首个出现的条形码(并因印刷技术进步，面积不断变小)，而它仍然是主流技术，可见于零售、运输和物流及其它行业的UPC(独有产品码)应用。二维条形码有多种不同的规格，提供相较一维码更多的可编程数据：一维码最大可载入20-25字符，且取决于条形码类型；二维码最大可以加载超过2000个字符。除了一般的写入产品信息和明细功用外，二维条形码也写入校验和(checksum)以及其它校正技术，以确保对印刷错误或破损的条形码有更大的容错能力。二维码在一些特定行业已获得大量应用，如自动化制造行业，零件的直接部件标示(direct part marking ，DPM)等。
二维条形码阅读技术升级大约在15年前开始，因为它能够同时阅读二维码和一维码，并成为当今的市场主流。
11.png
不是所有二维码阅读器都有同样的功能
条形码验证和解码系统正在快速发展并不断改进，以提供更快、更紧凑、更低价格和更强大的阅读功能。
虽然基于激光的一维阅读器仍然在产和使用，阅读系统最显著的技术进步却是来自二维阅读器。二维阅读器通过图像传感器，使得它能够提供显著的演算能力，带来之前不可能出现的附加功能。这些功能包括拍摄照片和录取视频，以及加入更多先进功能，常见例子包括文件扫描、光学字符辨识(OCR，orthogonal character recognition)、物件辨认、尺寸量度，以及更多其它功能。
Teledyne-e2v 的图像传感器是一款面向这一市场上的独特产品，提供了各种二维传感器选项以外的更多优势。其中一个主要原因是它经设计专门用于条形码阅读，而不是一般面向多用途、消费性或车用市场的产品。这意味着一种精确强大的解决方案，能够满足领先市场的条形码阅读器产品的一切要求。
Teledyne-e2v 近期开发出一小像素低噪声全局快门CMOS图像传感器系列产品，拥有独特功能，能够为自动数据采集系统(Automatic Data Collection System，ADCS)和自动辨识(Auto Identification，AI)市场应用带来显著成本节省及/或性能提升的方案。在这一市场区间，虽然传感器单元成本是最重要的因素，但诸如照明 / 光学镜头的降成本方案也需要一并考虑。
00000.png
二维码阅读系统要求非常快速的帧撷取图像以避免拖影现象。这需要尽可能短的曝光时间。另一方面，要获得最大景深(depth of field ，DOF) 或扫描范围，往往会使用非常小光学孔径(一般时F/8或更小)的镜片。能够进入图像传感器像素的非常小数目的光子结合很短的集成时间，意味着可以在低亮度应用中进行条形码阅读(见图5)。而全局快门也有利于阅读移动的条形码。
影响终端阅读器性能的主要传感器参数因而特别适用于条形码阅读应用。图 4 列出了一些主要的传感器/条形码阅读性能要求，并展示出Snappy传感器系列作为专门应用CMOS图像传感器范例的优势。
33.png
44.png
图4：Snappy面向条形码扫描功能的主要规格
55.png
信噪比
辐照(光子/像素)
图 5： Snappy 传感器的低亮度信噪比为减小系统照明光学能耗和成本提供优势
温升的影响
如果仔细一点观察在25°C的温度下，各种构成噪声参数的组件之间的差异，以及这些组件在>65°C 温升时的状况，某些组件的参数表现有局限性，在传感器选择过程中应予以考虑温升的影响。空间行列固定的读出噪声是条形码阅读的其中一个特别重要参数。考虑到固定模式噪声的形状与直线和横线相似，它们容易与条形码产生混淆，或会在图像中的条形码读取时加入错误的信息。
Snappy系列图像传感器使用先进的半导体工艺，在25°C时只有少数暗信号光子，而即便在65°C也只测出每秒77个光子。这有助于行和列的内嵌固定模式噪声消除算法，即便在高工作温度，也能实现只有几个百分比的固定模式噪声。
极低的读出噪声（结合时间和空间元素）典型数值为3个光子。即便在高温环境下也不会恶化。如果传感器在高温下性能下降，那意味着需要更多的照明，简介提高了系统成本。
独有的黑白+彩色像素滤镜模式—结合黑白和彩色像素的低亮高灵敏度数据的优势
传感器可以使用有彩色像素以便于加入附加的对象/标签辨识功能，提供更多安全功能以避免假冒(spoofing)或条形码本身不能阅读的情况。不过，因为彩色传感器的有机彩色滤镜的较低传送特性，以及需要结合红绿蓝三色像素来制造“彩色”像素，这意味着相比于单色的图像传感器，彩色禅观棋有较低空间分辨率和较低灵敏度。Teledyne-e2v的Jade图像传感器是一个有趣的创新，它使用单色像素，但在每四个单色像素加入一个彩色像素。这样就能保存阅读条形码至关重要的空间分辨率和灵敏度，同时让较低分辨率的彩色图像被同时撷取。
66.png
图6：创新色彩感测应用无需对阅读性能作出折衷
创新嵌入式应用专有功能
实现快速(Snappy) 条形码阅读不单是帧读出率的结果。虽然固定噪声是一个限制因素， 但Snappy传感器未有为此作出妥协。该传感器提供8 bit位深接近每秒120帧的出色性能。独有的通电模式确保器件在信噪比规格下撷取第一个图像(或快速自曝光亚图像)时已处于通电或候命状态。这并不是一般车月手或面向其它应用的全局快门CMOS传感器的标准功能，因为这意味着在完全稳定和达到数据表标明的信噪比功能数值前，系统必需弃置多个全帧图像。 这一独有的通电后首帧阅读能力能够为相机提供差异化因素，实现最高速条形码阅读，向终端用户提供“快拍”式扫描，为企业实现更高产能。以下將介紹在Snappy 傳感器系列中，Teledyne-e2v 成像团队发明的两个最具创新性的专利功能：它们经设计用于 终端产品扫描的超高速条形码阅读、辨认和解碼应用。
1.快速自曝光(Fast Self Exposure，FSE) 模式(用於Snappy 2MP 和 5MP CMOS 传感器)：
快速自曝光模式允许在变化光线下优化曝光时间 (见图7)。相较于传统的自动曝光模式，FSE带来更多融合时间和强大功能的优势，包括完全使用者编程并向终端用户提供稳定快速阅读优势，自适应任何光源或动态光源环境，而且对帧率几乎没有影响。
77.png
图7：用于条形码阅读和所有机器视觉应用的新型片上自动曝光方法
专利的FSE模式使用了多个片上部件实现以下功能：
(a) 独有的纵向模数转换器(ADC)允许在连续的行段设定4个不同的曝光时段，然后在整个阵列重复，产生4个具有不同曝光数值的低分辨率图像。这一功能也可以用作一种强大的高动态范围影像撷取功能。
(b) 横向增量亚采样，最大值1/64线
(c) 片上统计数据包含饱和像素数值，并同时提供一个16-bin直方图输出，可以在图像注脚直接读取开启中的帧或区域的数据
(d) 取景窗口(ROI)模式可支持FSE子帧，多区域，以及区域中区域
(e) 精细控制可使用直方图数值、平均值和二者的组合
(f) 可编程缓冲器提供直观的使用者控制和设定
这些功能为终端应用带来扫描速度的优势，因为FSE模式一般只使用小于10%的帧时段。其他CMOS传感器的传统嵌入式自动曝光控制(AEC)使用渐近技术，避免闪烁(flashing)并提供目标图像，使得图像融合速度较慢。在整个过程会耗费大量帧幅，使得速度不能配合条形码阅读应用的要求。
2. 智能取景窗口(Smart ROI)模式 (用于Snappy 5MP 传感器)：
智能取景窗口(Smart ROI) 使用片上算法来侦侧图片上的一个或多个条形码。而条形码解码图像处理系统需要把载有条形码的范围与其余的部份分别出来，从而对有用的部分进行处理。这一工作一般是在FPGA或CPU上进行，因为这一任务需要大量的闸/实时时钟(RTC)和处理能力，导致额外的高成本，以及选择处理引擎时所遇到复杂技术限制。
88.png
图8：利用智能取景窗口(Smart_ROI)功能检测图像传感器上多个移动中的条形码
把这一条形码侦测功能嵌入传感器中，能够实现整体成本节省，这不单是因为处理方面的开销显著减小，还有是由于任务在传感器内完成，无需通过其它数字信号端加工处理，实现系统性能和稳定性优势。在有效帧中侦测到的一维码或二维码在将会以区块形式，并加上X/Y坐标作为图像注脚区域(不可见)的可读信息的一部分。传感器可同时侦测多个区域(或条形码)，也可以侦测其它编码，例如是在光学文字辨识应用(OCR)中阅读印刷字符。即便是在条形码/对象/相机正在移动的应用中，这一功能仍然能够有效工作。
显着的成本节省和系统简化是主要的优势。5MP传感器主要用于高端条形码应用，这是因为它需较大的镜头和更强的处理能力配合去进行5MP实时图像处理/解码工作，抵销了更大扫描范围或面积所提供的主要优势。不过， Snappy系列传感器的小像素以及由片上智能取景窗口带来的处理开销节省，能够实现更小系统级成本。由于其低功耗和在单帧幅辨识多个条形码符号的能力，使得该产品正成为高分辨率传感器的市场动力，在电商物流行业更是明显的优势。
快速自曝光和智能取景窗口功能可以同时在Snappy 5MP传感器上工作，以确保在环境光线不断变化的环境下，仍然能够提供快速强大的操作能力。
Snappy传感器系列经过设计优化，满足低成本，低功耗的系统需求。前文也曾提及的传感器片上处理数据，工作性能可显著提高。虽然不仅满足条形码阅读应用和市场，同时满足其它类型的机器视觉(MV)应用，包括查验、测量、光学字符辨识等等，也可以通过Snappy 传感器的性能和嵌入式功能获益。其它适用范围包括嵌入式视觉系统、物联网边缘设备、无人机、增强现实、生物特征系统等等。
99.png
图9： Snappy传感器系列适用于其它机器视觉、智能物联网和其它工业计算视觉应用
Snappy传感器集成镜头和先进基于微电机的自动对焦提供附加价值
消费级相机光学模块并不适用于B2B工业应用的严苛长时间工作环境。另外，举个例子，用于条形码阅读的镜头一般有专门的性能和光学特性，需要最大的工作距离，而诸如光学调制转换函数(MTF)等光学像差需要最小化，以便于有效地对特征尺寸比奈奎斯特频率还要小的条形码进行解码。集成了强大的Snappy图像传感器和高性能镜头的MIPI光学模块(MOM) 能够提高系统的价值并节省开发时间和成本。
991.png
图10：使用集成定焦镜头和Snappy 传感器的MIPI光学模块(MOM)
MIPI光学模块 是嵌入式视觉应用的理想解决方案，它允许某程度上使用订制镜头，为20mm x 20mm的小型模块提供出色的性能和灵活性。Teledyne-e2v 现在向终端用户提供首个2MP MIPI光学模块样品，并且计划推出5MP版本，以及强大而轻量、基于微电机技术的2MP 自动对焦版本。自动对焦的最大优势在于相较定焦光学系统，它允许使用更大光学孔径来实现同级或更佳的扫描范围或工作距离，但需要显着地小的照明功耗。未来的2MP MIPI光学模块将为工业成像应用提供更多性能/或成本改进。新产品的详细内容将于2020年中公布。不过现在已有一个使用崭新开环‘多焦’功能的评估平台，能够提供最大工作范围和最大帧率，并具有可用于現存Snappy 2MP示范套件的MEMS自动对焦组件。
电商的爆发性成长带来的新趋势和变革
电子商务的爆发性成长带来的巨大双位数年复合增长率(CAGR)目标(每年大于25%) ，不单为物流中心运营带来变革，也为传统的实体零售点提供保障。零售市场正在面对巨大转变，需要提供更好的客户体验并通过使用无人自动‘自助扫描’系统来缩短结账时间。这些系 统的成功关键不单在于可靠的条形码辨识和解码能力，还有是需要更多使用彩色成像器件的更精细的对象辨认任务。
992.png
图11：电子商务的爆发性成长促成了对CMOS传感器要求和功能的新趋势和变革
如要全面实现高成长潜力，首要条件是要实现更高速度或更高产能的扫描仪和相机。具有宽画面的更高分辨率传感器将允许更快的阅读速度并实现更大表面积读码(在同一图像包含多个包裹和条形码)，以至在未来在单个传感器覆盖整个仓库区域。
关于图像传感器，我们看到柔性传感器技术应用的优势，它能够减小外部光学组件的复杂性并减省诸如镜片绕射极限等现有关于小像素的一些限制。这一发展可提供 两个优势，一是简化并节省光学本，二是允许2.5µ以下的小像素无需减小MTF仍然达到镜片光学绕射极限。
在仓库应用中，对于一个小包的以及扫描小包上的条形码的需求，往往源于不断增长的电商分发中心的效率目标。每一平方厘米的存储和运送空间都要实现最大化应用。要对货件实现整个运送和供应链的三维尺寸监控，以至于通过二维码阅读相关编码/文字标签，现需要使用两个单独的相机，一个用于三维(大部分使用结构光源或基于三维技术的立体化视觉)，而另一个则使用非互联的二维相 机。
现在的研究重点在于研发一个二维和三维兼具的CMOS传感器，可以同时提供传统的二维影像和三维点云(point cloud)。Teledyne-e2v致力为这些新市场范围提供尖端领导技术，并已制订能够配合下世代相机和成像系统的未来产品路线图和知识产权，使得相关技术够聚焦应用专有需求，相信不用很久，便可预见到新的产品问世。
