3D深度相机调研【史上最全，不服来战】
1 TOF 1.1 Kinect v2
Kinect v2是Microsoft在2014年发售的，如图1-1所示。相比于Kinect v1在硬件和软件上作出了很大的进化，且在深度测量的系统和非系统误差方面表现出更好的性能。 图1-1 Kinect v2 Kinect v2中一共有三个摄像头，从左至右分别为颜色摄像头，红外摄像机，红外投影机，如图1-2所示。 图1-2 Kinect v2详细结构 Kinect v2深度传感器基于飞行时间TOF测量原理，闪光红外光照亮场景，光线被障碍物反射，每个像素的飞行时间由红外相机记录。在内部，波调制和相位检测用于估计到障碍物的距离（间接ToF）。 其物理尺寸为250mmL×70mmW×45mmH，深度范围为0.5-4.5m，3D分辨率为512×424，RGB分辨率为1920×1080，帧率为30FPS，视场角为70°H, 60°V，使用USB3.0接口，可接入ROS驱动。
1.2 PMD CamCube 3.0CamCube3.0拥有200x200像素，可同时获取高分辨率距离和灰度信息。采用最新的高灵敏度和增强性能的PMD 41k-S2芯片，可在短积分时间和长距离下获得更高精度的数据，采用SBI（背景光抑制）技术，产品可用于户内和户外环境。优化的光学镜头（F1,1），对于宽视场角应用场合下仍可提供优秀的3D性能。抗运动模糊处理允许测量到快速移动物体。ROI（感兴趣的区域）设定功能可满足特定应用下横向分辨率。硬件同步触发可轻易同CamCube3.0到其它系统。对于更高级的图像处理需求，CamCube3.0可提供原始数据和算法去进一步处理这些数据。 图1-3 CamCube3.0 扩展API(PMDSDK2)接口函数可在不同的调制频率和积分时间下调节多达四种帧速率输出，以便根据实际情况获取不同的场景信息。由于采用模块化的设计，硬件和软件可轻易调整为不同的场合需求。比如，改变镜头或者改变主动照明以满足特殊需求，由于固件可升级，CamCube3.0可轻易升级到后续版本。产品发货时自带显示工具软件CamVis3，API接口函数PMDSDK2和MATLAB接口PMDSDK，可轻易把想法变成现实。其技术参数如图1-4所示。 Camcube3.0相比于Kinect v1来说具有更宽的工作距离，而且工作距离可调整（可通过更改光源的调制频率来延长工作距离到几十米），还通过更改光学镜头来调整视场大小，具有可靠的深度精度，每个像素对应一个3D数据。而Kinect，深度方向的分辨率不清晰，当目标模式不能被成功探测时，深度图通常出现空洞，深度精度大约为3cm–4cm。 目标物体的分辨率方面：Kinect不能很好地分辨手指，而Camcube3.0可探知更细小的特征。PMD相机抗环境光干扰的能力更强，PMD相机可适用户外环境，从体积上说，PMD的相机比Kinect更小巧，从成本上说，Camcube3.0比Kinect昂贵很多。 图1-4 Camcube3.0技术参数
1.3 Mesa Swiss Ranger 4000MESA Imaging成立于2006年7月，旨在将3D飞行时间深度测绘相机商业化。除了屡获殊荣的SwissRanger™技术外，MESA还能够利用其丰富的经验来开发定制的相机解决方案。 Swiss Ranger 4000实时提供高分辨率3D图像数据。该器件依赖于能够实时捕获三维数据集（称为深度图）的图像传感器技术，并内置于单个紧凑的固态外壳中。 相机的核心是一种先进的传感器技术，该技术采用飞行时间距离测量原理，其中来自相机内部照明源的红外光被场景中的物体反射并传播回相机，在那里其精确的到达时间由数万个传感器像素中的每一个独立测量。提供两种测量范围型号，最远可达 10 米。日期通过USB 2.0或以太网输出到计算机进行可视化，解释和处理。有各种型号可供选择，以满足用户需求。 图1-5 Swiss Ranger 4000 其物理尺寸为65×65×68mm，最大帧率为50FPS，RGB分辨率为176×144，视场角为43.6°×34.6°，可以通过USB或者以太网进行采集，现已停止生产。
1.4 Creative Senz3D/DepthSense 525索尼DepthSenseTM飞行时间(ToF)传感器集各项先进技术于一体，提供快速、可靠的实时3D成像。通过利用电流辅助光电子解调器(CAPD)和其高性能背照式像素结构，以及LUCID的专业化的相机设计，索尼可在LUCID的Helios 3D系列相机中达到最大飞行时间性能。 飞行时间（ToF）技术已在工业行业应用多年，但索尼IMX556 DepthSense ToF传感器的发布将3D传感的精度和准度带到了行业的新水平。凭借其独特的DepthSense像素结构，索尼的ToF传感器能够更可靠地3D 格式、更详细、更快速的帧率重建被测物体。结合LUCID自身的相机研发技术力量，索尼的DepthSense传感器将为我们带来最大的工业应用潜力。DepthSense 525的RGB分别率为320×240，视场角为74°V×58°H，深度范围为0.15-1m。 图1-6 DepthSense 525
1.5 ifmifm O3D303可以用于距离、液位或体积的视觉评估，通过时间间隔测量得来的可靠距离测量，在一个单元中集照明、测量和评估为一体，每次测量输出93,000个距离和灰度值，方便对应用进行详细评估，通过直观的参数设定软件进行集成。 其图像分辨率共有两种，2×2固定模式为176×132，或352×264，深度范围为0.3-8m，帧率25FPS，视场角为60°V×45°H，物理尺寸为120×95×76 mm，接口使用以太网接口，支持ROS、ROS2驱动。 图1-7 ifm O3D303 ifm O3X100的3D分辨率为224×172，深度范围0.05-3m，帧率最大为20FPS，支持自主配置，视场角60°V×45°H，物理尺寸为80mm×43.5mm×21mm，接口使用以太网接口，支持ROS、ROS2驱动。 图1-8 ifm O3X100
1.6 BaslerBasler是全球领先的高品质工业相机和相机配件制造商，开发并制造面向工业、交通和医疗等市场应用的工业相机、工业镜头，以及其他工业视觉组件。 Basler blaze相机是一款工业3D相机，按照脉冲式Time-of-Flight原理工作。配备在940 nm近红外范围(NIR)内运作的激光二极管(VCSEL)，只需一次拍摄即可生成包含2D和3D数据的多部分图像，包括范围、强度和置信图。 Basler blaze采用Sony最新DepthSense™ IMX556PLR芯片技术，实现出色3D成像；使用ToF (Time-of-Flight)的方法，可进行精确到毫米级的光学测量；测量范围大，例如可覆盖两个欧标托盘或一辆小型汽车；实时传输经过预处理的3D点云和2D强度图像；能在自然光下工作，具备IP67级保护，在严苛条件下依然能获得稳定的成像效果；不受光线和对比度的影响；借助精巧的设计和千兆网(GigE)接口，轻松实现系统集成；友好易用且独立于平台的编程界面，带有示例程序；能在多相机系统中可靠运行，且互相不会产生干扰。 图1-9 Basler blaze blaze-101相机物理尺寸为100mm×81mm×64mm，分辨率为640×480，使用GigE以太网接口，视场角为67°×51°，工作范围为0-10m，精度为±5mm[0.5-5.5m]，帧率为30FPS。
1.7 TerabeeTerabee是飞行时间传感TOF的领导者。传感器模块、嵌入式软件和面向系统集成商的即用型解决方案使Terabee成为LiDAR、3D深度传感、低分辨率热成像和射频定位系统的首选合作伙伴。Terabee现在的3D TOF相机一共有三种，分别是：TeraRanger Evo 64px、Terabee 3Dcam 80×60以及Terabee 3Dcam VGA。 Evo 64px专为室内使用而开发，可在15度视野范围内输出8×8高速距离读数矩阵，最大范围可达5米。全部采用小巧轻便的外形，仅重12克。免费的图形用户界面可用于在PC上进行快速测试，并且还编写了ROS驱动程序，增加了即插即用的便利性。实物图如图1-10所示，规格参数如图1-11所示。 图1-10 Evo 64px 图1-11 Evo 64px规格参数 Terabee 3Dcam 80×60具有80×60像素分辨率和74°×57°视场角。Terabee 3Dcam带有基于OpenNI的SDK、C/C++示例、Python示例和ROS包，可通过Windows或Linux操作系统上的USB接口轻松设置和流式传输深度数据。其实物图如图1-12所示，规格参数如图1-13所示。 图1-12 Terabee 3Dcam 80×60 图1-13 Terabee 3Dcam 80×60规格参数 Terabee 3Dcam VGA工业级深度摄像头的首选，坚固、安全、紧凑，具有VGA分辨率和最宽广的视野。作为Terabee工业4.0产品的最新成员，3Dcam VGA结合了价格，性能和多功能性。该器件坚固耐用，IP65和IP67防护等级，是同类产品中体积最小、重量最轻、价格最实惠的工业级飞行时间3D摄像机。 3Dcam VGA 具有最宽的视场（90°×67.5°）、VGA分辨率（640×480像素），作为1类激光产品，3Dcam VGA是工业自动化和工业4.0解决方案的关键组件。它适用于物流，移动机器人，人机交互，液位监控，智能农业以及人员和运动检测等应用。 其物理尺寸为100×103×32mm，RGB分辨率为640×480（VGA），可以输出深度信息、点云等，深度范围为0.35m-5m，最高可达30FPS，视场角为90°×67.5°，采用GigE以太网接口和RS485接口。 图1-14 3Dcam VGA
1.8 Phab2 ProGoogle和联想合作于2016年11月推出的联想Phab2 Pro，是全球首款支持Google Project Tango技术的手机，其深度相机采用TOF技术方案，由PMD公司和Infineon公司合作研发。 图1-15 Phab Pro深度相机和TOF传感器 Phab2 Pro使用三摄像头传感器实现这项TOF技术。该子系统使用三星的1600万像素分辨率CMOS图像传感器（CIS），Omnivision的VGA分辨率CIS，以及英飞凌和pmd合作的38000像素分辨率3D图像传感器，集成到一个具有近红外垂直腔面发射激光器（VCSEL）的子系统中。 为了提供3D场景，三摄像头的高分辨率摄像头提供纹理，全局快门摄像头提供运动跟踪。最后，由于VCSEL发射器，ToF传感器以高速率提供深度感知，这使手机能够像人类一样快速理解空间和运动。
1.9 奥比中光Femto奥比中光是行业领先的3D视觉感知整体技术方案提供商，在技术纵向上对包括深度引擎芯片、感光芯片、专用光学系统等在内的核心底层技术以及SDK、行业应用算法等全链路技术进行全栈式自主研发，在技术横向上对结构光、iToF、双目、dToF、Lidar、工业三维测量进行全领域布局。 Femto是基于奥比中光iToF智能视觉平台技术开发的高性能RGBD相机，适用距离为0.2m-5m，搭载有iToF高画质Rx、Tx模块，可输出高完整度、高精确性的深度数据，支持USB3.0/Tpye-C接口，可实现3D追踪、识别及重建等应用需求。其物理尺寸为99.4mmL×69mmW×25mmH，深度范围为0.2-5m，精度为1%，深度分辨率@帧率为640×480@5/10/15/30FPS，使用接口为USB3.0。 图1-16 Femto
2 双目视觉 2.1 ZEDZED是STEREOLABS出品的双目摄像头，广泛应用在科研机构的无人车、协作机械臂上，如图2-1所示。其3D分辨率在Ultra模式下可达到RGB时的分辨率，具体见图2-2，物理尺寸为175×30×33mm，帧率可达100FPS，深度范围为0.3-25m，视场角最大为90°(H)×60°(V)×100°(D)，接口为USB3.0，支持ROS驱动。 图2-1 ZED双目 图2-2 ZED相机输出视频参数
2.2 Bumblebee系列Bumblebee系列是美国红外热成像巨头菲力尔公司（FLIR System）的一款用于快速构建立体视频及立体重建的双/三目立体视觉组件，凌云光技术作为FLIR在国内的代理商。该系列利用双目立体匹配计算，可实时得到场景深度信息和三维模型。出厂即做好相机及镜头参数校正，适用于户内外各种环境下的立体视频研究，同ZED一样科研领域用在无人车、协作机械臂上较多，目前已到3代，2代已停产。 图2-3 Bumblebee2相机 其相机参数如下： 图2-4 Bumblebee系列相机参数
2.3 Leap MotionLeap Motion是于2013由Ultraleap for Developers发布的面向PC及苹果电脑MAC的一款体感设备，是专门用于识别手部几何信息的体感设备，实物产品如图2-5所示，内部结构如图2-6所示。Leap Motion内置了双摄像头和3个红外LED灯来采集数据。相比于微软公司的Kinect和其他的Time-of-Flight摄像机，Leap Motion对手部的识别更加的精确，在手势交互方面更有优势；而相比于能够以更高的精度识别手部数据的数据手套，Leap Motion拥有价格更低的优势，在国内，Leap Motion的售价大概在人民币500-2000元左右（数据来自京东商城），虽然精度不如数据手套，但是在普通的应用场景，Leap Motion的精度足够。其物理尺寸为80mmL×30mmW×11.3mmH，深度范围在10cm-60cm，最高可达80cm，视场角为140°×120°，支持USB2.0。 图2-5 Leap Motion Controller 图2-6 Leap Motion内部结构 此外，Ultraleap for Developers还有全新产品Ultraleap Stereo IR 170，如图2-7所示。Ultraleap Stereo IR 170是下一代光学手部跟踪模块，可捕捉用户的手以及手指以便于他们方便地与数字内容进行互动。它被集成到用于AR/VR/XR的企业级硬件解决方案、显示器、安装和虚拟/增强现实耳机原型设计、研究和开发。Stereo IR 170评估套件由Ultraleap Stereo IR 170摄像头模块组成，模块位于塑料外壳中，带有USB头，便于即插即用评估。其物理尺寸为105mmL×10mmW×7.7mmH，FPS为90，深度范围在10cm-75cm，最高可达1m，视场角为170°×170°，最小为160°×160°，支持USB2.0、USB3.0。 图2-7 Ultralleap Stereo IR 170
2.4 DUO 3DDUO 3D的相机使用全局快门。但是分辨率比较低，在640×480的时候帧率为60FPS，焦距2mm，170度广角相机，SDK预完成立体匹配。其中一种DUO MLX型号的双目携带了6轴的IMU。产品SDK支持：Linux、Windows、MAC，支持arm、x86架构的CPU。 DUO-MINI-LV1(DUO M R2)型号的摄像头其物理尺寸为52.02mmL×25.40mmW×11.60mmH，基线长30mm，帧率可达0.1-3000+ FPS，分辨率有：45FPS@752×480、49FPS@640×480、98FPS@640×240、192FPS@640×120、86FPS@320×480、168FPS@320×240以及320FPS@320×120。视场角为170°Wide Angle Lens，采用USB2.0接口。 图2-8 DUO3D DUO Stereo Camera双目相机3d双目立体摄像头
2.5 Viper工业级双目立体相机Viper™是欧洲Rubedos公司推出的工业级双目立体相机，其三维视觉感知系统通过内置的NVIDIA Jetson™ Tx2处理器搭配用于特征点匹配的先进算法，实现了纯双目获取精准深度图像的功能。同时针对应用者提供例如跟随，物体识别等成熟的应用软件包，对于开发者提供丰富的Windows/Linux API并支持ROS，机身小巧便捷，拥有IP65的防护等级并支持根据用户需要定制开发专用的双目立体相机。 图2-9 Viper摄像头 其物理尺寸为246mmH×98mmW×35mmH，基线长200mm，接口使用1Gb/s的以太网接口，镜头焦距为3.6mm，视场角为70°×43°×82°(H×V×D)，深度帧率可达40FPS，深度范围为1-15m，最高可达50m，深度分辨率为1280×720，可以输出视差图、RGBD点云。
2.6 Carnegie Robotics® MultiSense™ S7Carnegie Robotics公司的MultiSense S7是一款坚固耐用的短距离3D传感器，即使在最恶劣的环境中也能以GigE速度提供高分辨率和高精度数据。 图2-10 MultiSense S7 MultiSense S7是一款高分辨率、高精度的3D传感器，可提供实时垂直和水平视野覆盖，以及每个距离点的颜色信息。S7是首款商用摄像头，具有完全集成的车载处理能力和自动校准功能。S7能够每秒匹配1100万个特征，从而获得更高的帧率和更密集的3D范围数据。S7的GigE连接提供了高度可靠的同类最佳性能。这些特点只是S7目前部署在国防、农业、采矿和重型装备等多个行业的部分原因；此外还广泛应用于机器人技术、传感、地图绘制和自动化应用。 S7的半全局立体匹配算法将左右摄像机图像转换为3D深度图和点云，并以高达30FPS的帧率传送。Carnegie Robotic公司最先进的校准过程是将像素数据转换为精确范围测量的关键，同时补偿透镜畸变、透镜错位和整体制造偏差。 其物理尺寸为13cmL×13cmW×6.5cmH，分辨率为2048×1088、2048×2048，帧率最高位30FPS，焦距为6.5cm，视场角为80°×49°、80°×80°，接口为1Gb/s的以太网接口，支持ROS。立体匹配采用的SGM（Semi-global Stereo Matching）算法，最大视差为256，子像素精度为4bit（1/16th pixel），深度信息为7.5FPS@2048×1088，15FPS@2048×544，30FPS@2014×544，最小深度范围为0.2m。
2.7 e-Con Systems Tara Stereo CameraTara是一款兼容UVC的3D立体相机，基于onsemi®的MT9V024立体传感器，支持WVGA（（2*752）×480），以60fps的速度通过USB3.0以未压缩格式传输。该立体摄像头通过USB3.0接口向主机提供并排交错的两个同步传感器帧数据。Tara可用于客户开发立体相机算法，也可用于希望在产品设计中集成立体相机的客户。e-con Systems™ 3D立体相机是深度传感、视差图、点云、机器视觉、无人机、3D视频录制、手术机器人等应用的理想选择。 其物理尺寸为100mmL×30mmW×35mmH，3D分辨率为752×480，帧率为60FPS，视场角为60°H，接口使用USB3.0，支持ROS驱动，内置IMU。 图2-11 Tara3D立体相机
2.8 SICK® Visionary-T™SICK是工业用智能传感器和传感技术解决方案的主要制造商之一。独特的产品和服务范围为安全有效地控制流程创造基础，防止发生人身事故并且避免环境污染。 SICK® Visionary-T™系列3D视觉传感器为室内使用提供高度灵活性。基于飞行时间测量，Visionary-T为每个像素实时提供深度信息，包括用于固定式应用。传感器传输完整的原始数据以及针对特定应用经过预处理的数据，此外还可传输分析完毕的测量值，实现简单的传感器应答。性能强大的可视化工具以及可靠的3D信息使Visionary-T成为内部物流、机器人技术或工业车辆等领域的理想解决方案。在一次拍摄中采集超过25000个距离值和强度值，3D信息同样可用于固定式应用，且安装简便，可快速更换传感器。 图2-12 SICK® Visionary-T™ 其3D分辨率为144×176，帧率可达30FPS，视场角为69°H×56°V，物理尺寸为162×93×78mm，接口使用以太网接口，支持ROS驱动。
2.9 Arcure OmegaArcure Omega是用于室内/室外应用的立体摄像机，适用于恶劣环境的可靠立体摄像机。Omega是一款智能而坚固的立体相机，可进行嵌入式计算以生成视差地图，该地图可以轻松转换为距离图。Omega拥有两个130万像素和120°视场的传感器，为用户提供元数据和视差映射，分辨率可配置，原始图像高达每秒20帧。Omega可在恶劣条件下运行：工作温度从-40°C到+75°C，冲击和振动。Omega是用于户外应用的最坚固的3D传感器，在采矿，建筑，工业，钢铁厂，农业活动方面拥有丰富的实地经验。 图2-13 Omega相机 该相机可输出可靠、准确的3D数据，适用于恶劣环境中的各种应用，且在苛刻的条件下运行数小时后无需重新校准。立体传感器头提供：高分辨率RGB原始图像、视差图、校正图像。视差图在嵌入在相机中的FPGA上计算，这是一个完整的硬件实现，可提供低延迟和高能效解决方案。其参数如图2-14所示。 图2-14 Omega技术参数
2.10 Nerian SceneScanSceneScan是Nerian最新的3D深度感知解决方案，是SP1立体视觉传感器的改进版。SceneScan使用立体视觉和基于硬件的图像处理，可以实时计算观察环境的3D图像。与传统的深度相机不同，在可见或不可见的光谱范围内，不需要发出任何光线。因此，SceneScan即使在强光、远距离测量、重叠范围甚至水下测量等困难条件下也能提供精确的3D感知。 图2-15 SceneScan 其物理尺寸为104.5mmL×105.5mmW×45mmH，接口支持USB3.0、Gigabit Ethernet以及GPIO，最大灰度分辨率为800×800，SceneScan不支持彩色图像，但SceneScan Pro可以输出864×864的彩色图像。深度范围为64-128像素，帧率最高可达45FPS，子像素分辨率为4bit（1/16th pixel）。其视差范围对应的图像分辨率如下所示： 图2-16 分辨率
2.11 大疆精灵Phantom4 Pro V2.0大疆在Phantom4上实现了双目立体视觉系统加惯性测量元件构成的视觉里程计，现已停产。飞机上装了两套双目立体视觉系统，一套向前看，一套向下看，一共是四个相机。两套双目立体视觉系统都参与视觉里程计的计算。通常情况下以向下看的双目立体视觉系统为主，如果向下看的相机对着一些特征不明显的环境（比如纯色的地板、海面等等），感受不到什么图像变化，视觉里程计会自动切换到向前看的立体视觉系统做测量计算。虽然精灵4采用的都是较为成熟的机器视觉技术，但是由于精灵4上机载的计算量非常有限，大疆还是下了相当久的苦功去优化算法，并使用了Movidius公司制作的图像算法处理专用芯片，结合Movidius公司的图像处理算法库优化四路图像处理的性能。前视角度为水平60°，垂直±27°，下视角度为前后70°，左右50°。 两套双目立体视觉系统还带来了视觉里程计之外的两个好处：1.向下看的一套双目立体视觉系统可以探测下方地面上物体的三维位置，从而知道地面的距离；2.向前看的一套双目立体视觉系统可以用来探测前方场景中物体的深度，产生深度图进行障碍感知。深度图还可以用于重建一个飞行器周围的局部地图，以进行精细的运动规划。 Phantom4 Pro V2.0是Phantom4的进阶版本，飞机上装了三套双目立体视觉系统，一套向前看，一套向下看，一套向后看，一共是六个相机。前视角度：水平60°，垂直±27°；后视：水平60°，垂直±27°；下视：前后70°，左右50°。适用于表面有丰富纹理，光照条件充足（>15 lux，室内日光灯正常照射环境）。 图2-17 Phantom4 Pro V2.0
2.12 小觅MYNT EYE作为基于视觉识别技术的3D传感器，小觅双目摄像头深度版可适用于室内外双重环境。无惧室外强光环境，完全黑暗的室内环境亦可工作。小觅双目摄像头深度版（MYNT EYE Depth）可广泛应用于视觉定位导航（vSLAM）领域，包括：无人车和机器人的视觉实时定位导航系统、无人机视觉定位系统、无人驾驶避障导航系统、增强现实（AR）、虚拟现实（VR）等；双目也可应用于视觉识别领域，包括：立体人脸识别、三维物体识别、空间运动追踪、三维手势与体感识别等；应用于测量领域，包括：辅助驾驶系统（ADAS）、双目体积计算、工业视觉筛检等。 小觅双目摄像头深度版（50°镜头）产品规格型号为：D1000-50/Color。内置深度计算芯片，无需上位机直接输出深度，同时搭载全局快门，并能实现芯片级双目帧同步，可输出720p/60fps深度图像，深度误差最高可达毫米级。同时，内置六轴IMU传感器和IR主动光探测器（120°版本）。 图2-18 小觅双目摄像头深度版 分辨率：2560×720、1280×480，深度分辨率：On chip1280×720、640×480，帧率：60FPS，深度工作距离：0.49m-10m，运行温度：-10°C55°C，储存温度：-15°C70°C。不过小觅智能公司现在已经搜索不到其官网，网络上传言已经倒闭，淘宝、天猫也无相应产品。
2.13 人加智视Human+人加智视，基于对人类双眼环境感知原理的研究，研发被动式双目立体视觉技术，实现对自然环境的三维还原。 其双目相机司眸PSP010-800，属于工业级双目深度相机，采用自主研发的RSV-P 3D视觉技术，为室外自主移动机器人提供稳定实时的深度感知能力，可用于障碍检测和三维重建等。司眸PSP010-800的最大特点在于其克服了传统双目匹配算法对于复杂运算系统（如CPU、GPU）的依赖，在单片低成本FPGA上实现了从图像输入到视差图输出的所有过程，无需依赖其他运算和存储设备，因此具备小成本、低功耗的优势。其FPGA部分实现了双目矫正和匹配算法，帧率很高，体积小巧。此外，司眸PSP010-800采用16cm的长基线，探测距离可达30m，内置障碍检测算法，障碍信息可通过UART输出。 图2-19 司眸PSP010-800双目深度相机 该相机基线为16cm，输出帧率为25FPS，分辨率1280*800，可分别输出8位的左图、右图灰度图，并可以输出16位视差灰度图（支持转成深度图和点云图）。测量距离为1m-30m，视场角为70°H×50°V，采用USB3.0接口，物理尺寸为198mmL×42.5mmW×45.2mmH。
2.14 图漾科技图漾科技是一家3D计算机视觉设备及技术方案的供应商，其核心产品就是基于“双目摄像头+结构光”的3D工业相机，精度最高在1mm。 图漾三维智能相机采用独立知识产权的主动双目视觉技术，获取比传统双目视觉更多的景深细节和更强的环境适应性。获取到的数据信息，可帮助机器人、工业、商业和消费等多个领域实现智能化。PM801系列采用铝合金材质的机身，结构坚固，能够适用于各种严苛的工业使用场景。 图2-20 图漾工业3D相机PM801 图漾的视觉传感器包括双目红外摄像头、彩色摄像头和结构光投射器，采用自主知识产权的主动双目技术，能够获得比传统双目视觉更多的，景深细节，具有比单目结构光更强的环境光抗干扰能力，并能够在主动双目和被动双目模式下自动切换。 该相机物理尺寸为385mmL×82mmW×89.6mmH，基线长度300mm，测距范围为0.84m-4.3m，测量精度为0.05%-0.2%，可以输出点云图、深度图、IR图以及RGB图，深度图支持1280x960@1fps、640x480@1fps、320x240@1fps，彩色图支持2592x1944@11fps、1280x960@16fps、640x480@25fps，并且支持RGB-D同步对齐。
2.15 INDEMIND双目视觉惯性模组INDEMIND是一家拥有自研机器人全栈AI技术的机器人AI技术供应商，立足于机器人产业链最上游，为整个机器人行业提供通用的、可靠的、低成本的机器人AI技术。 双目视觉惯性模组采用“双目摄像头+IMU”多传感器融合架构与微秒级时间同步机制，为视觉SLAM研究提供精准稳定数据源；内置自研高精度Vi-SLAM算法，以满足SLAM研究、智能机器人、无人机避障、室内外导航定位等使用需求。 图2-21 INDEMIND双目视觉惯性模组 INDEMIND双目惯性模组是业内首款支持200FPS图像获取的双目惯性相机，可在高速机动下精准获取图像及IMU数据，满足开发者高速采集需求，极大降低相应算法追踪难度，并可满足高速SLAM算法（如车载）的定位和建图数据需求。 图2-22 高速采集 模组运用摄像头+IMU多传感器融合架构，使摄像头与IMU传感器优势互补，实现位姿精度更高、环境适应性更强、动态性能更稳定、成本更低的双目立体视觉硬件方案。采用全局快门的高清摄像头，可提供水平120°、垂向75°范围内1280×800@25/50/100FPS、640×400@25/50/100/200FPS图像数据，可有效降低运动图像拍摄下的图像畸变，为SLAM算法提供强有力前端数据采集能力。内置6轴IMU传感器，最高运行频率1000Hz，可精准测量载体运动特性，高频率刷新载体位姿信息，快速建立对周围环境的三维立体感知。 图2-23 技术指标
2.16 中科慧眼中科慧眼2014年10月成立于北京，基于国际领先的双目视觉算法提供车载3D环境感知方案和主动安全系统，是国内率先推出可量产车载后装、准前装、前装立体视觉传感器的高科技公司;是国家高新技术企业、中关村前沿科技企业、中关村高新技术企业、专精特新中小企业；是国内第一家商业化落地立体视觉感知技术的公司；同时也是百度Apollo生态成员，百度Apollo基金投资的国内唯一一家智能视觉传感器高科技企业。
中科慧眼立体（双目）视觉传感器已批量出货，并获得多家商用车厂前装定点，为L0~L5智能驾驶全栈式赋能，为国内80%以上的自动驾驶项目提供双目感知技术。双目视觉传感器兼具激光测距与视觉识别能力，是一种高性价比的智能传感器。
2.16.1 SE1立体视觉产品SE1是一款专门针对乘用车前装的自动驾驶/辅助驾驶视觉系统产品。它可以通过 SDK 输出左、右灰度图像、视差图像、 3D点云数据、车道线识别结果（输出转化为世界坐标系的三次方程）、障碍物提取结果等多维度信息；又可以独立完成FCW、 LDW、 HMW 等辅助驾驶功能并进行听觉系统、视觉系统报警。
2.16.2 S1
S1是一款专为商用车推出的主动安全驾驶辅助系统，通过近似人眼的立体相机辅以先进的视觉算法，可实时构建出车辆行驶道路前方的三维空间场景，系统实时检测前方车辆、车道标识线，在可能发生碰撞危险或 无意识偏离车道时（未打转向灯）向驾驶员发出警报提醒，帮助驾驶者预防因疲劳驾驶、分神、开小差、新手上路等各种突发状况引发的碰撞、追尾、车道偏离等交通事故，提升驾乘安全。
2.16.3 S2S2是基于中科慧眼产品研发的适用于乘用车的预警系统，能够在车辆行驶过程中针对潜在碰撞危险向驾驶员发出提醒。
双目立体相机能够实时构建出车辆行驶道路前方的三维空间场景，可检测各类障碍物并识别多种车道线，对于各类车辆、行人、静态障碍物、不规则障碍物和微小障碍物等，均可清晰响应。
2.16.4 长江3号立体相机长江 3 号立体相机集成了中科慧眼自研的亚像素级的立体视觉匹配算法，支持实时输出左相机和右相机的图像及与每帧图像对应的深度数据（无需上位机可直接输出），通过配套的SDK可以将视差数据转换为现实世界中的距离数据，测距精度最高可达厘米级。
无需额外增加感光器件，长江 3 号可实时输出所处环境场景，如白天、黄昏、夜晚。
2.16.5 长江5号立体相机长江5号是一款基于立体视觉和机器学习分类识别融合的可应用于辅助驾驶或自动驾驶的传感器，长江5号的立体相机可实时构建出车辆行驶道路前方的三维空间场景，并通过高性能机器学习、边缘计算，实现障碍物类型检测与属性识别及车道线检测功能，可在发生碰撞前或偏离车道时，向驾驶员发出预警提醒，降低事故发生的概率。 长江5号立体相机集成了中科慧眼自研的亚像素级的立体视觉匹配算法，支持实时输出左相机和右相机 的图像及与每帧图像对应的深度数据（无需上位机可直接输出，通过配套的SDK可以将视差数据转换为现实世界中的距离数据，测距精度最高可达厘米级。
无需额外增加感光器件，长江5号可实时输出所处环境场景，如白天、黄昏、夜晚。
2.17 元橡科技元橡科技创立于2017年，国家高新技术企业，智能立体视觉软硬件一体解决方案提供商。
元橡科技深耕立体视觉领域，自研产品可靠性和高精度得到业界广泛认可。自研的双目芯片，实现高帧率，全分辨率高精立体匹配，经过市场验证，真正为用户实现降本增效，为立体机器视觉领域添上一枚“中国芯”。
元橡科技以北京为研发中心，在上海、嘉兴、苏州等地设有子分公司，公司自主创新凝聚力量，不断提升产品性能、功能，持续提高服务品质，服务国内外汽车、工业机器人、智能监控等多个行业。
元橡科技双目产品通过构建三维图像精准识别、测量、检测等，进行全类型感知，无需建模，对运动物体、人、动物等的测量中，图像获取瞬间完成，深度成像分辨率达1080p，纵向分辨率相当于超过1000线，作为软硬件一体的解决方案提供商，鲁棒性更强，帮助客户降本增效，互动体验更佳。
元橡科技产品这块官网没有太具体的信息，只有一些图片：
2.18 OAK
官网：OAKChina
2.18.1 OAK Series 3OAK Series 3的产品将会搭第三代VPU（Keem Bay）。与上一代VPU Myriad X相比，Keem Bay集成了四核ARM A53，可运行YOCTO Linux，AI推理性能至少提高5倍，立体深度感知将增强。目前，官方消息表示，将会在今年第四季度上市。
Series 3保持了向后兼容性，所以为Myriad X编写的pipeline仍然可以在Keem Bay上运行。
官方的计划是在2022年第四季度正式发布Series 3产品，不过可能会因为供应链等问题有所延迟，最新信息请关注OAK中国各个平台。
2.18.2 OAK-D-ProOAK-D-Pro是OAK-D的升级版，结构光测距，具有红外激光点阵发射器（主动深度视觉），和红外照明LED（用于 “夜视”）。它也比OAK-D更小、更轻，精度更高。
产品特点双目+结构光测距，精度更高与OAK-D用的是一样高像素RGB镜头（IMX378）2个全局快门镜头OV9282（带有IR）IR LEDBNO086 IMU红外镭射激光主动立体深度(无光深度)主动照明(带IR，无光计算机视觉)体积更加小巧，重量更轻板载AI功能：实时3D检测、特征追踪、OCR、人脸识别、边缘检测、人体骨骼、语义分割等支持的平台和语言：Windows10、Ubuntu、树莓派、linux、macOS、Jetson、Python、C++、ROS。支持的框架和神经网络：OpenVINO、Kaldi、Caffe、ONNX、MXNe、TensorFlow、Pytorch、MobileNetv2SSD、Deeplabv3+、YOLOv3/v4/v5等等。 3 结构光 3.1 Kinect v1Kinect v1深度相机拥有一个RGB彩色摄像头，一个红外线CMOS摄像机和一个红外发射器。相机的红外线CMOS摄像机和红外发射器以左右水平的方式分布。该相机采用的是以结构光为基础进行改进后的光编码（Light Coding）技术获得物体的深度信息。Kinect v1有Moving Touch传动马达电动机用于仰角控制，一般是根据它与用户间的位置、距离调节。Kinect v1如图3-1所示，从左至右分别为红外投影机，颜色摄像机，红外摄像机。 图3-1 Kinect v1 其RGB分辨率为640×480，帧率为30FPS，深度分辨率为320×240，帧率为30FPS，接口为USB2.0接口。
3.2 Intel RealSenseIntel® RealSense™深度摄像头D415和D435将Intel D4视觉处理器和深度模块集成在外形小巧、功能强大、成本低廉、可立即部署的封装中。Intel® RealSense™ D400系列摄像头设计用于实现轻松设置和便于携带，是将深度感应应用到设备中的开发者、制造者和创新者的理想选择。这些摄像头可捕获室内或室外环境，具有远距离功能以及高达1280x720的深度分辨率（30帧每秒 (fps)）。
AD-Census算法来自于中国学者Xing Mei等在ICCV2011发表的论文《On Building an Accurate Stereo Matching System on Graphics Hardware》。算法效率高、效果出色，Intel RealSense D400就是基于该算法实现的立体匹配。
D415具有标准视野，非常适合3D扫描等高精度应用，这种视野为较小的物体或需要更精确的测量时带来更高的深度分辨率。且D415在深度传感器上设置了卷帘快门，可提供最高的深度质量。此外，D415还集成了RGB传感器，非常适合面部认证、3D扫描或体积捕获。 其物理尺寸为99mmL×20mmW×23mmH，深度测距范围为0.5m-3m，视场角为65°×40°，输出的深度分辨率最高可达1280×720，帧率可达90FPS；RGB分辨率为1920×1080，帧率为30FPS，视场角为69°×42°，接口为USB‑C* 3.1 Gen 1*。 图3-2 D415 D435i提供Intel® RealSense™所有摄像头中最宽广的视野，深度传感器上的全局快门非常适合快速移动的应用。D435i可为各种应用提供高质量的深度，它的宽视场非常适合机器人或增强和虚拟现实等应用，在这些应用中，尽可能多地看到场景至关重要。这款小型摄像头的射程可达10米，可轻松集成到任何解决方案中，并配有英特尔实感SDK 2.0和跨平台支持。 其物理尺寸为90mmL×25mmW×25mmH，深度测距范围为0.3m-3m，视场角为87°×58°，输出的深度分辨率最高可达1280×720，帧率可达90FPS；RGB分辨率为1920×1080，帧率为30FPS，视场角为69°×42°，接口为USB‑C* 3.1 Gen 1*。 图3-3 D435i 图3-4 D435i内部结构 D455 是 D400 系列中的第四款产品，根据 10 多年立体摄像机开发过程中获得的反馈和知识进行设计。D455将深度传感器之间的距离延长至95mm，从而将4m时的深度误差提高到2%以下。为了改善RGB图像以及深度和RGB图像之间的对应关系，RGB传感器包括一个全局快门，并与深度FOV相匹配。且集成了IMU，使应用程序能够在相机移动的任何情况下优化其深度感知。 其物理尺寸为124mmL×26mmW×29mmH，深度测距范围为0.6m-6m，视场角为87°×58°，输出的深度分辨率最高可达1280×720，帧率可达90FPS；RGB分辨率为1280×800，帧率为30FPS，视场角为90°×65°，接口为USB‑C* 3.1 Gen 1*。 图3-5 D455
3.3 HP 3D Scanner Pro S3HP 3D Scanner Pro S3是最新款工业级超高精度结构光3D扫描仪。这款改进的版本用一种更好的处理方式优化了结构光技术，考虑到扫描物体的不同条件和各种尺寸，比以前更容易调整的扫描系统，这款扫描仪是可移动的，可以很轻易的放在被扫描物体前，单击开始扫描，几秒钟后屏幕上就会出现数字化三维模型，并且可以同时捕获到扫描对象的表面纹理，您可以扫描物体的多个面，并随后呈现一个封闭的360度模型，三维模型可以导出标准的3D文件格式（如OBJ，STL和PLY），兼容市面上大多数三维设计软件。 扫描仪类型为白色结构光，扫描尺寸范围为60-500毫米，分辨率/精度约为物体实际尺寸的0.05%（高至0.05mm），扫描时长为单幅扫描2秒(或者最高到10秒，要取决于设置和电脑速度）；网格密度为每幅扫描顶点2,300,000，排列拼接可以选配旋转平台全自动拼接、特征重叠区域自动拼接、围绕Y轴旋转角度拼接、指定点区域自动拼接，纹理辅助拼接等；输出文档格式有OBJ，STL，PLY。 其物理尺寸为323×613×209mm，使用结构光，最大分辨率为0.05mm，最大精度为0.05mm，采集速度为2300000points/s，深度范围为0.06-0.5m。 图3-6 HP 3D Scanner Pro S3
3.4 PrimeSensePrimeSense是以色列3d传感器公司，成立于2005年，2006年成功研制出基于结构光原理的3维传感器（这款芯片运用了“光编码”技术去制造场景，并且使用近IR（红外辐射）光线和CMOS（互补金属半导体）传感器去解读场景背后的光代码，最后使用复杂的算法去分析3D数据。），2009年微软发布的体感游戏产品-Kinect便是采用该公司提供的3D传感器。2010年年底，PrimeSense与华硕合作开发了Xtion Pro——和Kinect采用了同样的3D传感器，不过只能在PC上使用。2011年，PrimeSense与Willow Garage合作，创立了旨在“推动3D应用开源软件社区发展”的非营利性机构OpenNI。2012年，PrimeSense推出了世界上体积最小的3D传感器Capri，它的分辨率是前代产品的3倍，而体型是前代的十分之一，环境光的检测性能是前代的50倍，可以在日光下工作。Capri可以嵌入到平板电脑、笔记本电脑、智能手机以及显示器中。最后以34亿美元被苹果收购。 PrimeSense Carmine 1.09短程3D相机传感器用于短距离扫描，可以扫描人脸、头部和较小的物体。它可以像基于PrimeSense技术的Kinect扫描仪一样捕捉运动。 PrimeSense 3D深度传感器是一种端到端解决方案，使设备能够以3D方式感知世界，并以与人们相同的方式将这些感知转换为同步图像，从而利用自然交互的力量。该解决方案包括一个传感器组件，该组件可以理解用户在这些环境中的交互。3D深度传感器可查看并跟踪用户在场景中的移动。所有传感器活动都是在不对用户或环境进行任何假设的情况下执行的。无需可穿戴设备，使解决方案实用，方便，直观且易于使用。该传感器包括几个可选的感官输入功能：深度（3D）图像，彩色（RGB）图像和音频（传感器有2个麦克风）。所有感官信息（深度图像、彩色图像和音频）都通过USB2.0接口传输到主机，并具有完整的时序对齐功能。 图3-7 PRIMESENSE CARMINE 1.09 其物理尺寸为18×2.5×3.5cm，视场角为54°H×45°V，深度图像分辨率为VGA，即640×480，最大帧率可达60FPS（QVGA），30FPS（VGA），深度范围为0.35-3m，RGB分辨率为1280×960，采用USB2.0/3.0接口。
3.5 Mantis VisionMantis Vision来自以色列，公司专注于高密度结构光，3D及计算机视觉技术15年。Mantis Vision在结构光、容积视频捕获等3D技术方面拥有40多项授权专利，结合软件算法的专长，目前在多个行业和场景已经实现商业化，包括金融支付、服装零售、定制化家居、畜牧养殖、文化娱乐和运输物流等垂直细分领域。 Mantis Vision F6是一种便携式3D扫描仪，F6以最快的工作流程提供卓越的数据质量，使其成为在几秒钟内准确扫描复杂场景的终极设备。没有场景准备、无需目标或贴纸且易于使用。F6 系列产品具有高达0.1mm的精度和高达0.4 mm的深度分辨率，工作范围为0.2m-4m，视场角为20°×26°（最近），15°×20°（最远），帧率为8FPS，数据获取速率为640000points/s。 图3-8 F6 Short Range
3.6 Xtion ProXtion PRO LIVE使用红外传感器，自适应深度检测技术，彩色图像感应和音频流来捕获用户的实时图像，运动和语音，使用户跟踪更加精确。Xtion PRO LIVE开发解决方案附带了一组开发人员工具，使开发人员可以更轻松地创建自己的基于手势的应用程序，而无需编写复杂的编程算法。 图3-9 Xtion Pro 其物理尺寸为18×3.5×5英寸，功耗在2.5W以下，深度范围在0.8m-3.5m，视场角FOV为58°H×45°V×70°D，深度图像为VGA（640×480），帧率为30FPS，深度图像分辨率也可为QVGA（320×240），此时帧率可达60FPS，RGB分辨率为1280×1024，接口使用USB2.0。
3.7 Zivid One+Zivid One+适用于工业自动化系统和机器人单元的高质量3D彩色相机，拥有灵活的小/中/大视场。其高分辨率及原生RGB的特性，可保证拍摄的点云具备高准确度和高精确度。可在80毫秒内捕获点云，采用安全的白色结构光技术，适用于协作应用。拥有S/M/L型3D相机适用于多种不同工作距离和场景。Zivid One+ 3D通过单帧或多帧成像检测目标、并且拥有具有低遮挡特性的经过优化的基线，具备了宽广的FOV重叠区域。使用了一颗2.3MPixels的图像传感器获取RGB颜色，2D和3D数据，使自动化解决方案能够可靠地检测、检查、挑选、分类和拾取目标对象。 循环时间是高效机器人自动化的关键要素。Zivid One+相机支持快速获取3D数据和最快12FPS的彩色点云成像速度。最快2D彩色成像速度可达50FPS。 图3-10 Zivid One+ 该3D相机采用结构光技术，RGB分辨率为1920×1200，点云可以输出3D(XYZ) + 颜色(RGB) + 对比©，投影仪亮度从1/4x到1.8x，1x等于400流明度，每帧3D画面有12个曝光，采用USB3.0接口，各个型号的有效工作距离和视场角如图3-11所示。 图3-11 各个型号的有效工作距离和视场角
3.8 optonicoptonic的ensneso是工业3D传感器技术的先驱，为工业工厂的定位和测量领域提供了新的可能性。 N35-606-16-BL相机的物理尺寸为175×50×52mm，3D分辨率为1280×1024，RGB分辨率为1280×1024，帧率为10FPS，视场角为58°H×52°V，接口为GigE以太网接口，支持PCL/ROS驱动。 图3-12 N35-606-16-BL
3.9 PickitPickit用于机器人引导的3D视觉系统。Pickit M-HD是高精度、高性能的3D视觉系统，最适合从桌子、箱子和盒子中高精度地挑选中小型物体（最小物体尺寸：10×10×5mm）几乎可以解决任何拣选应用的完美选择。Pickit具有以下特性： 高度准确挑选——同类最佳的摄像头； 节省安装和设置时间——可于数小时内插入并开始拾取； 富有高度灵活性的自动化——具有一流的用户界面，可快速适应并完成转换； 摆脱庞大且占用空间的固定装置——Pickit可以在任何位置和场景中找到零件； 安全的生产速度——检测周期不到一秒钟，并且可以在一个周期内找到多个零件； 以固定价格削减成本——现成的产品已经很好地用于40多个国家的150多种应用，且拥有市场上最快的投资回报率； 全天候可靠性更少担心——Pickit可提供全年无休的高质量工作，Pickit软件甚至可以让您随时随地通过它的眼睛关注机器人。 图3-13 Pickit M-HD 其采用结构光的方式进行3D测量，3D图像捕获时间为200-1000ms，3D相机分辨率为1920×1200，精度为0.15-0.8mm，接口为USB3.0接口。
3.10 Photonneo基于一种创新的平行结构光技术，Photoneo® 3D相机有着高精确度、高精密度、扫描速度快等特点，并能捕捉运动中的物体。激光投影设备发射一组图案，相机捕捉扫描区域。接着通过算法计算出物体每个可视点的精确位置。该技术不受物体纹理和材质的影响，只要物体能反射光线即可满足扫描要求。同时，结构化的光栅系统也决定着3D重建的品质和扫描速度。在没有直射太阳光和非反光物体的情况下，在1.5米的工作距离，可提供对扫描区域进行至少5fps的扫描。 Photoneo MotionCam-3D是世界上分辨率最高，精度最高的区域3D相机，用于动态场景。它是需要快速、强大的 3D 采集的应用的首选设备。以高细节水平重建各种物体的精确点云，而不会因振动、环境光或运动模糊而影响质量。它采用平行结构光技术，平行结构光将结构光扫描的先进质量和分辨率带入高度动态场景的3D重建中。这项新颖的专利技术采用巧妙的传感器设计，可在一个快照中执行采集，而不是标准图像传感器的顺序扫描。这意味着平行结构光方法实际上可以及时冻结3D场景。 图3-14 MotionCam-3D S系列相机的扫描范围为366-558mm，点大小为0.37mm@z=442mm，准确性<0.300mm，时间噪声<0.100mm；扫描仪的点大小为0.25mm@z=442mm，准确性<0.150mm，时间噪声<0.050mm；静态模式时深度图分辨率为1680×1200，动态模式时为1120×800，数据采集时间为10ms，3D点吞吐量为每秒1500万点，物理尺寸为80×68×307毫米，基线为230mm。
3.11 奥比中光Astra+Astra+为奥比中光Astra系列的全新升级产品，外壳采用可拆卸、模块化的设计。拥有独特的智能主动散热系统，在严苛环境下仍能稳定输出高质量的深度图像。 接口升级为USB3.0，可提供更高带宽，USB Type-C带锁定接口，连接方便且稳定；底座采用标准的三角架接口设计，客户可灵活配置不同形态底座，方便固定使用。其测量原理采用的3D结构光技术。 图3-15 奥比中光Astra+ 其规格参数等如图3-16所示： 图3-16 Astra+规格参数
4 智能门锁应用从2019年1月1日至2020年12月31日，3D人脸识别智能门锁在全市场统计中，总销量已接近20万套。其中德施曼以其先发优势，良好的市场定位和大力度的推广，成为市场发展的最大赢家，在3D人脸识别智能门锁细分领域占据着七成以上的市场份额，达到百分之七十二。其次是凯迪仕，占比近百分之二十的市场份额，两强占比近百分之九十，在市场中占据着绝对的优势地位。 图4-1 3D人脸识别智能门锁市场占有率
4.1 奥比中光U2U2门锁人脸识别模组，基于奥比中光结构光技术设计并采用第三代自研深度引擎MX6300芯片，内置算法版，体积更小，功耗更低，更加便于门锁组装。通过3D多模态人脸识别技术，实现金融支付安全等级，对逆光、暗光、强光、不同身高、人脸姿态、人脸遮挡等应用场景均有良好适应性。该模组通过class1、ROHS以及BCTC增强级活体认证和人脸辨识算法双重认证。 图4-2 奥比中光U2 其物理尺寸为41mmL×15.2mmW×8.72mmH，深度距离为0.3m-1.0m，识别一次的平均功耗为0.57W，精度为1m±5mm，视场角为H(50±2)°V(61±2)°，适用于室内和半户外，通过串口来进行通讯，可以识别1.2m-2m身高，支持自学习和挟持报警。
4.2 ReadSense极光阅面（ReadSense）科技推出极光3D人脸识别门锁方案，极光3D人脸识别门锁解决方案共包含三款模组产品，分别是AU1000、AU2000和AU3000。三款模组产品各自适用于不同的场景方案，应用于超过10家智能门锁品牌的主线产品中，获得了市场与客户的极高认可。 图4-3 AU系列对比
4.3 皇家金盾S2-DM皇家金盾的S2-DM采用商汤双目人脸识别算法，活体安全性为98%通过率，十万分之一误识率，对比安全性98%通过率，百万分之一误识率。 图4-4 S2-DM
5 手机应用 5.1 结构光3D结构光在消费电子领域的商用最早可追溯到2009年，微软与以色列3D感测公司PrimeSense合作发布了搭载3D结构光模组的体感设备Kinect一代，2010年11月上市后，该产品成为2011年销售最快的消费电子设备。尽管产品大获成功，但第一代Kinect的准确度、图像分辨率和响应速度并不理想，微软在2009年和2010年先后收购了以色列TOF相机公司3DV Systems和3D手势识别公司Canesta，并在2013年终止了与PrimeSense的合作，自行研发推出搭载TOF摄像头的Kinect2代产品。然而好景不长，由于缺乏爆款游戏应用、硬件亏本销售等问题的存在，2017年10月微软表示已经停止生产Kinect，自2011年上市以来累计销量仅3500万部。尽管Kinect失败，但在游戏市场的沉淀使得3D感测技术日益成熟，2017年苹果发布iPhone X，首次搭载3D结构光模组，可实现3D人脸识别技术，成为苹果近两年最大的创新。此前由于半导体工艺等多方面技术的限制，3D感测很难应用到体积非常有限、功耗要求低的手机上，因此iPhone X的发布是3D结构光技术的重大突破，市场对3D结构光技术的热情重新点燃。苹果的3D结构光方案正是来自为微软Kinect一代提供技术方案的PrimeSense，苹果在2013年11月宣布以3.6亿美元收购该公司。苹果之外，主要3D结构光方案厂商还有美国的英特尔、高通/Himax，以色列Mantis Vision以及国内华为、奥比中光等公司。2014年英特尔发布全球首款内嵌于各种智能设备的3D景深摄像头RealSense，采用3D结构光技术，应用在联想、戴尔等多款超级本电脑以及无人机等设备中。同年高通宣布与影像IC设计公司奇景光电Himax合作提供高分辨率、低功耗的3D结构光模组SLiMTM。iPhone X发布后，国内小米、华为和OPPO也先后发布了首款搭载3D结构光模组的智能手机，其中小米采用的是以色列Mantis Vision公司的解决方案，华为采用的是自研方案，OPPO采用的是国内公司奥比中光的解决方案。苹果在2018年和2019年的iPhone新产品中也全部搭载了3D结构光模组。目前已经发布的搭载3D结构光模组的智能手机包括苹果的iPhone X以后的所有机型，华为的Mate20 Pro、荣耀Magic 2和Mate30 Pro，小米的小米8探索版以及OPPO的OPPO Find X。据DigiTimes数据，2018年搭载3D结构光的智能手机整体约1亿台，其中苹果占比约88%。
5.1.1 iPhone X2017年9月，苹果公司发布了iPhone X，iPhone X的深度相机采用：单目IR+投影红外点阵+ASIC方案，通过前置点阵投影器将超过30000个肉眼不可见的光点投影到人脸，再根据红外镜头接收到的反射光点，就可以计算得到人脸深度图。 RGB摄像头拍摄的2D人脸结合计算的深度人脸信息，经过算法处理就可以绘制出精确细致的3D人脸。该技术安全性极高，可以轻松的识别出普通RGB相机难以处理的利用打印照片、软件合成、面具等进行的人脸识别攻击，可以安全方便的进行人脸活体检测。该技术用于iPhone的人脸解锁方案，称为FaceID，是iPhone X最重要的新功能之一。
图5-1 iPhone X摄像头
5.1.2 小米82018年5月，小米年度旗舰发布会中重磅亮相的小米8透明探索版，作为小米八周年纪念版的旗舰机型，融合了多项黑科技，其中以3D结构光技术的应用最为瞩目。该技术由以色列Mantis Vision公司自主研发，此次应用于小米8透明探索版也是该技术在安卓手机史上的首次尝试。 Mantis Vision的原始数据采集依靠“红外点阵投影器”、“红外相机”和“RGB相机”来完成，其工作原理是：红外点阵投影器发射编码光图案在物体表面形成反射，被红外相机接收；后台算法和程序实时解码数据，生成点云和深度图；RGB相机采集彩色图像；经过快速地网格化和纹理贴图处理，栩栩如生的3D模型便呈现在眼前。 不同于iPhone X的DOE（衍射光学元件）投影，Mantis Vision采用了基于 Mask（掩膜）的编码结构光。其创新的专利编码技术，凭借密集的点云和精确的深度信息能够捕捉最小的细节，真实还原扫描目标的原貌，同时有效降低处理运算量。另外，配合相机的高帧率，还可以实现3D内容的实时动态捕捉。
5.1.3 OPPO Find X2018年6月，OPPO公司发布了Find X系列手机，作为安卓市场首个大规模量产的3D结构光的技术，Find X可以说做到了实际应用和设计的双重兼顾，首先在设计上，由于采用创新的双轨潜望结构设计，使得3D结构光的模组被很好的安放在了升降模块中，不使用的时候可以很好的隐藏在机身的内部。因此也就没有刘海屏的产生。这也让整机的屏占比达到了惊人的93.8%。 而在实际的应用体验上，除了实现3D面部识别以外，OPPO Find X也是基于3D结构光的安全性全面支持了微信和支付宝移动支付功能，同时在拍照方面，OPPO更是创新的将3D结构光应用到了拍照中，通过3D结构光带来的15000个识别点，OPPO Find X可以为用户建立脸部3D模型，再利用AI技术进行智能分析，比如脸部的立体轮廓、鼻型、眼睛的深浅、下巴、颧骨等，并自动给出相关美化建议，最终呈现出更加精细化的美颜效果，实现3D美颜的效果，这一点在实际的拍照体验上也有着不错的表现。 图5-2 OPPO Find X前置摄像头
5.1.4 华为Mate 20 Pro华为于2018年10月上市Mate 20 Pro，前置摄像头采用了3D结构光技术，经中国泰尔实验室根据“移动电话机人脸识别安全能力测评方案”进行测评，评价为【人脸识别安全能力五星产品】，安全能力获得权威机构肯定。 采用3D结构光的原理，HUAWEI Mate 20 Pro在录制人脸数据时，前置的散斑投射器，会将30000个不可见的小光点，投射到人脸的各个特征结构上，以获得面部深度信息；同时红外补光灯开启，获得人脸的特征信息。系统再通过红外相机拍摄和分析这些信息，从而获得精准的人脸数据。每次需要解锁时，手机会通过红外相机、散斑投射器和红外补光灯捕捉人脸数据，再与系统内的人脸信息进行比对，如果一致，则机主身份确认，手机成功解锁。 通过散斑结构光技术，HUAWEI Mate 20 Pro散斑投射器投射到人脸上的光点具有随机性，相比编码结构光来说，安全性更高。同时，红外相机通过识别关键面部点，立体防伪，能准确“认出”人脸鼻尖，瞳孔反光，脸颊偏暗等特征。 图5-3 华为Mate 20 Pro
5.2 TOFTOF最早的商用可追溯到2006年7月，衍生自CSEM（瑞士电子与微技术中心）的MESA Imaging公司成立，并推出商用TOF摄像头产品系列SwissRanger，最开始应用于汽车的被动安全检测。2014年，MESA被新加坡微型光学器件厂商Heptagon收购，Heptagon在2016年又被奥地利知名传感器厂商AMS收购，在小型化TOF传感器领域已经具备了一定优势。2013年，微软在第二代Kinect中采用了TOF技术，方案来自2010年收购的TOF相机公司3DV Systems。2015年，索尼索尼收购比利时手势识别技术公司SoftKinetic，该公司拥有知名DepthSense TOF感测系统，两年后索尼就发布了全球最小的TOF模组。TOF技术首次应用到智能手机是在2016年，Google和联想合作推出了全球首个搭载TOF模组的智能手机Phab2Pro，采用的是pmd/英飞凌的TOF方案，该手机可实现一些如三维测量等简易的AR应用，但并没有引起市场较大的反响。英飞凌和德国3D感测公司pmd在TOF领域合作了数十年，并开发出了知名的REAL3 TOF传感器芯片，其中pmd主要提供TOF像素矩阵，英飞凌主要提供芯片上系统（SoC）集成的所有功能组件，并开发相应的制造工艺，该方案还用在了华硕2017年发布的AR智能手机Zenfone上。2018年8月6日，OPPO在北京召开了TOF技术沟通会，并在8月23日发布了其首部搭载TOF摄像头的智能手机OPPO R17 Pro，采用了Sony的解决方案。随后在2018年12月，vivo发布了其首部搭载TOF摄像头的智能手机vivo NEX双屏版，采用了松下的解决方案；华为发布了其首部搭载TOF摄像头模组的智能手机荣耀V20，采用的是OPPO R17 Pro相同的TOF方案。进入2019年后，安卓厂商纷纷加入TOF镜头的阵营，2019年2月，三星发布了Galaxy S10 5G，前后分别各搭载一颗TOF镜头；LG发布了LG G8 ThinQ，搭载后置TOF镜头，采用了英飞凌的解决方案；联想发布了Z6 Pro 5G手机，搭载了后置TOF镜头。华为在6月份在中端机型nova 5 Pro上也搭载了后置TOF镜头。
5.2.1 华硕 Zenfone来自英飞凌科技股份公司的REAL3™图像传感器芯片在华硕最新推出的增强现实（AR）智能手机中起到了关键作用。这款手机2017年1月在拉斯维加斯国际消费电子展CES 2017上推出。华硕 Zenfone AR是当时全球最轻薄的搭载3D飞行时间（ToF）摄像头的智能手机，能实现对周围环境的实时三维感知。 REAL3图像传感器芯片是世界上最小的智能手机专用3D摄像头模块的关键组件。它基于飞行时间（ToF）原理，测量红外信号从摄像头往返拍摄对象所花的时间。其消耗的时间被称为“飞行时间”。对于电池供电式移动终端的性能、大小和功耗而言，ToF较之其他3D感应原理具备诸多优势。 图5-4 华硕 Zenfone7
5.2.2 OPPO R17 ProOPPO R17 Pro于2018年8月发布，R17 Pro采用了后置三摄像头的设计：TOF镜头+带可变光圈的主镜头+景深三镜头。TOF是面光源投射，将红外光均匀的投射在物体上，然后使用TOF相机捕捉红外光反射的时间差，通过计算得出景深信息，这样的好处在于投影成像距离较远，精度也不差。因为同样采用了主动光源，TOF在黑暗的环境下成像也不受影响。而且，将TOF布置在后置摄像头区域能更容易的放置主动光源，减少对手机空间的挤压。最关键的是，TOF技术已经相对成熟，它的成本也比3D结构光更低。 图5-5 OPPO R17 Pro
附录 1 Kinect比较Kinect v1和Kinect v2之间的参数比较如图1-1所示。 图1-1 Kinect参数比较 从图中可以看出，Kinect v2的表现比Kinect v1要好得多：首先最令人印象深刻的是分辨率的提高，v2达到了1080p，甚至视野也大大增加了。此外Kinect v2在FOV也有许多杰出方面：如果有人在它前面移动，它总是能精准捕捉；而Kinect v1如果有人在一侧移动太多，它则会出现丢失现象。 Kinect v1的Depth传感器，采用了Light Coding的方式，读取投射的红外线pattern，通过pattern的变形来取得Depth的信息。为此，Depth传感器分为投射红外线pattern的IR Projector（左）和读取的这个的IR Camera（右）。还有Depth传感器中间还搭载了Color Camera。Light Coding是以色列的PrimeSense公司的Depth传感器技术，于2013年被美国苹果公司收购。 Kinect v2的Depth传感器，采用的是Time of Flight(TOF)的方式，通过从投射的红外线反射后返回的时间来取得Depth信息。Depth传感器看不到外观，不过Color Camera旁边是红外线Camera(左)和投射脉冲变调红外线的Porjector（右）。 Kinect v1和Kinect v2的配置比较如图1-2所示： 图1-2 Kinect v1和Kinect v2的配置比较 Kinect彩色摄像头可用来拍摄视角范围内的彩色视频图像，Kienct v1的分辨率为640×480，Kienct v2的分辨率为1920×1080。Kinect可用来获取用户的深度信息，Kinect v1获取的深度图像的分辨率为320×240，Kinect v2的分辨率为512×424。Kinect v1可检测到的有效范围为0.8~4.0m,Kinect v2可检测到的有效范围为0.5~4.5m,只有用户在有效范围内，Kinect才能检测到用户的存在。骨骼跟踪是Kinect“体感操作”的基础，Kinect可以跟踪到6个用户的位置信息，并且Kinect v1可以实时跟踪2个用户的详细位置信息，包括详细的姿势和骨骼点的三维坐标信息，Kinect v2可以同时跟踪6个用户的骨骼节点。Kinect v1最多可以支持20个骨骼点，Kinect v2最多可支持25个骨骼节点,数据对象类型以骨骼帧的形式提供，每一帧最多可以保存所支持的骨骼点对应的个数。Kinect v1骨骼点如图1-3所示，Kinect v2骨骼点如图1-4所示。 图1-3 Kinect v1骨骼节点 图1-4 Kinect v2骨骼节点
2 各方法对比总结目前市面上常有的3D相机方案主要有3种： （1）飞行时间法（Time of flight，TOF）：代表公司微软Kinect2，PMD，SoftKinect，联想Phab，在手机中一般用于3D建模、AR应用，AR测距（华为TOF镜头）。 （2）双目视觉（Stereo Camera）：代表公司Leap Motion，ZED，大疆; （3）结构光（Structured-light）：代表公司有奥比中光，苹果iPhoneX（Prime Sense），微软Kinect1，英特尔RealSense，Mantis Vision等，在手机（iPhone，华为）中3D结构光主要用于人脸解锁、支付、美颜等场景。 各种方案的测量原理、光源、精度与距离、优缺点、应用领域等如下表所示： 注：由于博客不太方便弄表格，所以就截图上来了，如果需要文字，请参考前面的链接下载本文。
本文下载里面包括本文的word版本和pdf版本，方便大家查阅。
链接: https://pan.baidu.com/s/1M_a3Pl7mO4YGDxymZKXHcg 提取码: 8fui 参考文章 3D相机技术调研(飞行时间TOF+双目+结构光) 3D成像方法 汇总（原理解析）— 双目视觉、激光三角、结构光、ToF、光场、全息结构光3D成像原理及应用（五）深度相机：结构光、TOF、双目相机三种主流深度相机介绍常用的3D深度相机汇总【翻译】Kinect v1和Kinect v2的彻底比较Kinect介绍3D结构光、TOF产业链解析：手机厂为何偏爱TOF方案？TOF行业前瞻报告：TOF有望成为3D感测主流方案