背景介紹
三維成像技術(shù)作為感知真實(shí)三維世界的重要信息獲取手段,為重構(gòu)物體真實(shí)幾何形貌及后續(xù)建模、檢測、識(shí)別提供了數(shù)據(jù)基礎(chǔ)。在工業(yè)4.0時(shí)代下,“分布式”工業(yè)機(jī)器人與“移動(dòng)式”服務(wù)機(jī)器人的蓬勃式發(fā)展對三維成像技術(shù)的小型化、低成本和可靠性等提出了更高的要求。然而,現(xiàn)有面向移動(dòng)終端的三維成像技術(shù)(散斑結(jié)構(gòu)光與飛行時(shí)間法)僅用于人臉識(shí)別、室內(nèi)建模等對成像精度不敏感的領(lǐng)域。條紋結(jié)構(gòu)光技術(shù)可實(shí)現(xiàn)高精度測量,但其測量效率較低、難以實(shí)現(xiàn)動(dòng)態(tài)測量。因此,上述三維成像技術(shù)無法滿足在線工業(yè)檢測的低功耗、遠(yuǎn)距離、高精度、高分辨率和快速三維成像的迫切需求。
光學(xué)三維成像技術(shù)分類
針對工業(yè)機(jī)器人高精度、高分辨率和快速測量應(yīng)用而言,目前主流的光學(xué)三維成像技術(shù)是飛行時(shí)間法和結(jié)構(gòu)光投影法[2],如表1所示。飛行時(shí)間法[3-5]分為直接飛行時(shí)間(direct ToF, dToF)和間接飛行時(shí)間(indirect ToF, iToF)。dToF具有低功耗、抗干擾性強(qiáng)、高精度、遠(yuǎn)距離測量等優(yōu)勢,但是其對單光子雪崩器件(Single Photon Avalanche Diode, SPAD)的制作工藝、檢測精度有很高要求,導(dǎo)致系統(tǒng)集成困難、分辨率低。iToF采用圖像傳感器接受光信號(hào)克服了分辨率低這一缺陷,但是由于不同反射路徑的干擾問題,隨著測量距離的不斷增大將導(dǎo)致相位測量的信噪比顯著降低,深度誤差隨之增大。
表1 飛行時(shí)間法和結(jié)構(gòu)光投影法的性能指標(biāo)對比
結(jié)構(gòu)光投影法分為條紋投影法[6-11]和散斑投影法[12-14]。條紋投影法相關(guān)技術(shù)已經(jīng)較為成熟,產(chǎn)品有德國GOM公司的ATOS系列,國內(nèi)先臨三維的EinScan系列。然而,條紋投影法一般需要投影多組正弦條紋圖案以實(shí)現(xiàn)高精度測量,其測量效率較低、難以實(shí)現(xiàn)動(dòng)態(tài)三維成像,數(shù)字光處理(Digital Light Processing, DLP)投影系統(tǒng)中的核心部件數(shù)字微鏡器件(Digital Mirror Device, DMD)被美國TI公司壟斷,相關(guān)設(shè)備存在成本高昂、系統(tǒng)小型化難度大等問題。散斑投影法極大簡化了結(jié)構(gòu)光投影器件的制作工藝,采用的紅外散斑投射器件分為基于垂直腔面發(fā)射激光器(Vertical-Cavity Surface-Emitting Laser, VCSEL)的投影器件和基于邊發(fā)射激光器(Edge Emitting Laser, EEL)的投影器件,具有高測量效率、系統(tǒng)小型化等優(yōu)勢。
目前,影響散斑投影法的關(guān)鍵技術(shù)分為散斑圖案設(shè)計(jì)方法與高性能立體匹配算法。散斑圖案設(shè)計(jì)方法的關(guān)鍵思想是如何保證局部散斑相對于整個(gè)投影散斑圖案是全局唯一的。然而,由于被測物體表面的復(fù)雜反射特性以及雙相機(jī)間存在的視角差異,僅投影單幅散斑圖案仍難以保證整個(gè)測量空間中每個(gè)像素的全局唯一性,在實(shí)際測量時(shí)存在因誤匹配而導(dǎo)致其測量精度較差問題。
基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維成像技術(shù)原理
團(tuán)隊(duì)所研制的基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維傳感器主要由2個(gè)紅外相機(jī)模組和3個(gè)小型化散斑投影模組構(gòu)成,如圖5所示。小型化散斑投影模組采用VCSEL投射器作為紅外投影光源,通過在VCSEL頂層的特定位置開孔以形成大量散斑點(diǎn)。由VCSEL發(fā)射的紅外光線經(jīng)過準(zhǔn)直透鏡,根據(jù)光的折射原理將衍射光束準(zhǔn)直并匯聚成平行光束,以形成散斑狀結(jié)構(gòu)光圖案。
通過引入具有光束復(fù)制功能的衍射光學(xué)元件(Diffractive optical elements, DOE),定制的DOE表面結(jié)構(gòu)可以衍射出多個(gè)與入射圖案相同的子圖案,以實(shí)現(xiàn)幾十甚至數(shù)百倍的圖案復(fù)制效果。小型化散斑投影模組的視場角為58°×45°,焦距為8 mm,可以向被測場景投影總計(jì)3萬多個(gè)清晰、均勻的散斑點(diǎn)。水平方向上間隔分布的三個(gè)散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅不同的散斑圖案,實(shí)現(xiàn)對場景深度信息的高效時(shí)空編碼。
圖5 基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維傳感器 (a) 硬件結(jié)構(gòu)示意圖;(b) 實(shí)物圖
2. 三維結(jié)構(gòu)光傳感器的時(shí)空散斑相關(guān)算法
團(tuán)隊(duì)所提出的時(shí)空散斑相關(guān)方法主要包含三個(gè)步驟:時(shí)空匹配、成本聚合和視差優(yōu)化,如圖6所示。首先執(zhí)行一種由粗到精的時(shí)空立體匹配算法,在粗匹配階段使用基于ZNCC的局部時(shí)空匹配算法,獲得被測場景的一個(gè)可靠但平滑的初始視差先驗(yàn)。在精匹配階段,將基于歸一化互信息的單像素匹配方法與時(shí)域匹配相結(jié)合,有效緩解因局部匹配而引起的視差平滑問題,同時(shí)提升匹配精度。然后將引導(dǎo)濾波應(yīng)用于基于三幀散斑圖的時(shí)空成本聚合[15],使用融合拋物線與線性的加權(quán)插值函數(shù)實(shí)現(xiàn)亞像素視差優(yōu)化。
實(shí)驗(yàn)結(jié)果與分析
為了驗(yàn)證團(tuán)隊(duì)所研制的三維結(jié)構(gòu)光傳感器對復(fù)雜物體的測量性能,掃描了兩個(gè)具有不同復(fù)雜形貌的物體——人頭模型和大衛(wèi)模型,測量距離為65 cm。此外,選用了市面上兩款常見的散斑投影三維傳感器(Astra Pro設(shè)備和RealSense D455設(shè)備)作為對比實(shí)驗(yàn),對應(yīng)的三維測量結(jié)果如圖7所示??梢园l(fā)現(xiàn),Astra Pro設(shè)備提供的測量數(shù)據(jù)出現(xiàn)了明顯的深度階梯狀分層現(xiàn)象,存在嚴(yán)重的數(shù)據(jù)缺失問題。由于嚴(yán)重的點(diǎn)云平滑問題,RealSense設(shè)備的數(shù)據(jù)表面起伏較大,無法分辨人頭模型和大衛(wèi)模型的五官輪廓,其重構(gòu)結(jié)果略差于Astra Pro設(shè)備。而本文所研制的設(shè)備可以較高質(zhì)量地重建出完整的五官輪廓,在細(xì)節(jié)處有著更好表現(xiàn),提供了高精度、高完整度的三維重構(gòu)結(jié)果。
2. 小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn)
為了驗(yàn)證三維結(jié)構(gòu)光傳感器在工業(yè)智能制造場景下的應(yīng)用潛力,開展小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn),以滿足零件分揀的應(yīng)用需求。圖8提供了1 m距離處以不同姿態(tài)堆疊放置的金屬螺絲釘(直徑約為3-7 mm)的散斑圖與測量結(jié)果。由于小目標(biāo)金屬零件占據(jù)的像素區(qū)域較少,因此設(shè)置的局部匹配窗口應(yīng)盡可能小,但是小匹配窗口將降低匹配的準(zhǔn)確率,產(chǎn)生更多的誤匹配,這對于散斑結(jié)構(gòu)光三維傳感器十分具有挑戰(zhàn)性。從圖8 (d)-(f)可以看出,本文所研制的設(shè)備成功地重構(gòu)出金屬零件末端部位的精準(zhǔn)細(xì)節(jié),且對三種不同姿態(tài)均提供了完整的零件三維輪廓,這證明本文方法對工業(yè)檢測應(yīng)用提供了良好的數(shù)據(jù)支撐。
3. 復(fù)雜場景測量實(shí)驗(yàn)
對于三維測量系統(tǒng)而言,測量具有復(fù)雜結(jié)構(gòu)或不連續(xù)空間分布的遠(yuǎn)距離場景是一項(xiàng)挑戰(zhàn)性任務(wù)。為此,構(gòu)建了一個(gè)大空間范圍的復(fù)雜場景,使用各種形狀不同、大小不一的物體,有表面平滑連續(xù)的物體,也有復(fù)雜紋理特征的物體,待測場景的三維空間為0.7m×0.6m×1m(寬度×高度×深度)。如圖10所示,實(shí)驗(yàn)結(jié)果證明所研制的三維結(jié)構(gòu)光傳感器實(shí)現(xiàn)了魯棒、高精度的復(fù)雜場景重構(gòu)。
總結(jié)
綜上所述,本文提出了一種基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維成像技術(shù)及其傳感器設(shè)計(jì)方法,通過使用3個(gè)小型化散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅空間位置不同的散斑圖案,實(shí)現(xiàn)了對場景深度信息的高效時(shí)空編碼。同時(shí),提出了一種由粗到精的時(shí)空散斑相關(guān)算法,成功恢復(fù)了復(fù)雜目標(biāo)表面的精細(xì)輪廓。三維模型掃描重構(gòu)實(shí)驗(yàn)、小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn)和復(fù)雜場景測量實(shí)驗(yàn)共同證明,所研制的三維結(jié)構(gòu)光傳感器實(shí)現(xiàn)了遠(yuǎn)距離、大視場、高精度三維測量,有望在零件分揀、工件裝配和焊接加工等工業(yè)場景得以廣泛應(yīng)用。