黄色网站天天干_午夜福利电影频道_美女图片视频国产精品九月天_亚洲日韩精品ā∨片无码加勒比_综合av中文字幕电影_韩国av网站久久久_欧美成a人免费观看_一本到无码在线视频观看_成人精品午夜国产_1769亚洲资源站365在线

“工業(yè)視覺之眼”:VCSEL散斑投影陣列三維成像

發(fā)布日期:2023-06-15 09:36:10   瀏覽量 :4446
發(fā)布日期:2023-06-15 09:36:10  
4446

背景介紹

三維成像技術(shù)作為感知真實(shí)三維世界的重要信息獲取手段,為重構(gòu)物體真實(shí)幾何形貌及后續(xù)建模、檢測、識(shí)別提供了數(shù)據(jù)基礎(chǔ)。在工業(yè)4.0時(shí)代下,“分布式”工業(yè)機(jī)器人與“移動(dòng)式”服務(wù)機(jī)器人的蓬勃式發(fā)展對三維成像技術(shù)的小型化、低成本和可靠性等提出了更高的要求。然而,現(xiàn)有面向移動(dòng)終端的三維成像技術(shù)(散斑結(jié)構(gòu)光與飛行時(shí)間法)僅用于人臉識(shí)別、室內(nèi)建模等對成像精度不敏感的領(lǐng)域。條紋結(jié)構(gòu)光技術(shù)可實(shí)現(xiàn)高精度測量,但其測量效率較低、難以實(shí)現(xiàn)動(dòng)態(tài)測量。因此,上述三維成像技術(shù)無法滿足在線工業(yè)檢測的低功耗、遠(yuǎn)距離、高精度、高分辨率和快速三維成像的迫切需求。

圖1 三維成像技術(shù)的不同工業(yè)應(yīng)用場景


光學(xué)三維成像技術(shù)分類

三維成像技術(shù)從感知方式上可以分為接觸式測量和非接觸式測量。接觸式測量主要依靠標(biāo)定的被動(dòng)機(jī)械臂直接接觸物體表面,逐點(diǎn)對物體輪廓數(shù)據(jù)進(jìn)行釆集,對其形態(tài)信息進(jìn)行三維測量。這種方法的優(yōu)點(diǎn)是測量精度高,可達(dá)到微米級別,但是其對測量環(huán)境的要求較高,無法測量具有復(fù)雜形貌、柔性材質(zhì)的物體。非接觸式測量主要指依靠聲、光與電磁學(xué)等方式接觸物體表面以獲取物體三維信息的方法。而其中基于光學(xué)的三維測量技術(shù)是目前最典型也是應(yīng)用最廣泛的三維成像技術(shù)。如圖2所示,典型的光學(xué)三維成像技術(shù)主要包括光度立體視覺、雙(多)目立體視覺、飛行時(shí)間法(Time of flight, ToF)、激光線掃法、散焦恢復(fù)形狀法和結(jié)構(gòu)光投影法等[1]。
圖2 典型的光學(xué)三維成像技術(shù)

針對工業(yè)機(jī)器人高精度、高分辨率和快速測量應(yīng)用而言,目前主流的光學(xué)三維成像技術(shù)是飛行時(shí)間法和結(jié)構(gòu)光投影法[2],如表1所示。飛行時(shí)間法[3-5]分為直接飛行時(shí)間(direct ToF, dToF)和間接飛行時(shí)間(indirect ToF, iToF)。dToF具有低功耗、抗干擾性強(qiáng)、高精度、遠(yuǎn)距離測量等優(yōu)勢,但是其對單光子雪崩器件(Single Photon Avalanche Diode, SPAD)的制作工藝、檢測精度有很高要求,導(dǎo)致系統(tǒng)集成困難、分辨率低。iToF采用圖像傳感器接受光信號(hào)克服了分辨率低這一缺陷,但是由于不同反射路徑的干擾問題,隨著測量距離的不斷增大將導(dǎo)致相位測量的信噪比顯著降低,深度誤差隨之增大。

表1 飛行時(shí)間法和結(jié)構(gòu)光投影法的性能指標(biāo)對比

圖3 飛行時(shí)間法的三維成像原理

結(jié)構(gòu)光投影法分為條紋投影法[6-11]和散斑投影法[12-14]。條紋投影法相關(guān)技術(shù)已經(jīng)較為成熟,產(chǎn)品有德國GOM公司的ATOS系列,國內(nèi)先臨三維的EinScan系列。然而,條紋投影法一般需要投影多組正弦條紋圖案以實(shí)現(xiàn)高精度測量,其測量效率較低、難以實(shí)現(xiàn)動(dòng)態(tài)三維成像,數(shù)字光處理(Digital Light Processing, DLP)投影系統(tǒng)中的核心部件數(shù)字微鏡器件(Digital Mirror Device, DMD)被美國TI公司壟斷,相關(guān)設(shè)備存在成本高昂、系統(tǒng)小型化難度大等問題。散斑投影法極大簡化了結(jié)構(gòu)光投影器件的制作工藝,采用的紅外散斑投射器件分為基于垂直腔面發(fā)射激光器(Vertical-Cavity Surface-Emitting Laser, VCSEL)的投影器件和基于邊發(fā)射激光器(Edge Emitting Laser, EEL)的投影器件,具有高測量效率、系統(tǒng)小型化等優(yōu)勢。

圖4 條紋投影法和散斑投影法的三維成像原理

目前,影響散斑投影法的關(guān)鍵技術(shù)分為散斑圖案設(shè)計(jì)方法與高性能立體匹配算法。散斑圖案設(shè)計(jì)方法的關(guān)鍵思想是如何保證局部散斑相對于整個(gè)投影散斑圖案是全局唯一的。然而,由于被測物體表面的復(fù)雜反射特性以及雙相機(jī)間存在的視角差異,僅投影單幅散斑圖案仍難以保證整個(gè)測量空間中每個(gè)像素的全局唯一性,在實(shí)際測量時(shí)存在因誤匹配而導(dǎo)致其測量精度較差問題。


基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維成像技術(shù)原理

1. 三維結(jié)構(gòu)光傳感器的硬件系統(tǒng)

團(tuán)隊(duì)所研制的基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維傳感器主要由2個(gè)紅外相機(jī)模組和3個(gè)小型化散斑投影模組構(gòu)成,如圖5所示。小型化散斑投影模組采用VCSEL投射器作為紅外投影光源,通過在VCSEL頂層的特定位置開孔以形成大量散斑點(diǎn)。由VCSEL發(fā)射的紅外光線經(jīng)過準(zhǔn)直透鏡,根據(jù)光的折射原理將衍射光束準(zhǔn)直并匯聚成平行光束,以形成散斑狀結(jié)構(gòu)光圖案。

通過引入具有光束復(fù)制功能的衍射光學(xué)元件(Diffractive optical elements, DOE),定制的DOE表面結(jié)構(gòu)可以衍射出多個(gè)與入射圖案相同的子圖案,以實(shí)現(xiàn)幾十甚至數(shù)百倍的圖案復(fù)制效果。小型化散斑投影模組的視場角為58°×45°,焦距為8 mm,可以向被測場景投影總計(jì)3萬多個(gè)清晰、均勻的散斑點(diǎn)。水平方向上間隔分布的三個(gè)散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅不同的散斑圖案,實(shí)現(xiàn)對場景深度信息的高效時(shí)空編碼。圖片

圖5 基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維傳感器 (a) 硬件結(jié)構(gòu)示意圖;(b) 實(shí)物圖

2. 三維結(jié)構(gòu)光傳感器的時(shí)空散斑相關(guān)算法

團(tuán)隊(duì)所提出的時(shí)空散斑相關(guān)方法主要包含三個(gè)步驟:時(shí)空匹配、成本聚合和視差優(yōu)化,如圖6所示。首先執(zhí)行一種由粗到精的時(shí)空立體匹配算法,在粗匹配階段使用基于ZNCC的局部時(shí)空匹配算法,獲得被測場景的一個(gè)可靠但平滑的初始視差先驗(yàn)。在精匹配階段,將基于歸一化互信息的單像素匹配方法與時(shí)域匹配相結(jié)合,有效緩解因局部匹配而引起的視差平滑問題,同時(shí)提升匹配精度。然后將引導(dǎo)濾波應(yīng)用于基于三幀散斑圖的時(shí)空成本聚合[15],使用融合拋物線與線性的加權(quán)插值函數(shù)實(shí)現(xiàn)亞像素視差優(yōu)化。

圖6 一種由粗到精的時(shí)空散斑相關(guān)算法的示意圖,包含三個(gè)步驟:時(shí)空匹配、成本聚合和視差優(yōu)化


實(shí)驗(yàn)結(jié)果與分析

1. 三維模型掃描重構(gòu)實(shí)驗(yàn)

為了驗(yàn)證團(tuán)隊(duì)所研制的三維結(jié)構(gòu)光傳感器對復(fù)雜物體的測量性能,掃描了兩個(gè)具有不同復(fù)雜形貌的物體——人頭模型和大衛(wèi)模型,測量距離為65 cm。此外,選用了市面上兩款常見的散斑投影三維傳感器(Astra Pro設(shè)備和RealSense D455設(shè)備)作為對比實(shí)驗(yàn),對應(yīng)的三維測量結(jié)果如圖7所示??梢园l(fā)現(xiàn),Astra Pro設(shè)備提供的測量數(shù)據(jù)出現(xiàn)了明顯的深度階梯狀分層現(xiàn)象,存在嚴(yán)重的數(shù)據(jù)缺失問題。由于嚴(yán)重的點(diǎn)云平滑問題,RealSense設(shè)備的數(shù)據(jù)表面起伏較大,無法分辨人頭模型和大衛(wèi)模型的五官輪廓,其重構(gòu)結(jié)果略差于Astra Pro設(shè)備。而本文所研制的設(shè)備可以較高質(zhì)量地重建出完整的五官輪廓,在細(xì)節(jié)處有著更好表現(xiàn),提供了高精度、高完整度的三維重構(gòu)結(jié)果。

圖7 人頭模型和大衛(wèi)模型的三維重構(gòu)結(jié)果 (a)-(b) 不同三維傳感器的測量結(jié)果,包括Astra Pro設(shè)備、RealSense D455設(shè)備和基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維傳感器

2. 小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn)

為了驗(yàn)證三維結(jié)構(gòu)光傳感器在工業(yè)智能制造場景下的應(yīng)用潛力,開展小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn),以滿足零件分揀的應(yīng)用需求。圖8提供了1 m距離處以不同姿態(tài)堆疊放置的金屬螺絲釘(直徑約為3-7 mm)的散斑圖與測量結(jié)果。由于小目標(biāo)金屬零件占據(jù)的像素區(qū)域較少,因此設(shè)置的局部匹配窗口應(yīng)盡可能小,但是小匹配窗口將降低匹配的準(zhǔn)確率,產(chǎn)生更多的誤匹配,這對于散斑結(jié)構(gòu)光三維傳感器十分具有挑戰(zhàn)性。從圖8 (d)-(f)可以看出,本文所研制的設(shè)備成功地重構(gòu)出金屬零件末端部位的精準(zhǔn)細(xì)節(jié),且對三種不同姿態(tài)均提供了完整的零件三維輪廓,這證明本文方法對工業(yè)檢測應(yīng)用提供了良好的數(shù)據(jù)支撐。

圖8 小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn) (a)-(c) 為不同姿態(tài)堆疊放置的金屬螺絲釘?shù)纳邎D;(d)-(f) 為與(a)-(c)對應(yīng)的三維點(diǎn)云結(jié)果
圖9 小目標(biāo)金屬零件的點(diǎn)云結(jié)果

3. 復(fù)雜場景測量實(shí)驗(yàn)

對于三維測量系統(tǒng)而言,測量具有復(fù)雜結(jié)構(gòu)或不連續(xù)空間分布的遠(yuǎn)距離場景是一項(xiàng)挑戰(zhàn)性任務(wù)。為此,構(gòu)建了一個(gè)大空間范圍的復(fù)雜場景,使用各種形狀不同、大小不一的物體,有表面平滑連續(xù)的物體,也有復(fù)雜紋理特征的物體,待測場景的三維空間為0.7m×0.6m×1m(寬度×高度×深度)。如圖10所示,實(shí)驗(yàn)結(jié)果證明所研制的三維結(jié)構(gòu)光傳感器實(shí)現(xiàn)了魯棒、高精度的復(fù)雜場景重構(gòu)。

圖10 復(fù)雜場景的三維測量結(jié)果圖


總結(jié)

綜上所述,本文提出了一種基于VCSEL投影陣列的散斑結(jié)構(gòu)光三維成像技術(shù)及其傳感器設(shè)計(jì)方法,通過使用3個(gè)小型化散斑投影模組形成散斑投影陣列,向被測場景連續(xù)投影三幅空間位置不同的散斑圖案,實(shí)現(xiàn)了對場景深度信息的高效時(shí)空編碼。同時(shí),提出了一種由粗到精的時(shí)空散斑相關(guān)算法,成功恢復(fù)了復(fù)雜目標(biāo)表面的精細(xì)輪廓。三維模型掃描重構(gòu)實(shí)驗(yàn)、小目標(biāo)金屬零件的遠(yuǎn)距離測量實(shí)驗(yàn)和復(fù)雜場景測量實(shí)驗(yàn)共同證明,所研制的三維結(jié)構(gòu)光傳感器實(shí)現(xiàn)了遠(yuǎn)距離、大視場、高精度三維測量,有望在零件分揀、工件裝配和焊接加工等工業(yè)場景得以廣泛應(yīng)用。

VCSEL
三維成像
結(jié)構(gòu)光
添加微信
免責(zé)聲明:本站部分資訊、圖片來源于網(wǎng)絡(luò),如有侵權(quán)請及時(shí)聯(lián)系客服,我們將盡快處理! Copyright?2023 版權(quán)所有:深圳易創(chuàng)電子科技有限公司 粵ICP備17033356號(hào)
深圳易創(chuàng)電子科技有限公司
電話:
郵箱:
地址:
13823548356
深圳市羅湖區(qū)蓮塘街道鵬基工業(yè)區(qū)711棟