摘要：三維視覺(jué)技術(shù)是智能機器人的一個(gè)熱點(diǎn)研究方向，它是智能機器人進(jìn)行環(huán)境感知和實(shí)現復雜任務(wù)的基礎。本文圍繞智能制造環(huán)境，介紹了機器人三維視覺(jué)技術(shù)的國內外研究現狀及熱點(diǎn)研究問(wèn)題，闡述了它目前在智能制造中的應用，最后對機器人三維視覺(jué)技術(shù)的未來(lái)研究方向進(jìn)行了探討。

關(guān)鍵詞：三維視覺(jué)；智能制造；智能機器人

Abstract: Three-dimensional (3D) vision technology is one of thehotresearchdirectionof intelligent robot,which isthebasis of intelligent robot to carry out environment perception and complex tasks. This paper focuses on the intelligent manufacturing environments, introduces the current research status and hot issues of robot 3D viion at home and abroad,and expounds its applications in intelligsent manufacturing. Finally,someresearch directions of robot 3D vision technology are discussed.

Key words:3D vision;Intelligent manufacturing;Intelligent robots

1 引言

隨著(zhù)《中國制造2025》和《新一代人工智能發(fā)展規劃》等國家發(fā)展戰略的提出與實(shí)施，國家大力推進(jìn)智能制造與機器人技術(shù)。機器視覺(jué)是智能機器人的一個(gè)關(guān)鍵技術(shù)，可以實(shí)現工業(yè)現場(chǎng)的環(huán)境感知、視覺(jué)定位、伺服驅動(dòng)控制、零件檢測等作業(yè)任務(wù)。機器人二維視覺(jué)技術(shù)在多種制造場(chǎng)合已得到了應用，技術(shù)上也較成熟，隨著(zhù)智能制造技術(shù)的發(fā)展，需要通過(guò)三維視覺(jué)使得機器人在復雜場(chǎng)景下自主完成作業(yè)任務(wù)。三維視覺(jué)技術(shù)能夠有效提高智能機器人對環(huán)境的感知和適應能力，其在智能制造的產(chǎn)品質(zhì)量檢測、視覺(jué)驅動(dòng)控制等領(lǐng)域有廣泛的應用前景。

本文闡述了機器人三維視覺(jué)技術(shù)的國內外研究現狀，以及語(yǔ)義分割、三維特征提取、三維目標識別與定位及三維環(huán)境感知等熱點(diǎn)研究問(wèn)題。在此基礎上，對機器人三維視覺(jué)技術(shù)在產(chǎn)品質(zhì)量檢測、視覺(jué)伺服控制等智能制造領(lǐng)域的應用現狀進(jìn)行重點(diǎn)闡述。最后介紹了作者團隊在機器人三維視覺(jué)技術(shù)方面的研究成果并對機器人三維視覺(jué)技術(shù)未來(lái)的研究方向進(jìn)行了展望。

2 機器人三維視覺(jué)研究現狀

機器人三維視覺(jué)按結構主要有立體視覺(jué)法，結構光法和激光掃描法等，本節對這三類(lèi)三維視覺(jué)技術(shù)分別闡述其研究現狀。

2.1 立體視覺(jué)法

立體視覺(jué)法模仿人類(lèi)視覺(jué)系統的距離估計和3D重建過(guò)程，利用兩個(gè)（或多個(gè)）存在一定距離或夾角的攝像機對同一物體或場(chǎng)景采集圖像數據，并根據空間點(diǎn)在各圖像上對應的投影點(diǎn)與攝像機的基本矩陣（Fundamentalmatrix）的線(xiàn)性關(guān)系來(lái)計算該空間點(diǎn)的3D坐標，以獲取物體或場(chǎng)景的3D信息^[1]，其原理圖如圖1所示。立體視覺(jué)法主要包括圖像獲取、攝像機標定^[2]、圖像匹配^[3]和3D重建^[4]等過(guò)程，其中圖像匹配是立體視覺(jué)中至關(guān)重要的核心問(wèn)題，它也是立體視覺(jué)中最困難的問(wèn)題。立體視覺(jué)法具有精度合適、系統結構簡(jiǎn)單和成本低等優(yōu)點(diǎn)，但由于立體視覺(jué)中圖像獲取過(guò)程易受陰影和光照條件等因素的影響，無(wú)法穩定、可靠地提取圖像中的特征信息，通常圖像匹配過(guò)程的計算量較大并且難以獲得準確的圖像匹配結果，因而限制了立體視覺(jué)法在復雜場(chǎng)景感知中的應用。

圖1 立體視覺(jué)法測量原理圖

2.2 結構光法

結構光法是一種由可控光源和攝像機構成的3D信息測量技術(shù)，其基本思想是將具有特定結構模式（Structuredpattern）的光源投射到被測物體表面產(chǎn)生光條紋，根據攝像機捕獲的物體表面光條紋的模式變形來(lái)獲取物體表面3D信息^[5,6]。結構光法根據光源產(chǎn)生的光條紋的不同，可以分為點(diǎn)結構光法、線(xiàn)結構光法、多光條結構光法和面結構光法等，其中線(xiàn)結構光法將激光掃描線(xiàn)投射到物體表面，并根據攝像機捕獲的物體表面激光輪廓線(xiàn)的變形，直接計算輪廓線(xiàn)上各點(diǎn)的3D坐標，其測量原理示意圖如圖2所示。由于線(xiàn)結構光法的光學(xué)和機械結構較簡(jiǎn)單，并且其測量的魯棒性較高，因此線(xiàn)結構光法為常用的結構光測量方法。陳云賽等人^[7]針對因海底場(chǎng)景噪聲及聲學(xué)散射影響導致聲吶方法無(wú)法實(shí)現高精度的海底探測問(wèn)題，提出了一種基于線(xiàn)結構光的掃測系統，該系統結合多閾值算法和基于極值法的高斯擬合法實(shí)現條紋中心線(xiàn)提取，并利用共線(xiàn)點(diǎn)的快速標定法實(shí)現系統參數的標定和高精度的海底快速測掃，從而實(shí)現水下目標的掃描定位。

圖2 線(xiàn)結構光法測量原理圖

結構光法具有原理簡(jiǎn)單、易于實(shí)現和測量精確高等優(yōu)點(diǎn)，但由于結構光法需要對光照進(jìn)行嚴格控制，對于反射特性較敏感的場(chǎng)景目標表面，如表面對結構光存在完成吸收、鏡面反射以及透射等情況時(shí)，結構光法將難以獲取物體表面精確的3D信息，嚴重時(shí)會(huì )導致結構光法測量系統無(wú)法正常工作，從而難以應用于復雜場(chǎng)景的感知。

2.3 激光掃描法

激光掃描法根據其激光測距原理的不同，可以分為激光三角法（Laser triangulation）、飛行時(shí)間法（Time-of-flight）和相位調制法（Phasemodulation）三種類(lèi)型^[8,9]，其中前兩種方法的測距原理如圖3所示。根據上述的激光測距原理，通過(guò)增加相應的2D或3D掃描裝置，使得激光光束能夠掃描到整個(gè)被測物體表面，則可以獲得物體表面的3D點(diǎn)云數據。蔡云飛等人[10]針對非結構化場(chǎng)景的負障礙感知問(wèn)題，提出了一種基于雙多線(xiàn)激光雷達的感知方法，該方法將雷達點(diǎn)云映射到多尺度柵格，通過(guò)統計柵格的點(diǎn)云密度與相對高度等特征，以提取負障礙幾何特征，并將柵格統計特征與負障礙幾何特征進(jìn)行多特征關(guān)聯(lián)獲得關(guān)鍵特征點(diǎn)對，利用特征點(diǎn)聚類(lèi)識別負障礙。

圖3 激光掃描法測量原理

激光掃描法具有能直接獲取測量點(diǎn)精確三維坐標，對陰影和光照變化不敏感，測量過(guò)程幾乎不受被測表面紋理特征影響，以及掃描測量視場(chǎng)范圍大等優(yōu)點(diǎn)，但由于激光掃描法從形狀相似或距離較近的目標所獲取的點(diǎn)云數據相似度高，對此情況下的掃描目標難以進(jìn)行有效識別，實(shí)現該類(lèi)目標的精度感知，從而一定程度上限制了基于激光掃描法的場(chǎng)景感知方法的應用范圍。

3 機器人三維視覺(jué)熱點(diǎn)研究問(wèn)題

本節對機器人三維視覺(jué)中語(yǔ)義分割、三維特征提取、三維目標識別與定位、三維環(huán)境感知等熱點(diǎn)研究問(wèn)題進(jìn)行闡述。

3.1 語(yǔ)義分割

語(yǔ)義分割是根據圖像、深度圖像或三維點(diǎn)云等類(lèi)型數據中每一個(gè)點(diǎn)（像素點(diǎn)或三維點(diǎn)）所表達的語(yǔ)義內容對其進(jìn)行語(yǔ)義類(lèi)別分類(lèi)的技術(shù)。其中，以二維圖像為數據源的語(yǔ)義分割稱(chēng)為圖像語(yǔ)義分割^[11,12]。本文主要討論基于三維點(diǎn)云數據的語(yǔ)義分割，包括基于聚類(lèi)、模型參數擬合或區域生長(cháng)等傳統的三維點(diǎn)云語(yǔ)義分割方法，以及基于深度學(xué)習的三維點(diǎn)云語(yǔ)義分割方法。

（1）傳統的三維點(diǎn)云語(yǔ)義分割

Schnabel等人^[13]通過(guò)在局部范圍內選取用于平面參數估計的隨機點(diǎn)，來(lái)簡(jiǎn)化得分函數（Scorefunction）的計算，以提高RANSAC（Randomsampleconsensus）方法的點(diǎn)云平面檢測效率，但是對于大規模三維點(diǎn)云數據，其計算效率仍很低。王帥等人^[14]提出了一種基于混合流形譜聚類(lèi)的自適應點(diǎn)云分割方法，該方法將點(diǎn)云分割的幾何特征在譜空間進(jìn)行降維嵌入，利用N-cut方法得到描述點(diǎn)云分割特征的多維向量，在此基礎上，結合類(lèi)間、類(lèi)內劃分算法實(shí)現點(diǎn)云自適應分割。傳統的三維點(diǎn)云語(yǔ)義分割結果需要進(jìn)行相應的語(yǔ)義標注才能夠得到最終的語(yǔ)義分割結果，從而影響了語(yǔ)義分割的效率。

（2）基于深度學(xué)習的三維點(diǎn)云語(yǔ)義分割

Charles等人^[15]于2017年提出了PointNet，其直接采用原始點(diǎn)云作為深度神經(jīng)網(wǎng)絡(luò )的輸入，為目標分類(lèi)、部分分割和場(chǎng)景語(yǔ)義分析提供了一個(gè)統一的體系結構，但其未考慮點(diǎn)云局部特征提取，減弱了其識別細粒度模式能力和對復雜場(chǎng)景泛化能力。為此，該團隊隨后提出了一種分層網(wǎng)絡(luò )PointNet++^[16]，通過(guò)對點(diǎn)云進(jìn)行采樣和區域劃分，在各個(gè)小區域內利用PointNet網(wǎng)絡(luò )進(jìn)行迭代特征提取，以融合點(diǎn)云的局部和全局特征，通過(guò)全連接層預測點(diǎn)云中各點(diǎn)的語(yǔ)義標簽。彭秀平等人^[17]提出了一種散亂點(diǎn)云語(yǔ)義分割深度殘差－特征金字塔網(wǎng)絡(luò )框架，以提高基于深度學(xué)習的散亂點(diǎn)云語(yǔ)義分割的精度和可靠性。

3.2 三維特征提取

機器人三維視覺(jué)中三維特征提取是從圖像或點(diǎn)云數據中獲取能夠反映環(huán)境本質(zhì)屬性的特征信息的過(guò)程，它是實(shí)現三維目標識別與定位、環(huán)境感知等任務(wù)的基礎。三維特征可以是空間直線(xiàn)、空間平面、二次曲面、自由曲線(xiàn)和自由曲面等。Cao等人^[18]提出了一種基于張量投票的點(diǎn)云中尖銳特征提取算法，林洪彬等人^[19]提出了一種基于多尺度張量分解的點(diǎn)云結構特征提取算法，用于構建點(diǎn)云結構特征曲線(xiàn)，張靖等人^[20]提出了一種基于馬爾科夫隨機場(chǎng)的散亂點(diǎn)云特征提取方法，根據全局能量的變化自適應提取點(diǎn)云中的特征點(diǎn)?，F有的特征提取算法通常只能提取某一特定類(lèi)型的特征，目前還很少有報道適用于多種環(huán)境特征類(lèi)型的通用三維特征提取算法。

3.3 三維目標識別與定位

三維目標識別與定位是一個(gè)從場(chǎng)景掃描數據中對三維目標進(jìn)行識別并獲取其位姿參數的過(guò)程，它是環(huán)境感知領(lǐng)域的重要研究?jì)热荨?/p>

（1）基于模型的方法

Johnson等人^[21]提出了一種基于旋轉圖像（Spin-image）的三維目標描述和識別方法，該方法通過(guò)對支持區域大小控制，抑制雜亂背景和遮擋的影響，由于物體表面三維點(diǎn)由其局部鄰域表面的二維旋轉圖像來(lái)描述，因此該方法對三維點(diǎn)云的分辨率很敏感。張凱霖等人^[22]提出了一種基于法矢改進(jìn)點(diǎn)云特征C-SHOT的三維物體識別方法，該方法在精確估計點(diǎn)云法向量的基礎上，根據特征點(diǎn)處法向量與鄰域法向量的夾角余弦構造點(diǎn)云形狀直方圖，統計點(diǎn)云紋理直方圖并與形狀直方圖融合成C-SHOT描述符，再對場(chǎng)景與模板分別提取C-SHOT特征，利用特征匹配方法實(shí)現多目標識別，但該方法的特征提取過(guò)程計算復雜度較高，難以實(shí)現高效實(shí)時(shí)的多目標識別。

（2）基于外觀(guān)（Appearance-based）的方法

Magnusson等人^[23]提出了一種基于外觀(guān)的位置識別方法，該方法利用正態(tài)分布變換（NormalDistributionsTransform，NDT）將掃描表面描述為分段連續函數，根據表面方向和平滑度生成的特征直方圖對位置進(jìn)行描述，從而通過(guò)掃描數據和樣本數據之間的特征直方圖匹配實(shí)現位置的識別。莊嚴等人^[24]提出了一種將三維點(diǎn)云轉換為二維BearingAngle（BA）圖，并采用AdaBoost變體Gentleboost算法來(lái)提高室內三維場(chǎng)景物體識別和認知準確率的方法，該方法利用BA圖中物體碎片及其相對于物體中心的位置作為特征，利用基于Gentleboost算法的監督學(xué)習方法，實(shí)現室內場(chǎng)景中物體識別和認知?；谕庥^(guān)的方法通過(guò)掃描點(diǎn)云和不同位姿下三維目標樣本數據的匹配實(shí)現目標的識別與定位，對于多個(gè)目標的精確識別與定位問(wèn)題，其訓練樣本數通常很大，從而導致在線(xiàn)識別與定位過(guò)程的計算量很大。

3.4 三維環(huán)境感知

三維環(huán)境感知是智能機器人利用其傳感器對所處環(huán)境進(jìn)行環(huán)境信息的獲取，并提取環(huán)境中有效的特征信息加以處理和理解，最終通過(guò)建立所在環(huán)境的模型來(lái)表達所在三維環(huán)境的信息。任何一種智能機器人，要實(shí)現在未知三維環(huán)境下的自主作業(yè)，都必須以有效而可靠的三維環(huán)境感知為基礎。

（1）基于單一傳感器的三維環(huán)境感知

張輝等人^[25]提出了一種基于隨機光場(chǎng)照射的稠密像點(diǎn)區域匹配算法，用于實(shí)現雙目立體視覺(jué)系統中的物體3D點(diǎn)云測量。Cong等人^[26]針對雜波背景下實(shí)時(shí)3D目標檢測和6自由度姿態(tài)估計問(wèn)題，提出了一種在線(xiàn)3D目標檢測和姿態(tài)估計方法來(lái)克服無(wú)紋理目標的自遮擋問(wèn)題，以實(shí)現各種金屬零件的3D目標識別與定位。由于單一傳感器對場(chǎng)景的觀(guān)測角度單一，難以滿(mǎn)足復雜場(chǎng)景精確感知的要求，為此一些研究已經(jīng)采用多傳感器、多模態(tài)來(lái)解決復雜場(chǎng)景感知問(wèn)題。

（2）基于多傳感器的三維環(huán)境感知

Cho等人^[27]提出了一種基于多傳感器數據實(shí)時(shí)融合和分析的3D目標重建方法，該方法由3D和2D數據分割方法、應用于每個(gè)目標的3D重建方法和投影紋理映射方法所組成。任秉銀等人^[28]提出了一種基于Kinect傳感器和目標計算機輔助設計（ComputerAidedDesign，CAD）模型的不同目標自動(dòng)識別和3D位姿估計方法，以提高非結構場(chǎng)景下目標識別準確率和位姿估計精度。由于智能機器人所處的操作場(chǎng)景非常復雜、并具有動(dòng)態(tài)特性，不同傳感器存在采樣分辨率、采集速度、數據源可靠性等方面的差異，所采集到的多模態(tài)數據通常具有復雜的動(dòng)態(tài)特性、數據不一致和缺失等問(wèn)題，這些問(wèn)題均增加了基于多種異類(lèi)傳感器的復雜場(chǎng)景感知方法的難度，從而給機器人多傳感器的融合感知帶來(lái)了巨大的挑戰。

4 機器人三維視覺(jué)在智能制造中的應用

4.1 制造過(guò)程的產(chǎn)品質(zhì)量檢測

產(chǎn)品質(zhì)量檢測是整個(gè)智能制造過(guò)程中的關(guān)鍵環(huán)節，它是保證產(chǎn)品質(zhì)量的重要基礎。與傳統的三坐標測量機相比，三維視覺(jué)技術(shù)能夠實(shí)現工業(yè)產(chǎn)品無(wú)損、高效和實(shí)時(shí)的測量與檢測，因此其已廣泛應用于制造過(guò)程的產(chǎn)品質(zhì)量檢測領(lǐng)域。Mahmud等人^[29]提出了一種基于激光掃描儀的機械零件尺寸和幾何信息的測量方法，該方法能夠根據零件的幾何規格對激光掃描儀的掃描路徑進(jìn)行規劃，以保證掃描過(guò)程的測量精度。喬景慧和李嶺^[30]將圖像處理技術(shù)應用于自動(dòng)化裝配生產(chǎn)線(xiàn)，對電視機背板質(zhì)量進(jìn)行在線(xiàn)檢測，即使用圖像模板匹配方法確定當前背板的型號和檢測當前背板的品質(zhì)，如圖4所示。陳允全等人^[31]針對傳統模擬量檢測無(wú)法滿(mǎn)足飛機大型結構點(diǎn)的外形測量需求，而單獨的數字化測量設備和方法又難以實(shí)現大尺寸和復雜結構的測量等問(wèn)題，構建了如圖5所示的由工業(yè)機器人和激光跟蹤儀組成的自動(dòng)化掃描系統，將大型結構的測量結果與理論數模比較以分析大型結構的誤差信息，從而實(shí)現大型結構的檢測。

1-CCD工業(yè)相機；2-步進(jìn)電機；3-機器人末端安裝板；4-第1平移裝置；5-第2平移裝置；6-第3平移裝置；7-工業(yè)吸盤(pán)；8-距離傳感器。

圖4 電視機背板自動(dòng)檢測與抓取平臺^[30]

（a）機器人掃描系統組成

（b）試驗現場(chǎng)圖

圖5 飛機大型結構點(diǎn)外形測量掃描系統^[31]

4.2 機器人視覺(jué)伺服控制

隨著(zhù)智能制造領(lǐng)域作業(yè)復雜程度和環(huán)境非結構化程度的不斷增加，需要引入視覺(jué)伺服控制，將機器人視覺(jué)與機器人、精密運動(dòng)控制系統形成閉環(huán)控制，以提高機器人的作業(yè)精度和智能程度^[32]。視覺(jué)伺服控制根據控制策略的不同，可以分為基于位置的視覺(jué)伺服控制^[33,34]，基于圖像的視覺(jué)伺服控制和混合視覺(jué)伺服控制^[35]。王麟琨等人^[36]提出了一種協(xié)調焊槍運動(dòng)和視覺(jué)跟蹤的視覺(jué)伺服控制方法，用于工業(yè)機器人自動(dòng)跟蹤曲線(xiàn)焊縫。孫敬陶等人^[37]通過(guò)歐幾里得單應性矩陣分解設計出旋翼飛行機械臂系統的混合視覺(jué)伺服控制方法，在圖像空間控制平移、笛卡爾空間控制旋轉,減弱了平移與旋轉之間的相互影響實(shí)現解耦效果，改善了系統對非結構因素的抗擾性能和全局穩定性。吳迎年和楊棄^[38]針對智能制造生產(chǎn)線(xiàn)中的機器人抓取需求，以視覺(jué)伺服控制系統為基礎，設計并構建了視覺(jué)伺服數字孿生系統以實(shí)現數字模型與物理模型的信息同步、互操作以及數字模型對物理模型狀態(tài)的預測，其視覺(jué)伺服系統結構圖如圖6所示。

圖6 基于信息物理系統的視覺(jué)伺服系統結構圖^[38]

5 未來(lái)研究方向

結合智能制造領(lǐng)域中機器人三維視覺(jué)技術(shù)自身存在的問(wèn)題和目前研究的現狀，本文認為未來(lái)智能制造領(lǐng)域的機器人三維視覺(jué)技術(shù)的研究方向主要有：

（1）三維視覺(jué)成像技術(shù)及傳感器方面?，F有的立體視覺(jué)法、結構光法和激光掃描法等三維視覺(jué)成像技術(shù)仍難以滿(mǎn)足復雜的智能制造環(huán)境的要求，為此，以智能制造需求為導向，進(jìn)一步研究與智能制造生產(chǎn)線(xiàn)相匹配的三維視覺(jué)成像技術(shù)并開(kāi)發(fā)相應的三維視覺(jué)傳感器。

（2）三維視覺(jué)技術(shù)的魯棒性問(wèn)題。由于智能制造環(huán)境中光照、陰影等因素的變化，這些將會(huì )對語(yǔ)義分割、三維特征提取、三維目標識別與定位、三維環(huán)境感知等的準確率和精度產(chǎn)生影響，為此，以智能制造需求為導向，進(jìn)一步研究魯棒的三維視覺(jué)處理方法。

（3）視覺(jué)伺服智能控制問(wèn)題。由于智能制造設備的多樣性，除了傳統的六自由度關(guān)節式機器人，還有并聯(lián)機器人、柔性機器人等，為此，需要研究視覺(jué)伺服智能控制，以滿(mǎn)足不同智能制造設備的需求，實(shí)現高速高精度控制。

（4）三維視覺(jué)系統的可移植性和適應性問(wèn)題。由于智能制造環(huán)境的復雜性及機器人裝備的多樣性，目前的三維視覺(jué)系統難以應用于多種制造環(huán)境，為此，需要進(jìn)一步研究模塊化、可重構的三維視覺(jué)平臺，以提高智能制造裝備對制造環(huán)境的可移植性和適應性。

6 研究團隊在三維視覺(jué)技術(shù)方面取得的成果

本課題組在三維點(diǎn)云數據獲取、平面特征提取和三維目標定位等方面開(kāi)展了一系列的工作，并將相關(guān)算法應用于產(chǎn)品質(zhì)量檢測、大型構件再制造和智能生產(chǎn)線(xiàn)等智能制造領(lǐng)域。

第一，在三維視覺(jué)技術(shù)方面：提出了基于偽Huber函數的三維激光掃描儀的魯棒標定算法，以獲取機器人掃描場(chǎng)景的精確三維點(diǎn)云數據；提出了基于多維粒子群優(yōu)化（Particle Swarm Optimization，PSO）的散亂點(diǎn)云無(wú)監督平面分割算法；提出了基于超二次曲面模型的三維目標位姿估計算法。

第二，三維視覺(jué)技術(shù)在智能制造的應用方面，負責了西安市科技項目“面向智能生產(chǎn)線(xiàn)的工業(yè)機器人控制器研制”和蘇州市科技項目“面向大型構件再制造的機器人三維感知與控制技術(shù)研究”。主要完成了面向激光再制造的大型構件缺陷識別、零件損傷區域的三維特征提取、機器人修復路徑的自動(dòng)規劃、機器人高速平穩運動(dòng)控制工作，研制了面向智能生產(chǎn)線(xiàn)的工業(yè)機器人控制器。本課題組研制的機器人控制器結構圖如圖7所示，缺陷識別定位的三維視覺(jué)系統如圖8所示。

圖7 機器人控制器結構圖

圖8 缺陷識別定位的三維視覺(jué)系統

7 結語(yǔ)

機器人三維視覺(jué)技術(shù)應用到智能制造設備中，是智能制造裝備實(shí)現高適應性和智能化作業(yè)的重要基礎。本文討論了機器人三維視覺(jué)技術(shù)及其熱點(diǎn)研究問(wèn)題，并闡述了其在產(chǎn)品質(zhì)量檢測和視覺(jué)伺服控制等智能制造領(lǐng)域的應用。對機器人三維視覺(jué)技術(shù)的魯棒性和通用性等關(guān)鍵問(wèn)題的突破，能夠不斷推動(dòng)智能制造向高效、智能化發(fā)展。

參考文獻：

[1] Mu.oz-Salinas R,Marín-JimenezMJ,Yeguas-Bolivar E,Medina-Carnicer R.Mapping and localization from planar markers[J].Pattern Recognition,2018,73:158-171.

[2] 鄒朋朋,張滋黎,王平,汪啟躍,周維虎.基于共線(xiàn)向量與平面單應性的雙目相機標定方法[J].光學(xué)學(xué)報,2017,37(11):236–244.

[3] LiY,Chen C,Yang F,Huang J.Hierarchil sparsere presentation for robust image registration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2018,40(9):2151-2164.

[4] Sansoni G,Trebeschi M,Docchio F.State-of-the-art and applications of 3D imaging sensors in industry,cultural heritage, medicine, and criminal investigation[J].Sensors,2009,9(1):568-601.

[5] Rianmora S,Koomsap P.Structured light system-based selective data acquisition[J].Robotics and Computer-Integrated Manufacturing,2011,27(4):870-880.

[6] Xu J,Chen R,Liu S,Guan Y.Self-recalibration of a robot-assisted structured-light-based measurement system[J].Applied Optics,2017,56(32):8857-8865.

[7] 陳云賽,楊磊,宮垠,龐永杰,沈鵬,劉坤.基于線(xiàn)結構光的水下目標掃描定位方法[J].機器人,2018,40(6):786–793,802.

[8] Siciliano B,Khatib O.Springer handbook of robotics[M].Berlin:Springer,2008.

[9] 閆利,胡曉斌,謝洪.車(chē)載LiDAR海量點(diǎn)云數據管理與可視化研究[J].武漢大學(xué)學(xué)報.信息科學(xué)版,2017,42(8):1131–1136.

[10] 蔡云飛,石庭敏,唐振民.基于雙多線(xiàn)激光雷達的非結構化環(huán)境負障礙感知技術(shù)[J].自動(dòng)化學(xué)報,2018,44(3):569–576.

[11] Shelhamer E,Long J,Darrell T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(4):640-651.

[12] 王嫣然,陳清亮,吳俊君.面向復雜環(huán)境的圖像語(yǔ)義分割方法綜述[J].計算機科學(xué),2019,46(9):36–46.

[13] Schnabel R,Wahl R,Klein R.Efficient RANSAC for point-cloud shape detection[J].Computer Graphics Forum,2007,26(2):214-226.

[14] 王帥,孫華燕,郭惠超,都琳.激光點(diǎn)云的混合流形譜聚類(lèi)自適應分割方法[J].光學(xué)學(xué)報,2017,37(10):125–133.

[15] Qi CR,Su H,Mo K,GuibasL J.PointNet:deep learning on pointsets for 3D classification and segmentation[C].2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),Honolulu,HI,USA:IEEE,2017:77-85.

[16] Qi CR,Yi L,Su H,Guibas LJ.PointNet++:deep hierarchical feature learning on point sets in a metric space.31st Conference on Neural Information Processing Systems (NIPS2017),LongBeach,CA,USA,2017:5100-5109.

[17] 彭秀平,仝其勝,林洪彬,馮超,鄭武.一種面向散亂點(diǎn)云語(yǔ)義分割的深度殘差-特征金字塔網(wǎng)絡(luò )框架[J/OL].自動(dòng)化學(xué)報,2019,(12).https://doi.org/10.16383/j.aas.c190063.

[18] Cao J,Wushour S,Yao X,LiN,Liang J,Liang X.Sharp feature extraction in pointclouds[J].IETI mage Processing,2012,6(7):863-869.

[19] 林洪彬,劉彬,玉存.基于多尺度張量分解的點(diǎn)云結構特征提取[J].中國機械工程,2012,23(15):1833–1839.

[20] 張靖,周明全,張雨禾,耿國華.基于馬爾科夫隨機場(chǎng)的散亂點(diǎn)云全局特征提取[J].自動(dòng)化學(xué)報,2016,42(7):1090-1099．

[21] Johnson AE,Hebert M.Using spin images for efficient object recognition in cluttered 3D scenes[J].IEEE Transactions on Pattern Analysis Machine Intelligence,1999,21(5):433-449.

[22] 張凱霖,張良.復雜場(chǎng)景下基于C-SHOT特征的3D物體識別與位姿估計[J].計算機輔助設計與圖形學(xué)學(xué)報,2017,29(5):846-853.

[23] Magnusson M,Andreasson H,Nuchter A,Lilienthal A.Appearance-based loop detection from 3D laser data using the normal distributions transform[C].Proceedings of the IEEE International Conference on Robotics and Automation,Kobe,Japan,2009:23-28.

[24] 莊嚴,盧希彬,李云輝,王偉.移動(dòng)機器人基于三維激光測距的室內場(chǎng)景認知[J].自動(dòng)化學(xué)報,2011,37(10):1232-1240.

[25] 張輝,張麗艷.面向三維點(diǎn)云測量的雙目立體匹配算法[J].南京航空航天大學(xué)學(xué)報,2009,41(5):588–594.

[26] Cong Y,Tian DY,Feng Y,Fan BJ,Yu HB.Speedup 3-D texture-less object recognition against self-occlusion for intelligent manufacturing[J].IEEE Transactions on Cybernetics,2019,49(11):3887-3897.

[27] Cho S,Cho K.Real-time 3D reconstruction method using massive multi-sensor data analysis and fusion[J].Journal of Supercomputing,2019,75(6):3229-3248.

[28] 任秉銀,魏坤,代勇.一種非結構環(huán)境下目標識別和3D位姿估計方法[J].哈爾濱工業(yè)大學(xué)學(xué)報,2019,51(1):38–44.

[29] Mahmud M,Joannic D,Roy M,Isheil A,Fontaine JF.3D part in spection path planning of a laser scanner with control on the uncertainty[J].Computer-Aided Design,2011,43(4):345-355.

[30] 喬景慧,李嶺.基于機器視覺(jué)的電視機背板檢測及自適應抓取研究[J].工程設計學(xué)報,2019,26(4):452-460.

[31] 陳允全,李瀧杲,黃翔,李琦,林晶.基于機器人的飛機大型結構三維自動(dòng)化檢測方法[J].航空制造技術(shù),2019,62(10):51–57.

[32] 王耀南,陳鐵健,賀振東,吳成中.智能制造裝備視覺(jué)檢測控制方法綜述[J].控制理論與應用,2015,32(3):273-286．

[33] Wilson WJ,Williams HC,Bell GS.Relative end-effector control using cartesian position based visual servoing[J].IEEE Transactions on Robotics and Automation,1996,12(5):684-696.

[34] 吳晨審.低紋理表面零件的位姿識別與視覺(jué)伺服技術(shù)研究[D].杭州:浙江大學(xué),2019.

[35] MalisE,ChaumetteF,BoudetS.21/2D visual servoing[J].IEEET ransactions on Robotics and Automation,1999,15(2):238-250.

[36] 王麟琨,徐德,李原,譚民.曲線(xiàn)焊縫跟蹤的視覺(jué)伺服協(xié)調控制[J].控制與決策,2006,21(4):405–409.

[37] 孫敬陶,王耀南,譚建豪,鐘杭,李瑞涵.旋翼飛行機械臂系統的混合視覺(jué)伺服控制[J].控制理論與應用,2019,36(4):505-515.

[38] 吳迎年,楊棄.視覺(jué)伺服抓取系統及其數字孿生系統研究[J].計算機集成制造系統,2019,25(6):1528–1535.

作者簡(jiǎn)介：

汪　霖（1983-），男，浙江杭州人，副教授，博士，現就職于西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，研究方向為智能機器人環(huán)境感知、三維點(diǎn)云處理和群體智能優(yōu)化。

曹建福（1963-），男，陜西寶雞人，教授，博士生導師，現任西安交通大學(xué)自動(dòng)控制研究所所長(cháng)、中國自動(dòng)化學(xué)會(huì )建筑機器人專(zhuān)業(yè)委員會(huì )主任委員，研究方向為智能機器人、智能制造與智慧工廠(chǎng)。

摘自《自動(dòng)化博覽》2020年2月刊