• <blockquote id="fficu"><optgroup id="fficu"></optgroup></blockquote>

    <table id="fficu"></table>

    <sup id="fficu"></sup>
    <output id="fficu"></output>
    1. ACS880-07C
      關(guān)注中國自動(dòng)化產(chǎn)業(yè)發(fā)展的先行者!
      橫河電機-23年10月11日
      2024
      工業(yè)智能邊緣計算2024年會(huì )
      2024中國自動(dòng)化產(chǎn)業(yè)年會(huì )
      2023年工業(yè)安全大會(huì )
      OICT公益講堂
      當前位置:首頁(yè) >> 資訊 >> 行業(yè)資訊

      資訊頻道

      雙目視覺(jué)和點(diǎn)云分割算法在高壓電纜隧道巡檢機器人自主導航中的應用
      • 點(diǎn)擊數:1310     發(fā)布時(shí)間:2022-12-19 02:10:42
      • 分享到:
      為解決巡檢機器人在高壓電纜隧道狹窄環(huán)境中運行時(shí)無(wú)法識別可通行路徑并自主規劃前進(jìn)路線(xiàn)的情況,本文提出一種基于雙目視覺(jué)的導航方法。雙目攝像機掃描隧道內點(diǎn)云數據,然后抽幀并通過(guò)點(diǎn)云精簡(jiǎn)方法對點(diǎn)云數據進(jìn)行簡(jiǎn)化。之后根據相鄰點(diǎn)的位置計算各點(diǎn)的法向信息,而后經(jīng)過(guò)K-Means聚類(lèi)算法提取法向量相近的點(diǎn)集分割出水平面點(diǎn)云。由于無(wú)法區分步道平面和兩側水平地面,因此再以水平面點(diǎn)集的高度值用K-Means聚類(lèi)做一次二分類(lèi)用加以區分。在最終點(diǎn)集中提取左右邊界并計算中心線(xiàn),通過(guò)擬合得到步道走向信息。最后通過(guò)分析擬合曲線(xiàn)在圖像中下端點(diǎn)與攝像頭視覺(jué)中線(xiàn)的關(guān)系以及下端點(diǎn)切線(xiàn)與視覺(jué)下邊界的關(guān)系解算出機器人當前所處位置以及前進(jìn)修正信息。

      ★ 國網(wǎng)北京市電力公司電纜分公司 冀然,吳建旺

      ★ 北京卓越電力建設有限公司 張東,高祥,王辰松,張亮

      近年來(lái)隨著(zhù)高壓電纜體量的快速增長(cháng),完成必需的巡檢工作所需的人力也大幅增加,因此巡檢工作的智能化替代是必不可少的。與固定式在線(xiàn)監測設備負責重要節點(diǎn)全天候實(shí)時(shí)監測相互補,巡檢機器人可以滿(mǎn)足電纜全長(cháng)溫度監測、隧道環(huán)境監測等移動(dòng)監測工作。目前主流的隧道巡檢機器人可分為軌道式和無(wú)軌道式。常見(jiàn)的軌道式巡檢機器人其運行軌道固定在隧道的頂板上,因此機器人在軌道長(cháng)度內可以自由活動(dòng)。同時(shí)由于其懸掛在吊軌上,其自身重量、電池容量均無(wú)太大限制所以可搭載的監測設備也更加全面。但是因為建設軌道式巡檢機器人其投資巨大,因此要想建設覆蓋全部高壓電纜隧道的軌道式機器人其花費難以估量。也正因如此軌道式巡檢機器人尚未大面積普及。目前主流的無(wú)軌道巡檢機器人分為無(wú)人機和地面巡視兩類(lèi),本文主要討論地面巡視類(lèi)機器人的路徑規劃思路。地面巡檢機器人在電纜隧道中運行時(shí)由于隧道內空間較為狹窄,因此在自主前進(jìn)時(shí)對行進(jìn)路線(xiàn)有較為嚴格的要求。以某市高壓電纜隧道為例,其剖面圖如圖1所示。

      image.png

      圖1 高壓電纜隧道截面圖

      如圖中所示其可供地面巡視機器人通行的寬度約為50厘米,目前大部分地面巡視機器人機體寬度約為40~50厘米,因此對機器人路徑規劃的要求極為嚴苛,稍有偏差即有可能導致機器人無(wú)法繼續前進(jìn)。目前巡檢機器人普遍采用標示線(xiàn)法進(jìn)行路徑規劃,即人為在可通過(guò)路徑中心或對稱(chēng)位置粘貼一條或兩條顏色鮮明的標示線(xiàn),機器人攝像頭識別標示線(xiàn)并以此為依據判斷前進(jìn)路徑。此方法簡(jiǎn)單可行,但是需要人為粘貼大量標示線(xiàn)顯然難以滿(mǎn)足大規模應用需要。因此識別隧道內固有特征并轉化為路徑規劃依據具有較高的實(shí)用性。在常見(jiàn)高壓電纜隧道中步道是供巡視人員行走的通路,步道表面較為平直可供機器人通過(guò),其高于左右兩側地面約10cm,因此其結構特征可以作為良好的路徑規劃依據。

      1 點(diǎn)云數據采集與存儲

      在本文中獲取場(chǎng)景的點(diǎn)云數據信息和普通圖像信息使用的是用ASU SXtion PRO Live攝像頭。ASU SXtion PRO Live設備包含一個(gè)可見(jiàn)光RGB攝像頭和一個(gè)深度攝像頭。深度攝像頭與紅外發(fā)生器配合得到視場(chǎng)內的深度信息。通過(guò)此設備可直接得到寬度×高度為640×480的RGB圖像及深度圖像。與常用的Microsoft Kinect攝像頭相比ASUS Xtion PRO Live的USB2.0接口可以同時(shí)完成供電與數據傳輸兩項功能,因此當搭載在機器人上時(shí)其占用的硬件資源更少。

      PCD文件格式是一種用于點(diǎn)云存儲的文件格式。相較于PLY、STL、OBJ等常規格式,其使得組織化點(diǎn)云的處理更方便。組織化點(diǎn)云數據一般來(lái)源于體感、立體攝像機、飛行時(shí)間攝像機等具有結構化行列信息的設備,其毗鄰的點(diǎn)與點(diǎn)之間有明確的空間關(guān)系。PCL的IO模塊將XtionPRO獲取的RGB圖像與深度圖像融合為組織化的點(diǎn)云數據。

      本文采用行列為640×480的點(diǎn)云輸入,因此每幀包含307200個(gè)點(diǎn),每個(gè)點(diǎn)均附帶空間中三維坐標值及RGB色彩值。隧道內步道RGB圖像和深度圖像如圖2所示。

      image.png

      image.png

      圖2  隧道RGB圖像和深度圖像

      2 路徑規劃流程

      圖3為自主導航流程框圖,描述了從點(diǎn)云數據采集到最終完成路徑規劃的幾個(gè)主要步驟。

      image.png

      圖3 自主導航流程框圖

      3 點(diǎn)云精簡(jiǎn)算法

      深度攝像頭所采集到的點(diǎn)云數據中有大量的噪聲點(diǎn)和冗余點(diǎn),在輸入神經(jīng)網(wǎng)絡(luò )訓練之前需要通過(guò)點(diǎn)云精簡(jiǎn)的方法盡可能多的去掉噪聲點(diǎn)和冗余點(diǎn),用以提高神經(jīng)網(wǎng)絡(luò )的訓練效率和訓練效果。下文主要介紹幾種常見(jiàn)的點(diǎn)云精簡(jiǎn)方法。

      3.1 空間劃分和點(diǎn)云特征

      基于空間劃分和點(diǎn)云特征的方法中空間劃分使用的方法通常有kd-tree、八叉樹(shù)、均勻網(wǎng)格,點(diǎn)云特征一般使用曲率、法向量或鄰域點(diǎn)距離。

      3.2 均勻網(wǎng)格法

      均勻網(wǎng)格法(even grid)[3],首先對整個(gè)點(diǎn)云構建一個(gè)大的方形網(wǎng)格,然后在X軸、Y軸、Z軸上設定最小步長(cháng),將包裹全部點(diǎn)的大網(wǎng)格分割為若干個(gè)小的網(wǎng)格,最后使用每個(gè)小網(wǎng)格中離網(wǎng)格中心最近的一個(gè)點(diǎn),代替小網(wǎng)格中的所有點(diǎn)。此種方法可以較大程度上減少冗余點(diǎn)的出現,但是個(gè)別離群的采樣點(diǎn)由于單獨處于一個(gè)小網(wǎng)格中因此仍然無(wú)法消除。并且從圖2中可以發(fā)現深度攝像頭對于處在攝像頭中心近距離步道的采集密度遠高于兩側噪聲點(diǎn),通過(guò)均勻網(wǎng)格法將會(huì )使全部最小網(wǎng)格內的采樣點(diǎn)密度下降到同一水平,反而放大了需要過(guò)濾的噪聲,因此均勻網(wǎng)格法不適用于此種適用環(huán)境。

      3.3 曲率法

      曲率法是另一種基于區域特征的精簡(jiǎn)方法,這個(gè)方法首先找出每個(gè)點(diǎn)的K個(gè)近鄰點(diǎn)然后再使用這些點(diǎn)的擬合成一個(gè)曲面。這個(gè)曲面的曲率可以反映這個(gè)區域的復雜度。其中曲率比較大的區域則是形狀較為復雜的區域因此應保留更多的點(diǎn)。此方法旨在使模型較為復雜的地方保留更多的點(diǎn),在較為平坦的區域舍棄更多的點(diǎn)。在本文討論的適用場(chǎng)景下我們關(guān)注的反而是較為平坦的步道區域,因此無(wú)需保留模型復雜處的點(diǎn)。同時(shí)由于曲率計算需要復雜的矩陣運算,尤其是當處理大量點(diǎn)云數據時(shí)其運算量巨大,因此其運算時(shí)間和功耗都是需要實(shí)時(shí)解算的巡檢機器人難以承受的。因此本方法也不適用于本文討論的高壓電纜隧道巡檢機器人。

      3.4 隨機精簡(jiǎn)法

      隨機精簡(jiǎn)的方式是指使用隨機抽取的方法,按照設定比例抽取部分點(diǎn)構成新的精簡(jiǎn)點(diǎn)云的方式。這種做法有兩個(gè)特點(diǎn)。第一,能夠降低系統誤差,隨機方法的實(shí)現和思想雖然簡(jiǎn)單,但是由于選取點(diǎn)的隨機性,使得精簡(jiǎn)后的模型在全局的精簡(jiǎn)度都比較的均勻。第二隨機精簡(jiǎn)的方式計算量小,實(shí)現簡(jiǎn)單,但是在精簡(jiǎn)過(guò)程中容易失去模型部分特征,因為隨機精簡(jiǎn)在特征密集區域和平坦區域的采樣程度是一樣的,這就會(huì )導致在平坦區域采集過(guò)多的點(diǎn),而在特征集中的區域采樣點(diǎn)不足,從而造成誤差增加。在本文所討論的隧道環(huán)境下,需要分割的反而是比較平坦的步道區域,因此隨機精簡(jiǎn)法的缺點(diǎn)將成為其優(yōu)點(diǎn)。在實(shí)驗中發(fā)現保留20%點(diǎn)時(shí)點(diǎn)云中的目標平面特征依舊明顯,即精簡(jiǎn)80%的數據后識別效果無(wú)明顯影響。

      4 提取平面

      點(diǎn)云經(jīng)過(guò)精簡(jiǎn)后需要對所需的步道平面點(diǎn)進(jìn)行篩選用于后續計算。文獻[1]中通過(guò)對點(diǎn)云的法向特征進(jìn)行聚類(lèi)來(lái)分割場(chǎng)景中的平面。首先,計算點(diǎn)云數據的法向量。然后,將法向一致的點(diǎn)云聚類(lèi)到一起。最后,對每一簇點(diǎn)云在這一簇點(diǎn)云中心方向上進(jìn)行距離空間的聚類(lèi)便可獲得各自獨立的平面點(diǎn)簇。本文在第二步聚類(lèi)時(shí),使用第3節中獲取的平面參數作為指導,從第一步聚類(lèi)的結果中選取最接近運動(dòng)平面法向量的類(lèi)簇,然后單獨在這一類(lèi)簇上進(jìn)行距離空間上的聚類(lèi),省去了對無(wú)關(guān)類(lèi)簇的計算。表面法向計算采用文獻[2]中的SDC(Smoothed Depth Changes)算法來(lái)計算點(diǎn)云的法向量。SDC算法的本質(zhì)上是通過(guò)相鄰點(diǎn)的特征關(guān)系來(lái)擬合一個(gè)局部平面片。即位于(x,y)處點(diǎn)p的曲面法向image.png可通過(guò)計算其相鄰點(diǎn)的叉積得到。從組織化點(diǎn)云中選取行列上4個(gè)鄰點(diǎn)。如圖4所示,image.png由橫向兩鄰點(diǎn)計算,image.png由縱向兩個(gè)鄰點(diǎn)計算。

      image.png

      深度信息在計算點(diǎn)云空間位置時(shí)起到重要作用,而噪聲的影響會(huì )造成計算所得點(diǎn)云的空間位置不準確,在通過(guò)式(1)計算法向時(shí)在平面邊緣處往往得不到應有的結果,可通過(guò)均值化來(lái)平滑深度信息上的噪聲。為了避免平滑過(guò)程中目標邊緣信息的丟失,在遇到潛在的邊緣時(shí)調整平滑區域的半徑。在本文討論的使用場(chǎng)景下,由于步道左右對稱(chēng),因此邊緣信息的丟失也呈對稱(chēng)狀,通過(guò)試驗對比發(fā)現去掉均值化步驟對步道中心線(xiàn)的識別無(wú)明顯影響,因此省略此步驟。

      5 基于法向信息的平面分割

      若需判斷兩個(gè)平面共面,應滿(mǎn)足文獻[3]中所述的兩個(gè)條件:(1)局部平面的法向量具有一致性,即在同一平面上的各個(gè)點(diǎn)鄰域內法向的朝向應該是一致的。(2)兩個(gè)平面上各取兩點(diǎn)構成的向量在各自局部平面法向上的內投影應足夠小。文獻[4]中將上述兩個(gè)條件以數學(xué)方式表示為:

      image.png

      其中,n1與n2分別是兩個(gè)局部平面片的法向量;αthresh為夾角閾值;dthresh為投影長(cháng)度閾值如圖5(a)所示。

      對于已被歸一化的法向量,本文近似用歐氏距離代替角度可將第一個(gè)公式調整為

      image.png

      其中,emax為法向距離閾值,即在法向空間上兩者的歐式距離應足夠接近。對已具有共向性的點(diǎn)簇,應滿(mǎn)足

      image.png

      其中,image.png,其中A=[a,b,c,d]為平面系數;p=(x,y,z)為具有共向性點(diǎn)簇中的一點(diǎn);dmax為平面片間的最大距離閾值。平面系數A的前3個(gè)元素描述了平面法向的朝向,可用具有共向性點(diǎn)簇的朝向來(lái)代替。任選一點(diǎn)p另ax+by+cz+d=0可解出d的值。式

      (4)表示點(diǎn)族內兩點(diǎn)到平面距離的差值應足夠小。

      image.png

      圖5 平面共面判別條件

      image.png

      圖6 平面分割效果

      6 聚類(lèi)識別步道平面

      在得到各點(diǎn)的法向量后需要判斷哪些點(diǎn)屬于同一個(gè)平面,此時(shí)需要運用K-means聚類(lèi)算法。K-means算法屬于無(wú)監督學(xué)習算法,可以在缺少分類(lèi)標簽的情況下依據每個(gè)點(diǎn)自身的法向量判斷其是否在一個(gè)平面內,其算法流程如下:第一步首先隨機初始化k個(gè)“質(zhì)心”,計算各個(gè)點(diǎn)到每個(gè)質(zhì)心的距離,在本文中距離以各點(diǎn)法向量的夾角余弦值代表。

      image.png

      第二步遍歷完全部點(diǎn)后將得到k個(gè)點(diǎn)簇,計算每個(gè)點(diǎn)簇中各點(diǎn)的平均法向量以及各點(diǎn)法向量與質(zhì)心向量的方差,將平均法向量作為新的質(zhì)心,并重新進(jìn)行第一步。通過(guò)多次迭代可以發(fā)現各點(diǎn)簇的向量方差將逐步收斂,證明擁有相似法向量的點(diǎn)被劃分成了一類(lèi)。由于深度攝像機視角內最大的平面就是隧道的地面,因此只需選取包含點(diǎn)數最多的點(diǎn)簇即可完成屬于水平面上點(diǎn)的篩選。

      由于步道和兩側地面為平行關(guān)系,因此僅通過(guò)法向量聚類(lèi)無(wú)法區分步道和兩側地面。此時(shí)需要對這一簇點(diǎn)舍棄掉x、y維度的信息,僅以高度數據進(jìn)行一次k值為2的一維聚類(lèi)。這樣就可以完成步道平面和兩側地平面的區分,其中高度較高的一簇即為從步道上所采集到的點(diǎn)。

      7 邊界提取

      由于路徑規劃依靠識別步道的中線(xiàn)并計算攝像頭中心線(xiàn)與步道中心線(xiàn)的關(guān)系進(jìn)而修正前進(jìn)路線(xiàn),因此還需要識別出步道兩端的邊緣。對于點(diǎn)云圖像邊緣的提取[5]中介紹了很成熟的算法。其原理為利用數據點(diǎn)的拓撲關(guān)系以及數據點(diǎn)法矢等信息構造最小二乘平面,然后根據鄰域內數據點(diǎn)在平面上的投影點(diǎn)之間分布均勻性提取邊界。設點(diǎn)p為點(diǎn)云中的某一點(diǎn),先利用kd-tree檢索該點(diǎn)的k鄰域,然后構建最小二乘平面,并將鄰近點(diǎn)投影到其最小二乘平面上(如圖7所示),過(guò)p點(diǎn)作平行于坐標軸平面xoy,xoz,yoz的平面xpy,xpz,ypz,以xpy,xpz,ypz為參考平面,當其鄰近點(diǎn)中位于某一平面一側的點(diǎn)與位于另外一側的點(diǎn)數差與鄰近點(diǎn)總數的比大于一定閾值時(shí),該點(diǎn)即為邊界點(diǎn)。

      image.png

      邊界點(diǎn)的具體計算流程如下:

      (1)由p點(diǎn)的鄰近點(diǎn),計算出p點(diǎn)的法向量,然后構造最小二乘平面T;

      (2)將p點(diǎn)的鄰近點(diǎn)投影到平面T上;

      (3)過(guò)p點(diǎn)作平行于xoy,xoz,yoz的平面,并計算出位于三個(gè)平面兩側的點(diǎn);

      (4)若位于平面兩側的點(diǎn)數之差占鄰近點(diǎn)總數的比例大于或等于某一閾值,該點(diǎn)即為邊界點(diǎn)。

      由于經(jīng)過(guò)前文中對點(diǎn)云數據的特征提取已經(jīng)從點(diǎn)云中提取了平面特征,因此在應用上述算法提取邊界時(shí)可以進(jìn)一步簡(jiǎn)化算法。算法可以簡(jiǎn)化為先利用kd-tree檢索該點(diǎn)的k鄰域,確定點(diǎn)p的臨近點(diǎn),過(guò)p點(diǎn)做平行于面xoz的平面,計算出其鄰近點(diǎn)在平面的哪一側,若位于平面兩側的點(diǎn)數之差占鄰近點(diǎn)總數的比例大于或等于閾值,該點(diǎn)即為邊界點(diǎn)。這樣避免了計算最小二乘平面以及計算臨近點(diǎn)投影的計算量,進(jìn)一步減小了處理器的運算壓力。邊界提取效果如圖8所示。

      image.png 

      圖8 邊界提取效果

      8 解算控制信息

      提取到左右兩側邊界點(diǎn)后,取其x坐標相等的點(diǎn)為一對計算其中心點(diǎn),得到此x坐標下的步道中心。多個(gè)中心點(diǎn)連線(xiàn)即是步道中線(xiàn)。在步道中線(xiàn)上取三個(gè)點(diǎn)進(jìn)行擬合可以得到步道的基本走勢。若擬合曲線(xiàn)通過(guò)視角底部中點(diǎn)則可以判斷當前機器人位于步道中心。若擬合曲線(xiàn)端點(diǎn)在鏡頭右側則表明機器人當前處于步道中心偏左位置需要向右平移,反之需要向左移動(dòng)。取擬合曲線(xiàn)下方末端切線(xiàn),切線(xiàn)朝向即位當前位置隧步道走向,因此機器人向切線(xiàn)方向旋轉即可保證機器人前進(jìn)方向始終與步道走向一致。中心線(xiàn)擬合效果如圖9所示。

      image.png 

      圖9 中心線(xiàn)擬合效果

      9 總結與展望

      本文提出了一種針對高壓電纜隧道步道點(diǎn)云特征的機器人路徑規劃方法。本方法可以基本滿(mǎn)足輪式和四足式巡檢機器人在步道中的導航需求。但是本方法還存在諸多不足之處有待改進(jìn)以滿(mǎn)足更多場(chǎng)景的應用。(1)高壓電纜隧道中存在集水坑等特殊地形,本方法無(wú)法識別。(2)本方法無(wú)法識別步道上的臺階碎石等障礙物。對于上述崎嶇地形條件,基于點(diǎn)云的路徑規劃應該比視覺(jué)、SLAM等其他路徑規劃方式更加有優(yōu)勢,值得繼續研究開(kāi)發(fā)。同時(shí)本方法的實(shí)驗數據計算均基于筆記本電腦處理器,其運算效率和搭載在機器人上的微型處理器有很大差距,因此計算的實(shí)時(shí)性還需要另外加以驗證,若無(wú)法滿(mǎn)足實(shí)時(shí)解算的要求則機器人的控制效果將大打折扣。若運算時(shí)間無(wú)法滿(mǎn)足要求則可以考慮在點(diǎn)云精簡(jiǎn)時(shí)進(jìn)一步提高精簡(jiǎn)率以更少的點(diǎn)云提取特征,犧牲一部分準確性換取運算速度提升。

      作者簡(jiǎn)介:

      冀然(1996-),男,山西平遙人,助理工程師,碩士,現就職于國網(wǎng)北京市電力公司電纜分公司,從事電纜運維檢修工作。

      吳建旺(1977-),男,北京人,助理工程師,現就職于國網(wǎng)北京市電力公司電纜分公司,從事電纜運維檢修工作。

      張東(1989-),男,北京人,工程師,學(xué)士,現就職于北京卓越電力建設有限公司,從事電纜運維檢修工作。

      高祥(1992-),男,北京人,助理工程師,現就職于北京卓越電力建設有限公司,從事電纜運維檢修工作。

      王辰松(1988-),男,北京人,工程師,學(xué)士,現就職于北京卓越電力建設有限公司,從事電纜運維檢修工作。

      張亮(1985-),男,北京人,助理工程師,現就職于北京卓越電力建設有限公司,從事電纜運維檢修工作。

      摘自《自動(dòng)化博覽》2022年11月刊

      熱點(diǎn)新聞

      推薦產(chǎn)品

      x
      • 在線(xiàn)反饋
      1.我有以下需求:



      2.詳細的需求:
      姓名:
      單位:
      電話(huà):
      郵件:
      欧美精品欧美人与动人物牲交_日韩乱码人妻无码中文_国产私拍大尺度在线视频_亚洲男人综合久久综合天

    2. <blockquote id="fficu"><optgroup id="fficu"></optgroup></blockquote>

      <table id="fficu"></table>

      <sup id="fficu"></sup>
      <output id="fficu"></output>