★中國航空制造技術(shù)研究院邰月檸，霍志宇，閆利強

關(guān)鍵詞：人工裝配；混合現實(shí)；空間定位；虛實(shí)融合

1　研究背景

飛機、發(fā)動(dòng)機等航空產(chǎn)品的人工裝配環(huán)節，由于裝配零件數量多、種類(lèi)復雜，且作業(yè)周期長(cháng)、參與裝配人員眾多，極易發(fā)生錯裝、漏裝問(wèn)題^[1]。同時(shí)，裝配場(chǎng)景的復雜性給裝配質(zhì)量檢驗工作帶來(lái)了挑戰。通過(guò)數字化技術(shù)的應用，充分利用產(chǎn)品數字化定義和數據組織，可成為質(zhì)量監管人員管控裝配質(zhì)量的重要手段^[2]。然而，利用當前航空制造中運用的數字化設計制造工具進(jìn)行裝配質(zhì)量管理所面臨的挑戰日益凸顯：

（1）在航空產(chǎn)品裝配結果檢驗過(guò)程中，產(chǎn)品設計、制造信息通常通過(guò)包含文字描述和圖表的文檔在產(chǎn)品、工藝設計人員與裝配、質(zhì)檢員之間進(jìn)行傳遞，其形式是半面的、靜態(tài)的，嚴重依賴(lài)現場(chǎng)人員的技能經(jīng)驗水平和對文檔的理解^[3]。

（2）航空產(chǎn)品的復雜性，造成裝配結果檢驗周期長(cháng)、質(zhì)檢員工作疲勞程度大，極易引起漏檢錯檢問(wèn)題，且此類(lèi)問(wèn)題難以追溯，難以形成可靠的檢驗過(guò)程記錄。

（3）制造現場(chǎng)的質(zhì)檢員所使用的傳統規格的平板電腦、智能手機等終端設備往往只作為平面圖紙和工藝檢驗規程文檔的簡(jiǎn)單替換，難以體現航空產(chǎn)品設計制造數字化、信息化的優(yōu)勢。

混合現實(shí)（Mixed Reality，MR）是虛擬現實(shí)技術(shù)的一個(gè)重要分支。與傳統虛擬現實(shí)（Virtual Reality，VR）所要達到的完全沉浸的效果不同，MR技術(shù)是要借助顯示技術(shù)、交互技術(shù)、多種傳感技術(shù)和計算機圖形與多媒體技術(shù)將虛擬環(huán)境與用戶(hù)周?chē)默F實(shí)環(huán)境混合為一體^[4]。將MR應用到飛機裝配結果檢驗任務(wù)，使質(zhì)檢員在混合現實(shí)環(huán)境看到虛擬物體和真實(shí)環(huán)境的混合場(chǎng)景，可增強用戶(hù)對業(yè)務(wù)場(chǎng)景的感知能力^[5]，有助于使質(zhì)檢員將實(shí)際裝配結果與產(chǎn)品數模進(jìn)行直接比對，從而提升檢驗信息傳遞準確程度并減輕質(zhì)檢員工作強度。此外，通過(guò)混合現實(shí)設備可錄制檢驗過(guò)程以便于追溯檢驗結果，確定故障原因。

MR設備平臺和算法軟件技術(shù)在國內外均處于快速發(fā)展和頻繁迭代的階段，并在航空制造等行業(yè)中得到廣泛應用^[6]。在混合現實(shí)產(chǎn)品的研發(fā)方面，國外的波音、空中客車(chē)、洛克希德·馬丁等航空企業(yè)與微軟、達索系統等企業(yè)緊密協(xié)作開(kāi)發(fā)了包括BARK、MOON、DiotaAR等混合現實(shí)軟硬件產(chǎn)品和解決方案，在輔助裝配、遠程專(zhuān)家支持、虛擬訓練、虛擬方案驗證等任務(wù)中發(fā)揮了重要的作用^[3]。國內混合現實(shí)企業(yè)圍繞行業(yè)中的痛點(diǎn)問(wèn)題，如安防、巡檢、遠程專(zhuān)家協(xié)助、虛擬培訓等任務(wù)研發(fā)了多款針對性的產(chǎn)品，并取得了良好的效果，促進(jìn)了傳統工業(yè)行業(yè)向智能化轉型^[7]。

2　相機在空間中的定位技術(shù)

2.1　相機位姿估計

相機位姿估算就是建立圖像像素坐標系與三維空間坐標系之間的映射關(guān)系。根據已知其世界坐標系下點(diǎn)的像素位置，計算相機在三維空間坐標系下的位置和姿態(tài)。相機位姿估計可通過(guò)N點(diǎn)透視位姿求解（Perspective-npoints，PnP）算法實(shí)現^[8]。該方法如圖1所示，根據觀(guān)測到圖像上n個(gè)已知位置的特征點(diǎn)的像素位置，通過(guò)直接線(xiàn)性變換（Direct Linear Transformation，DLT）或非線(xiàn)性?xún)?yōu)化（Non-linear Optimization，NLO）的方法求解出估計相機位姿。其中，根據非線(xiàn)性?xún)?yōu)化的方法可減少三維空間坐標系不夠準確的特征點(diǎn)對結果的影響，使位姿估計結果準確、可靠。

圖1  相機位姿[R,t]估計示意圖

2.2　平面標志物識別與虛實(shí)注冊

平面標志物的檢測、識別與跟蹤是通過(guò)在平面區域上制作特殊圖案化標志，從應用場(chǎng)景中獲取的圖像中識別并定位跟蹤該標志進(jìn)行虛實(shí)空間的注冊，從而實(shí)現虛實(shí)融合的效果。虛實(shí)注冊（Registration）或者是配準是將虛擬對象與真實(shí)對象之間坐標系對齊的過(guò)程^[9]。虛實(shí)注冊最主要的任務(wù)是通過(guò)觀(guān)察當前場(chǎng)景獲得相機相對于已知標識的位置和姿態(tài)，使得虛擬場(chǎng)景正確的與真實(shí)場(chǎng)景進(jìn)行疊加?；跇俗R的跟蹤注冊過(guò)程為：系統通過(guò)真實(shí)場(chǎng)景的視頻進(jìn)行分析，對該圖像進(jìn)行提取、檢測與識別，以此來(lái)確定標識的ID；識別出標識以后，可以計算出相機相對于該標識的6自由度（6DoF）位置和姿態(tài)；然后根據外部參數矩陣設置虛擬相機位置渲染3D虛擬模型圖像實(shí)現虛實(shí)疊加顯示效果輸出到顯示設備中?；跇酥疚锏母欁苑椒ㄓ嬎銖碗s度較低，具有較好的實(shí)時(shí)性和準確性，技術(shù)也較為成熟^[10]。

2.3  基于視覺(jué)SLAM的相機位置跟蹤

相機位置跟蹤可以通過(guò)視覺(jué)SLAM（Simultaneous Localization and Mapping）實(shí)現。SLAM技術(shù)通過(guò)計算機視覺(jué)方法同時(shí)實(shí)現特征點(diǎn)云地圖構建和相機6DoF位姿計算^[11]。SLAM過(guò)程中，相機通過(guò)特征點(diǎn)檢測、跟蹤、三角定位的方法建立特征點(diǎn)云，并通過(guò)濾波或非線(xiàn)性?xún)?yōu)化的方法匹配特征點(diǎn)云并計算相機的位置，從而在三維空間內定位AR設備。

3  系統設計

3.1　整體設計

MR裝配結果檢驗輔助系統以智能平板電腦為平臺，通過(guò)疊加顯示各類(lèi)虛擬信息引導質(zhì)檢員完成對裝配結果的檢查。質(zhì)檢員開(kāi)始質(zhì)檢后，AR設備將自動(dòng)開(kāi)啟全程錄像。通過(guò)AR眼鏡，質(zhì)檢員可以在檢驗現場(chǎng)查看到流程中每一步驟的檢驗內容、操作指導等數字信息，還可通過(guò)語(yǔ)音進(jìn)行程序控制、質(zhì)檢項目選擇、檢測結果輸入等。在完成整個(gè)場(chǎng)景后，將檢驗信息上傳到質(zhì)檢后臺，后臺支持相關(guān)數據的查詢(xún)、展示及報告的生成，從而使得裝配結果檢驗過(guò)程實(shí)現了工單無(wú)紙化、信息標準化、檢驗電子化、管理可追溯等目標，助力了航空產(chǎn)品生產(chǎn)單位在裝配結果檢驗環(huán)節效率提升。

3.2　功能模塊

MR裝配結果檢驗輔助系統具備MR空間注冊及自定位、虛實(shí)疊加顯示、檢測流程控制、檢驗提示信息加載及顯示、裝配問(wèn)題標注、裝配結果檢驗報告自動(dòng)生成6項主要功能。這6項功能通過(guò)系統的6個(gè)主要功能模塊實(shí)現，每個(gè)模塊的功能描述和實(shí)現途徑如圖2所示。

圖2  MR裝配結果檢驗輔助系統6項主要功能模塊示意圖

（1）MR空間注冊及自定位模塊。MR空間注冊通過(guò)二維碼平面標志物實(shí)現。二維碼平面標志物具有易識別、易跟蹤、定位精確的優(yōu)點(diǎn)。通過(guò)在場(chǎng)景中的固定位置設置平板標志物，可準確獲得MR設備自定位過(guò)程中相對于檢驗場(chǎng)景的初始位置，從而實(shí)現MR設備自定位結果與裝配場(chǎng)景坐標系間的配準，從而實(shí)現空間注冊?？臻g注冊完成后，MR設備通過(guò)視覺(jué)SLAM算法實(shí)現檢驗場(chǎng)景坐標系下連續的自定位。

（2）MR虛實(shí)疊加顯示模塊。MR虛實(shí)疊加顯示模塊通過(guò)視頻流顯示和3D渲染虛擬相機共同實(shí)現。其中，在MR設備屏幕區域播放MR設備視頻相機所獲得的視頻流，同時(shí)設置與MR設備屏幕區域，即視頻流播放區域等大的3D渲染窗口，并以MR設備視頻相機內參為依據設置用于渲染3D場(chǎng)景的3D渲染虛擬相機的投影矩陣，投影矩陣用于計算三維空間中一點(diǎn)在相機圖像所渲染的位置^[12]。假設相機內參如圖3（a）所示，m、cx、cy分別為相機焦距和相機光心坐標，w、h分別為圖像橫向、縱向分辨率，則3D渲染虛擬相機的投影矩陣為A可由以下公式求得。其中，l、r、t、b、n、f為圖3（b）所示的投影矩陣參數，該參數定義了3D渲染區域的形狀和大小。當視頻流顯示窗口與3D渲染虛擬相機如圖3（c）所示重合并同步播放視頻流和渲染3D場(chǎng)景時(shí)即可實(shí)現MR虛實(shí)疊加顯示效果。

圖3  虛實(shí)疊加中相機參數模型與投影模型示意圖

（3）裝配結果檢驗流程控制模塊。裝配結果檢驗流程控制模塊讀取預先編制的檢驗流程描述文件獲得每個(gè)裝配零件的檢驗次序。檢驗順序依照人工裝配環(huán)節每個(gè)零部件的裝配順序，引導質(zhì)檢員對每個(gè)零件的裝配結果依次完成檢驗。

（4）裝配結果檢驗提示信息加載和顯示模塊。裝配結果檢驗提示信息加載和顯示模塊用于在每個(gè)零部件裝配結果的檢驗中載入外部文件構建虛實(shí)融合的檢驗場(chǎng)景。每個(gè)零件檢驗所需的信息包括固定于裝配位置顯示的3D模型和固定于MR設備屏幕像素位置顯示的零件名稱(chēng)、編號、圖樣，以及檢驗所需的注意事項信息。

（5）裝配問(wèn)題標注模塊。裝配問(wèn)題標注模塊采用射線(xiàn)碰撞檢驗技術(shù)實(shí)現三維空間中的標注功能。當質(zhì)檢員發(fā)現當前待測零件存在安裝問(wèn)題時(shí)，可將MR設備對準零件位置點(diǎn)擊標注，隨后在彈出的窗口中輸入裝配問(wèn)題描述信息。同時(shí)，系統自動(dòng)拍攝問(wèn)題位置的圖片并進(jìn)行標注。檢驗者最后可選擇保存信息從而將存在裝配問(wèn)題零件、所在位置、場(chǎng)景圖像、質(zhì)檢員、檢驗時(shí)間、問(wèn)題描述等存儲為數據文件。這樣不僅可以保存問(wèn)題信息，還可通過(guò)MR功能使其他質(zhì)檢人員可以通過(guò)載入數據文件快速定位裝配問(wèn)題所在位置并回溯所發(fā)生的裝配。

（6）裝配結果檢驗報告自動(dòng)生成模塊。裝配結果檢驗報告自動(dòng)生成模塊可加載裝配問(wèn)題數據文件，并通過(guò)模板生成包含整個(gè)檢驗任務(wù)中所有零件檢驗結果的報告文本，并對于每個(gè)檢驗到的裝配問(wèn)題進(jìn)行描述。

3.3　系統界面設計

圖4為系統界面設計。系統通過(guò)各類(lèi)顯示控件實(shí)現以三維模型、圖片、文本為載體的檢驗信息提示，并通過(guò)按鍵、文本輸入框等交互控件實(shí)現質(zhì)檢員對檢驗環(huán)節、檢驗內容的控制。

圖4  MR裝配結果檢驗輔助系統界面設計示意圖

4  案例驗證

如圖5（a）所示構建MR裝配結果檢驗輔助系統的簡(jiǎn)易驗證場(chǎng)景。該場(chǎng)景包括1塊底板和10個(gè)零件，每個(gè)零件均指定固定的裝配位置。檢驗系統依次提示檢測人員每個(gè)零件的裝配位置從而引導質(zhì)檢員完成檢驗任務(wù)。圖5（b）顯示了系統運行時(shí)虛實(shí)疊加顯示檢驗提示信息的效果。

（a）MR裝配結果檢驗輔助系統的簡(jiǎn)易驗證場(chǎng)景：零件實(shí)景（左）、零件場(chǎng)景三維數模（右）

（b）MR裝配結果檢驗輔助系統運行效果示意圖

圖5  案例驗證場(chǎng)景及MR裝配結果檢驗輔助系統運行效果

5  結論

隨著(zhù)新時(shí)期航空制造業(yè)發(fā)展的需要，大批軍民用飛行器不斷研制、生產(chǎn)。由于航空產(chǎn)品具有科技含量高、結構復雜、性能先進(jìn)的特點(diǎn)，因此對各類(lèi)型號研制、裝備生產(chǎn)和使用中的質(zhì)量檢驗工作，特別是裝配環(huán)節的質(zhì)量檢驗提出了更高的要求。目前我國航空產(chǎn)品生產(chǎn)中的質(zhì)量檢驗環(huán)節主要采用人工檢驗的模式進(jìn)行，對質(zhì)檢員經(jīng)驗和責任心要求高。同時(shí)，檢驗專(zhuān)家缺乏導致任務(wù)負擔重，檢驗的效率和可信度都受到影響。在裝配結果檢查中運用MR技術(shù)，可有效提升質(zhì)量檢驗環(huán)節的數字化、信息化水平，進(jìn)而提升檢驗效率和檢驗結果的置信度，從而有效降低質(zhì)量檢驗的成本，實(shí)現航空產(chǎn)品生產(chǎn)提質(zhì)增效。

作者簡(jiǎn)介：

邰月檸（1996-），女，貴州貴陽(yáng)人，助理工程師，碩士，現就職于中國制造技術(shù)研究院，主要從事數字化制造技術(shù)方面的研究。

霍志宇（1988-），男，河北磁縣人，高級工程師，博士，現就職于中國制造技術(shù)研究院，主要從事數字化制造技術(shù)方面的研究。

閆利強（1994-），男，山西呂梁人，工程師，碩士，現就職于中國制造技術(shù)研究院，主要從事數字化制造技術(shù)方面的研究。

參考文獻：

[1] 邵緒威. 數字化制造技術(shù)在航空航天領(lǐng)域應用及發(fā)展趨勢研究[J]. 中文科技期刊數據庫 (全文版) 工程技術(shù), 2024 (1) : 43 - 46.

[2] 胡桂新, 彭鵬. 我國民用航空工業(yè)數字化發(fā)展的思考與建議[J]. 機電產(chǎn)品開(kāi)發(fā)與創(chuàng )新, 2024, 37 (1) : 171 - 173.

[3] Maryam Safi, Joon Chung, Pratik Pradhan. Review of augmented reality in aerospace industry. Aircraft Engineering and Aerospace Technology, 2019, 10 (7) : 1187 - 1194.

[4] 楊慧麗, 官炳政, 李金成, 等. 基于混合現實(shí)技術(shù)的智能裝備向導應用[J]. 橡塑技術(shù)與裝備, 2024, 50 (3) : 67 - 69.

[5] 中國增強現實(shí)行業(yè)分析[J]. 中國科技信息, 2023 (5) : 2 - 7.

[6] 汪嘉杰, 王磊, 范秀敏, 等. 基于視覺(jué)的航天電連接器的智能識別與裝配引導[J]. 計算機集成制造系統, 2017, 23 (11) : 2423 - 2430.

[7] 霍志宇. 高精度增強現實(shí)輔助裝配空間定位技術(shù)研究與應用[J]. 航空制造技術(shù), 2022, 65 (18) : 105 - 110.

[8] Lepetit V, Moreno-Noguer F, Fua P. Epnp: An accurate o (n) solution to the pnp problem[J]. International journal of computer vision, 2009, 81 (2) : 155 - 166.

[9] Garrido-Jurado S, Mu?oz-Salinas R, Madrid-Cuevas F J, et al. Automatic generation and detection of highly reliable fiducial markers under occlusion[J]. Pattern Recognition, 2014, 47 (6) : 2280 - 2292.

[10] 面向移動(dòng)增強現實(shí)的場(chǎng)景識別與跟蹤注冊技術(shù)研究[D]. 北京: 北京理工大學(xué), 2014.  

[11] Aulinas J, Petillot Y, Salvi J, et al. The SLAM problem: a survey[C] // Proceedings of the 2008 Research and Development: Proceedings of the 11th International Conference of the Catalan Association for Artificial Intelligence. conference on Artificial Intelligence 2008: 363-371.

[12] 劉浩君. 旋轉物體三維影像投射的研究[J]. 電子技術(shù)與軟件工程, 2015 (11) : 105 - 106.

摘自《自動(dòng)化博覽》2024年9月刊