1  引言

隨著(zhù)國家經(jīng)濟建設的快速發(fā)展，傳統的航空制造方式已經(jīng)越來(lái)越難以滿(mǎn)足航空機載設備的專(zhuān)用精細化零件日益增大的需求量，此外，在其他工業(yè)領(lǐng)域，也存在著(zhù)傳統工業(yè)制造技術(shù)對操作人員專(zhuān)業(yè)水平要求過(guò)高的現象，我國的勞動(dòng)力資源豐富，而過(guò)高的專(zhuān)業(yè)技術(shù)要求不利于充分發(fā)揮我國的人口紅利優(yōu)勢[1]。為此，中國航空制造技術(shù)研究院工業(yè)網(wǎng)絡(luò )與自動(dòng)化實(shí)驗室開(kāi)發(fā)出了一套智能人工作業(yè)系統。該系統是一個(gè)具有模塊化、網(wǎng)絡(luò )化、交互式特點(diǎn)的人工作業(yè)系統，符合人體工程學(xué)和精益生產(chǎn)原理。系統由投影指示/體感攝像、觸摸顯示、物料存取、工具作業(yè)等功能區組成，形成一套完整的智能化人工作業(yè)系統。有一個(gè)可自由配置的系統操作軟件，它將物理工作站與虛擬模塊連接起來(lái)，具備全面聯(lián)網(wǎng)、模塊擴展、簡(jiǎn)易集成、靈活裝卸等優(yōu)點(diǎn)。該作業(yè)系統可為員工提供多種產(chǎn)品裝配的技術(shù)指導。工作計劃直觀(guān)呈現在觸摸屏上，作業(yè)過(guò)程逐步說(shuō)明顯示給員工，或通過(guò)投影儀和按燈取貨來(lái)引導作業(yè)步驟，最大限度降低了對操作人員專(zhuān)業(yè)技能的要求，同時(shí)多種輔助外設也可以有效保證產(chǎn)品的裝配質(zhì)量[2~3]。

本系統集成了大量的輔助外設，因此如何實(shí)現對輔助外設的有效控制便成為了系統高效運行的重要指標，本系統采用以Cortex-A53為核心的實(shí)驗室自研邊緣控制器，將云計算能力下沉到邊緣側、設備側，外設響應延遲大幅度縮短，數據處理更加快速，實(shí)驗室云平臺僅負責數據存儲和管控，由此帶來(lái)的成本、能耗及帶寬也大幅度降低。云邊協(xié)同使整個(gè)智能人工作業(yè)系統具備更低的能耗和帶寬成本以及更高的系統集成化、實(shí)時(shí)性和簡(jiǎn)易性。

2  邊緣控制器介紹

本系統采用了工業(yè)網(wǎng)絡(luò )與自動(dòng)化實(shí)驗室自研的邊緣控制器，該設備具有四個(gè)基于A(yíng)RM架構的Cortex-53內核，主頻最高可達1.3GHz。此外，邊緣控制器內核還集成了一個(gè)Cortex-M4內核，板載2GB RAM、8GB ROM。圖1是邊緣控制器的實(shí)物照片，圖2是邊緣控制器接口圖示。

圖1 邊緣控制器實(shí)物照片

圖2 邊緣控制器接口圖示

邊緣控制器Cortex-A53內核基于Linux5.4系統，Cortex-M4內核基于RT系統；具備兩個(gè)可以自行設置不同網(wǎng)段的10/100Mbps自適應以太網(wǎng)接口；擁有一個(gè)1080P HDMI接口；8路24V~0V I/O輸出接口，16路24V~0V I/O輸入接口；兩個(gè)USB3.0接口；RS232和RS485串口各一個(gè)；工作溫度：-40℃～+85℃；存儲溫度：-55℃～+85℃。除了較為寬松的溫濕度條件外，邊緣控制器還具備多項抗電磁干擾特性，如靜電放電干擾、輻射電磁場(chǎng)干擾、快速瞬變干擾、工頻磁場(chǎng)干擾、衰減振蕩波干擾、射頻傳導干擾等。

3  系統設計

3.1   系統組成

圖3是智能人工作業(yè)系統的整體實(shí)物照片，其中系統各部分組成設備名稱(chēng)如下：1-腳踏開(kāi)關(guān)；2-蜂鳴器；3-三色按鈕；4-夾具；5-夾具按鈕；6-掃碼槍?zhuān)?-一體機；  8-電子秤；  9-LED燈帶；  10-零件料盒；  11-擰緊器；12-三色燈；13-深度攝像機；14-投影儀；15-RFID讀卡器；16-游標卡尺；17-邊緣控制器

圖3 智能人工作業(yè)系統組成

3.2   系統網(wǎng)絡(luò )連接

圖4是系統網(wǎng)絡(luò )連接圖，可以看出，深度相機由TX2作為GPU模塊進(jìn)行直接控制，這是由于機器視覺(jué)相關(guān)函數庫的配置需要，其中一體機因用戶(hù)與系統進(jìn)行信息交互，邊緣控制器、一體機和TX2通過(guò)網(wǎng)線(xiàn)連接至交換機，利用MQTT網(wǎng)絡(luò )協(xié)議進(jìn)行信息交互。同時(shí)，為了滿(mǎn)足云邊結合的需求，邊緣控制器通過(guò)網(wǎng)線(xiàn)連接至實(shí)驗室云平臺，實(shí)現系統操作數據的上傳。

圖4 系統網(wǎng)絡(luò )連接圖示

3.3   系統工作流程

圖5是智能人工作業(yè)系統的工作流程圖，演示了對一個(gè)專(zhuān)用航空機載設備零件的加工過(guò)程，使用到了智能人工作業(yè)系統的全部輔助外設，從操作人員登錄開(kāi)始至零件測距稱(chēng)重結束?？梢钥闯?，每一步的操作信息都是預設好的，需要輔助外設及時(shí)準確地進(jìn)行配合，因此，邊緣控制器對各外設的有效控制十分重要。

圖5 系統工作流程圖示

3.4   輔助外設的邊緣控制實(shí)現

為實(shí)現邊緣控制器對多種不同功能的輔助外設的有效控制，需要充分利用邊緣控制器的各項交互功能，就本系統來(lái)說(shuō)，需要用到的有USB接口、USB轉串口、RS232串口、GPIO、網(wǎng)絡(luò )接口、HDMI接口、PWM輸出等。由于本系統邊緣控制器基于Linux5.4操作系統，為便于用戶(hù)與系統進(jìn)行交互，本文給出的控制程序均通過(guò)QT5.13.2交叉編譯實(shí)現。表1是輔助外設的匯總表及每種輔助外設的邊緣控制實(shí)現方法。

表1 輔助外設統計

3.4.1   腳踏開(kāi)關(guān)

腳踏開(kāi)關(guān)用于發(fā)出加工步驟結束信息，通過(guò)USB與邊緣控制器連接。腳踏開(kāi)關(guān)的工作方式與鍵盤(pán)相同，即踩下腳踏開(kāi)關(guān)的動(dòng)作相當于按下鍵盤(pán)的特定字符鍵。在本系統的設計中，沒(méi)有輸入光標，因此采用按鍵事件觸發(fā)函數來(lái)捕捉腳踏開(kāi)關(guān)信號，即通過(guò)函數void MainWindow::keyPressEvent（QKeyEvent*ev）實(shí)現按鍵信號捕捉，同時(shí)，為了保證所有的輸入均表達為按鍵事件觸發(fā)，在構造函數中需執行語(yǔ)句this->grabKeyboard()。

3.4.2   蜂鳴器

蜂鳴器用于操作錯誤時(shí)的提示報警，通過(guò)邊緣控制器的GPIO實(shí)現控制，當邊緣控制器得到錯誤信息提示時(shí)，將蜂鳴器對應的輸出I/O置為高電平并持續一定的時(shí)間。

3.4.3   三色按鈕

三色按鈕的用途與腳踏開(kāi)關(guān)一致，也是用于發(fā)出加工步驟結束信息，由于操作臺面積較大，操作人員在進(jìn)行不同的操作步驟時(shí)，可能會(huì )處于不同的位置，為了方便人員操作，在與腳踏開(kāi)關(guān)相對的位置加裝了三色按鈕，三色按鈕的控制方式與腳踏開(kāi)關(guān)不同，其通過(guò)邊緣控制器輸入I/O控制，操作人員按下按鈕的時(shí)間并不固定，因此邊緣控制器需要時(shí)刻監控I/O口的電平變化，為此在程序中設置單獨的線(xiàn)程來(lái)實(shí)現，通過(guò)語(yǔ)句thread_1 = new thread_one(this)創(chuàng )建新的線(xiàn)程，  接著(zhù)通過(guò)語(yǔ)句connect(thread_1, &thread_one::over,this, &MainWindow::dealover)將該線(xiàn)程的結束信號與主程序的槽函數連接，在槽函數中創(chuàng )建while(1)永續循環(huán)來(lái)持續監控輸入I/O的電平變化。

3.4.4   掃碼槍

掃碼槍用于掃描產(chǎn)品任務(wù)條形碼或二維碼來(lái)獲取產(chǎn)品加工任務(wù)信息，  通過(guò)USB與邊緣控制器連接，  掃碼槍的工作方式與腳踏開(kāi)關(guān)相同，也是鍵盤(pán)輸入的方式，不同的是掃碼槍得到的信息是字符串而非單個(gè)字符，同時(shí)字符串以回車(chē)符為結尾，因此在按鍵事件觸發(fā)函數中需要針對性地加入判定機制。

3.4.5   電子秤

電子秤用于零件加工結束后的重量稱(chēng)量，通過(guò)USB轉串口與邊緣控制器連接，在串口通信建立后，每次稱(chēng)重數值穩定后，電子秤會(huì )將稱(chēng)重數據經(jīng)串口發(fā)送給邊緣控制器。創(chuàng )建串口的語(yǔ)句為serial = newQSerialPort；  接著(zhù)是需要打開(kāi)的串口名稱(chēng)serial->setPortName("ttyUSB0")，隨后打開(kāi)串口serial->open(QIODevice::ReadWrite)，并加以適當的延時(shí)Delay_MSec(500)以保證數據的完整接收，最后存儲通信數據buf = serial->readAll()。

3.4.6   LED燈帶

LED燈帶用于提示操作人員需要拿取的加工零件 所 放 置 的 位置，   本 系 統 所 使 用 的 LE D燈 帶型 號 為WS2812b[4] ，該型號燈帶通過(guò)特定的方波信號來(lái)驅動(dòng)LED燈珠亮滅，在邊緣控制器上集成了特定的PWM信號輸出I/O口，專(zhuān)門(mén)用于驅動(dòng)LED燈帶。

3.4.7   擰緊器

擰緊器用于加工零件的連接與緊固，本系統所使用的擰緊器為Desoutter馬頭高級擰緊系統，該擰緊器也通過(guò)串口與邊緣控制器進(jìn)行通信，與電子秤不同的是，  擰緊器通過(guò)邊緣控制器的RS232芯片實(shí)現串口通信 [5] 。每次通信，擰緊器會(huì )將扭矩信息與角度信息通過(guò)串口發(fā)送，同時(shí)擰緊系統還預設了扭矩與角度信息，用于判斷擰緊結果是否正確并向邊緣控制器發(fā)送結果信息。

3.4.8   三色燈

三色燈的功能與蜂鳴器類(lèi)似，也有提示操作錯誤信息的功能，不同的是，當操作步驟正確時(shí)，其同樣會(huì )進(jìn)行綠燈提示，當系統出現其它故障問(wèn)題時(shí)，三色燈會(huì )進(jìn)行紅燈報警。三色燈通過(guò)輸出I/O進(jìn)行控制，邊緣控制器會(huì )根據具體信息來(lái)置高對應顏色報警燈的I/O口。

3.4.9   投影儀

投影儀用于在工作臺上實(shí)時(shí)顯示當前步驟的加工信息指導、操作結果及員工信息，  通過(guò)HDMI與邊緣控制器連接，   由邊緣控制器通過(guò)MQTT網(wǎng)絡(luò )協(xié)議接收需要顯示的文字及圖片信息實(shí)現，這里的關(guān)鍵在于圖片的傳輸，邊緣控制器接收的圖片信息為from64類(lèi)型數據，  需要通過(guò)QByteArray::fromBase64(message.payload())將數據類(lèi)型轉換并存儲顯示。

3.4.10   RFID讀卡器

RFID讀卡器用于操作人員登錄智能人工作業(yè)系統，本系統使用的讀卡器型號為D-Think501。操作人員開(kāi)機后刷卡，RFID讀卡器將讀取員工姓名及工號，并獲得登錄時(shí)間。RFID讀卡器通過(guò)USB轉串口與邊緣控制器連接。D-Think501使用專(zhuān)用的通信協(xié)議讀取卡片，本系統使用的協(xié)議為ISO14443A[6]。與按鈕單線(xiàn)程監控類(lèi)似，RFID讀卡器同樣使用單獨的線(xiàn)程持續對讀卡行為進(jìn)行監控。

3.4.11   游標卡尺

游標卡尺用于零件加工過(guò)程中及加工結束后的尺寸 測量，使用USB線(xiàn)與邊緣控制器連接，  每次測量完畢后按下數據發(fā)送鍵發(fā)送至邊緣控制器。游標卡尺也使用鍵盤(pán)輸入的工作方式，因此控制程序中也對其設置了按鍵事件觸發(fā)函數用于讀取游標卡尺的讀數。

3.4.12   深度攝像機

深度攝像機用于識別手部位置，除了LED燈帶的提示，深度攝像機也用于監控操作人員拿取零件是否正確，當拿取錯誤時(shí)，錯誤信息反饋至邊緣控制器，邊緣控制器驅動(dòng)蜂鳴器和三色燈對操作人員進(jìn)行報警提示。深度相機與GPU模塊共同完成手部識別，本系統的GPU模塊為Nvidia TX2，反饋結果信息則通過(guò)MQTT網(wǎng)絡(luò )協(xié)議傳輸至邊緣控制器[7]。

3.5   系統的云邊協(xié)同技術(shù)實(shí)現

3.5.1   云邊協(xié)同技術(shù)

智能人工作業(yè)系統作為航空制造等工業(yè)生產(chǎn)活動(dòng)中的通用生產(chǎn)設備，可以用于大規模產(chǎn)品制造，但系統數量逐漸增加，所產(chǎn)生的系統和工作數據也將急劇增加。隨著(zhù)互聯(lián)網(wǎng)技術(shù)的發(fā)展，云計算從最初的新興概念成為成熟的應用。在現代工業(yè)生產(chǎn)中，云計算的應用也非常廣泛。然而，生產(chǎn)規模的擴大導致云計算所要面對的數據規模成倍增加，如今的云計算面臨著(zhù)新興計算場(chǎng)景、小數據實(shí)時(shí)處理等方面的挑戰，云計算的發(fā)展出現了一些瓶頸，需要新技術(shù)來(lái)突破。這便涉及到了一個(gè)新的概念——云邊協(xié)同，將云計算的能力下沉到邊緣側、設備側，并通過(guò)中心進(jìn)行統一交付、運維、管控，將是重要的發(fā)展趨勢。在本文中，邊緣控制器承擔邊緣計算工作，與用戶(hù)交互并控制外設執行相關(guān)操作；整合系統數據向云平臺上傳，而實(shí)驗室云平臺僅承擔數據存儲、調用與管控工作。這樣一來(lái)，系統的數據計算與處理工作在邊緣節點(diǎn)進(jìn)行，更加貼近用戶(hù)，減少了中間數據傳輸的過(guò)程，數據的處理延遲大幅度降低，保證了用戶(hù)指令的實(shí)時(shí)處理；此外，由于數據處理不需要上傳到實(shí)驗室云平臺，邊緣計算不需要使用太多的網(wǎng)絡(luò )帶寬，隨著(zhù)網(wǎng)絡(luò )帶寬的負荷降低，智能設備的能源消耗在網(wǎng)絡(luò )的邊緣也將大幅度減少。

3.5.2   數據交互實(shí)現

無(wú)論是邊緣計算，還是云平臺數據存儲，云邊協(xié)同技術(shù)都離不開(kāi)數據交互。在本文中，智能人工作業(yè)系統的數據交互過(guò)程是通過(guò)MQTT網(wǎng)絡(luò )協(xié)議來(lái)實(shí)現的。MQTT協(xié)議是一種基于發(fā)布/訂閱（Publish/Subscribe）模式的輕量級通訊協(xié)議，該協(xié)議構建于TCP/IP協(xié)議上，由IBM在1999年發(fā)布。MQTT最大的優(yōu)點(diǎn)在于可以以極少的代碼和有限的帶寬，為遠程設備提供實(shí)時(shí)可靠的消息服務(wù)。作為一種低開(kāi)銷(xiāo)、低帶寬占用的即時(shí)通訊協(xié)議，MQTT在物聯(lián)網(wǎng)、小型設備、移動(dòng)應用等方面都有著(zhù)廣泛的應用[8]。

本文中，云平臺所存儲的數據包括操作信息及加工信息兩部分，具體的信息內容及主題如表2所示。

表2 邊緣控制器上傳信息及主題

圖6和圖7分別為云平臺數據庫所存儲的部分系統操作信息與加工信息，可以看到，智能人工作業(yè)系統的全部系統數據被完整地記錄在云平臺，便于隨時(shí)隨地訪(fǎng)問(wèn)獲取。

圖6 操作信息

圖7 加工信息

4  應用驗證

本節將智能人工作業(yè)系統加工某一專(zhuān)用航空機載設備零件的操作過(guò)程進(jìn)行部分實(shí)物圖片展示，其中加工零件的操作流程依據3.3節的系統工作流程圖。

圖8是智能人工作業(yè)系統的登錄界面，這里演示的是刷卡登錄，系統同時(shí)支持賬號密碼登錄；圖9為某一專(zhuān)用零件加工過(guò)程中第1步拿取零件的指導界面，由于篇幅限制這里只展示一個(gè)操作步驟，可以看到，指導界面有產(chǎn)品步驟進(jìn)度、具體操作信息以及步驟圖片指導等信息。

圖8 智能人工工作站登錄界面

圖9 智能人工作業(yè)系統零件加工指導界面

5  結論

本文利用以Cortex-A53為內核的自研邊緣控制器，結合多種輔助外設，在MQTT網(wǎng)絡(luò )協(xié)議下實(shí)現了具有云邊協(xié)同工作能力的智能人工作業(yè)系統，該系統具備多種航空機載設備零件的專(zhuān)用化、定制化加工功能。通過(guò)邊緣設備的有效控制，各輔助外設的信息反饋全面準確，指令響應及時(shí)，符合工業(yè)生產(chǎn)對生產(chǎn)效率的要求；此外，通過(guò)云邊協(xié)同，數據處理工作由邊緣控制器完成，實(shí)驗室云平臺僅承擔系統數據的存儲、調用與管控工作，由此將帶來(lái)更低的能耗與帶寬，工業(yè)生產(chǎn)的成本將會(huì )進(jìn)一步下降。

作者簡(jiǎn)介：

劉平凡  （1995-），男，河北唐山人，工程師，碩士，現就職于中國航空制造技術(shù)研究院，從事嵌入式、邊緣計算、工業(yè)網(wǎng)絡(luò )與自動(dòng)化等研究工作。

鄒   方  （1965-），男，湖南婁底人，研究員，碩士，現就職于中國航空制造技術(shù)研究院，從事智能制造基礎技術(shù)、系統控制與集成技術(shù)、邊緣計算、工業(yè)網(wǎng)絡(luò )與自動(dòng)化等研究工作。

何昭巖  （1991-），男，吉林人，工程師，碩士，現就職于中國航空制造技術(shù)研究院，從事嵌入式、邊緣計算、工業(yè)網(wǎng)絡(luò )與自動(dòng)化等研究工作。

劉諾石  （1997-），男，湖北荊門(mén)人，工程師，碩士，現就職于中國航空制造技術(shù)研究院，從事嵌入式、邊緣計算、工業(yè)網(wǎng)絡(luò )與自動(dòng)化等研究工作。

參考文獻：

[1] 互聯(lián)網(wǎng)快聞. "人口紅利" 下的隱憂(yōu): 中國制造業(yè)何去何從[EB/OL]. 

[2] 劉諾石, 鄒方, 何昭巖, 等. 一種智能防錯的輔助人工作業(yè)系統開(kāi)發(fā)與應用[J]. 航空制造技術(shù), 2021, 64 (5) : 89 - 97.

[3] 魏中雨, 黃海松, 姚立國. 基于機器視覺(jué)和深度神經(jīng)網(wǎng)絡(luò )的零件裝配檢測[J]. 組合機床與自動(dòng)化加工技術(shù), 2020, (3) : 74 - 77, 82. [4] WS2812B規格書(shū)[Z]. 2016.

[5] 崔道闊. 自動(dòng)擰緊技術(shù)在發(fā)動(dòng)機裝配方面的應用[J]. 內燃機與配件, 2018, (17) : 59 - 61.

[6] Wowocpp. 智能卡ISO14443協(xié)議解讀[EB/OL]. 

[7] 穆欣偉, 孫晉豪, 鄒方. 人機協(xié)作視覺(jué)手部保護系統設計[J]. 工業(yè)控制計算機, 2020, 33 (2) : 83 - 86.

[8] 安現峰. MQTT協(xié)議詳解[EB/OL].

摘自《自動(dòng)化博覽》2022年2月刊