隨著(zhù)邊緣計算技術(shù)和工業(yè)互聯(lián)網(wǎng)應用的快速發(fā)展，邊緣智能設備需要支持的功能不斷增加，并且，不同類(lèi)型的功能依賴(lài)不同的硬件實(shí)現性能加速，比如：網(wǎng)絡(luò )傳輸需要獨立CPU的高級網(wǎng)卡支持或與新的安全協(xié)議快速對接，視頻監控需要GPU資源來(lái)進(jìn)行視頻分析加速。此外，隨著(zhù)功能需求的不斷增加，原有邊緣智能設備方案也要升級不同的硬件，而對于在現場(chǎng)已經(jīng)部署完成的邊緣智能設備，單獨升級其中的某部分硬件模塊，從可行性和成本上均面臨很大挑戰。

上述問(wèn)題的有效解決需要一種全新的方案。

近日，江行智能與香港理工大學(xué)計算學(xué)系王丹教授團隊共同研發(fā)的智能網(wǎng)卡項目TAPU-NIC: A Smart Network Interface Card based on a novel Transmission-Analytics Processing Unit for EdgeBox（為邊緣計算設計的基于傳輸分析集成處理的智能網(wǎng)卡）取得重要成果：全球首款可按需、靈活提供CPU和GPU資源的邊緣智能網(wǎng)卡問(wèn)世。該項目由香港特別行政區政府創(chuàng )新科技署創(chuàng )新科技基金支持，相關(guān)成果申請專(zhuān)利一項，發(fā)表高水平論文三篇。該款智能網(wǎng)卡的原型系統將應用于江行智能EdgeBox系列產(chǎn)品。

該項目的核心成果是一種新穎的傳輸分析處理單元（TAPU），它可以在單個(gè)FPGA芯片上同時(shí)啟用CPU模式和GPU模式，并對不同模式使用的資源進(jìn)行動(dòng)態(tài)調節。TAPU提供的這種關(guān)鍵特性可以在不調整邊緣智能設備已有硬件的前提下，為資源優(yōu)化問(wèn)題提供最佳的解決方案。依賴(lài)該特性，項目組進(jìn)一步研發(fā)了智能網(wǎng)卡模塊TAPU-NIC。

圖1：TAPU-NIC模塊架構

該模塊包含機器視覺(jué)類(lèi)算法模型和系統網(wǎng)絡(luò )應用，可根據邊緣側實(shí)際業(yè)務(wù)需求，自適應動(dòng)態(tài)調整GPU和CPU資源分配，優(yōu)化邊緣智能設備性能，靈活支持場(chǎng)景應用。原型系統由江行智能EdgeBox，TAPU-NIC，以及商用攝像頭組成，并在香港理工大學(xué)進(jìn)行現場(chǎng)測試。圖2展示了系統演示畫(huà)面，我們可以清晰的看到，系統可以按需設置視頻分析參數和網(wǎng)絡(luò )應用參數，動(dòng)態(tài)提供CPU資源和GPU資源。實(shí)驗結果顯示，TAPU可以提高24%視頻應用分析的準確度，以及減少22%的響應時(shí)間。

圖2：系統演示畫(huà)面

江行智能聯(lián)合創(chuàng )始人兼CTO樊小毅博士表示：非常榮幸能與香港理工大學(xué)王丹教授團隊合作研發(fā)項目，很感謝香港創(chuàng )新科技署對項目的大力支持。作為一家高科技創(chuàng )業(yè)公司，我們一直非常重視產(chǎn)學(xué)研的緊密合作，江行智能希望通過(guò)開(kāi)放性的合作推動(dòng)行業(yè)前沿問(wèn)題的研究，加速一系列研發(fā)成果的有效轉化，從而推動(dòng)技術(shù)進(jìn)步。目前，我們已經(jīng)同清華大學(xué)、香港理工大學(xué)、中國科學(xué)技術(shù)大學(xué)、華北電力大學(xué)等眾多高校建立了合作關(guān)系，相信這個(gè)名單會(huì )不斷擴大下去，更多AI+邊緣計算的科研成果會(huì )落地工業(yè)場(chǎng)景。