★廣州英碼信息科技有限公司 李甘來(lái) 

摘要： 隨著(zhù)細分場(chǎng)景視覺(jué)算法需求的不斷挖掘，邊緣計算設備作為細分場(chǎng)景AI 應用落地的最佳載體，也逐步展現出高速成長(cháng)的趨勢。而不同品牌的AI芯片平臺 都有獨立的開(kāi)發(fā)架構，算法廠(chǎng)商的移植工作不能普遍適用于不同品牌的算力芯 片，這就大大限制了算法廠(chǎng)商對邊緣算力的選型，造成資源的浪費。本方案基于 英碼科技AIoT中臺，結合跨品牌的涵蓋高中低算力的軟硬一體邊緣計算設備，通 過(guò)“N個(gè)硬件平臺+1套管理中臺+N種場(chǎng)景算法”的方式，在日益碎片化的邊緣場(chǎng) 景，為用戶(hù)提供算法能力快速落地的全套解決方案。 

關(guān)鍵詞：邊緣計算；長(cháng)尾算法；算力自定義；跨芯片平臺 

1　目標和概述 

1.1　行業(yè)需求分析 

隨著(zhù)物聯(lián)網(wǎng)（IOT）技術(shù)和人工智能（AI）技術(shù)的 不斷發(fā)展，視覺(jué)識別技術(shù)開(kāi)始廣泛應用于越來(lái)越多的 細分領(lǐng)域，這也讓視頻技術(shù)的發(fā)展經(jīng)歷模擬化、數字 化、網(wǎng)絡(luò )化的過(guò)程后，進(jìn)入了全面智能化階段。當各類(lèi) 細分場(chǎng)景的算法需求不斷被攻克，視頻技術(shù)將會(huì )迎來(lái)場(chǎng) 景定義算法、場(chǎng)景定義產(chǎn)品的場(chǎng)景化時(shí)代。在場(chǎng)景化的 時(shí)代，把所有視頻上傳到云端統一運算的傳統模式顯然 已經(jīng)不適應需求，算力下移到邊緣側或端側，與云端協(xié) 同，共同來(lái)形成更合理的運算架構，是場(chǎng)景化時(shí)代的必 然趨勢。 

基于龐大的細分場(chǎng)景需求，以及在國產(chǎn)化的發(fā)展 大潮下，各類(lèi)適用于邊緣端的國產(chǎn)算力芯片不斷發(fā)展， 但各芯片平臺都有獨立的開(kāi)發(fā)架構，算法廠(chǎng)商的移植工 作不能普遍適用于不同品牌的算力芯片，例如基于寒武 紀芯片的移植成果不能直接應用于算能的芯片，如果選 擇了其他芯片則需要重新移植，這大大限制了算法廠(chǎng)商 對邊緣算力的選型，造成資源浪費。對于市場(chǎng)側，細分 場(chǎng)景多如牛毛，雖然國內計算機視覺(jué)廠(chǎng)商有90%都集中 于做人臉識別、車(chē)輛識別、OCR等算法，其他細分場(chǎng)景 長(cháng)尾算法的廠(chǎng)商僅有10%左右，但是人臉識別、車(chē)輛識 別、OCR等算法僅僅是海量需求里的冰山一角，大量的 長(cháng)尾算法需求超過(guò)了一萬(wàn)種，這些需求正在逐步被挖掘 出來(lái)。然而長(cháng)尾算法碎片化、國產(chǎn)化移植周期長(cháng)、試錯 成本高等問(wèn)題，極大限制了邊緣計算的廣泛應用落地。 因此，只有突破這個(gè)局限，才能真正讓邊緣計算應用迎 來(lái)更大的爆發(fā)性發(fā)展。

 1.2　主要目標 

（1）解決跨芯片平臺快速移植的問(wèn)題，降低算法 廠(chǎng)商的移植成本和試錯成本； 

（2）降低系統集成商對算法應用的難度，提升項 目部署落地的效果和效率；

（3）提升長(cháng)尾算法從開(kāi)發(fā)到邊緣設備移植，以及 項目應用部署的效率，完善算法精確度在邊緣設備上的 持續迭代問(wèn)題； 

（4）提供完整的，包含多層次算力、可靈活搭配組 合的邊緣計算硬件設備及云邊協(xié)同平臺的整體解決方案。 

1.3　應用創(chuàng )新 

以AIoT中臺為基礎，打造3種核心能力： 

（1）自動(dòng)訓練能力：打造自動(dòng)化訓練平臺具備算 法自動(dòng)訓練、模型自動(dòng)移植的功能，提供場(chǎng)景數據-算 法模型-指定硬件平臺算法插件的一站式生成服務(wù)。自 動(dòng)化訓練平臺可實(shí)現快速生成算法插件，結合嵌入式AI 推理平臺，實(shí)現邊緣場(chǎng)景算法能力的快速落地，最快一 周內產(chǎn)出算法模型。 

（2）多平臺算法移植能力：基于自動(dòng)化訓練平臺 實(shí)現的場(chǎng)景算法，目前已支持包括VIT在內的20多種 常見(jiàn)算法模型，涵蓋目標檢測、旋轉檢測、關(guān)鍵點(diǎn)檢 測、文字識別、目標分割、實(shí)例分割、動(dòng)作識別等多 種算法類(lèi)別，均可在多種芯片平臺的邊緣算力硬件上 運行。 

（3）嵌入式AI推理系統：一套提供AI算法服務(wù)能 力的軟件，可以運行于邊緣算力硬件平臺之上，采用服 務(wù)與算法分離的方式，服務(wù)軟件主要適配各種硬件平臺 差異，實(shí)現視頻/圖像分析的通用業(yè)務(wù)/管理功能，算法 則采用插件式編程方式，通過(guò)服務(wù)軟件+算法插件的方 式，對外提供統一服務(wù)接口，實(shí)現算法能力的按需切換 與快速落地。 

通過(guò)以上3個(gè)核心能力，讓各類(lèi)細分場(chǎng)景算法滿(mǎn)足 快速定制，以及快速適配多種芯片平臺的邊緣計算設備 的目的，達成算法與硬件解耦的效果，為集成商提供更 多靈活搭配的算力設備組合，最終實(shí)現硬件算力的自定 義。通過(guò)AIoT中臺的管理，可讓不同廠(chǎng)家的算法與不 同AI芯片平臺的設備連接起來(lái)，實(shí)現算法、算力設備的 自定義，最終達成場(chǎng)景定義產(chǎn)品的目標。同時(shí)，通過(guò)標 準接口協(xié)議實(shí)現AIoT平臺與集成商應用平臺的快速對 接，提升項目部署效率和降低成本。

 2　方案介紹 

2.1　總體技術(shù)介紹 

英碼“深元”產(chǎn)品體系是在英碼科技多層次邊緣算 力硬件產(chǎn)品布局的基礎上，基于自主研發(fā)的邊緣AIoT中 臺軟件，結合不同細分場(chǎng)景應用算法和嵌入式軟件的軟 硬一體解決方案，通過(guò)“N個(gè)硬件平臺+1套管理中臺+N 種場(chǎng)景算法”的方式，在日益碎片化的邊緣場(chǎng)景，為用 戶(hù)提供算法能力快速落地的完整解決方案。 

產(chǎn)品核心組成部分——AI賦能平臺，是一款集智 能硬件管理和AI算法應用管理的產(chǎn)品，產(chǎn)品旨在解決視 頻AI算法應用由“云”側下沉到“邊”側的成本、效率 和算力的問(wèn)題，降低用戶(hù)的試錯成本，縮短客戶(hù)研發(fā)周 期，提供一套同等算力指標，且易維護、易部署，可靠 性強，使用簡(jiǎn)單的輕量級解決方案，“撕掉”AI算法在 傳統認知里的“落地難”、“部署復雜”、“維護成本 高”三大標簽，引領(lǐng)邊緣計算在各行各業(yè)的場(chǎng)景創(chuàng )新， 促成視頻應用技術(shù)的第五次迭代，進(jìn)入場(chǎng)景為王的時(shí) 代，高效應用海量視頻數據，解決當前業(yè)務(wù)痛點(diǎn)。

該平臺的核心功能，解決的是如何通過(guò)我們這套 方案，將AI算法和硬件解耦，實(shí)現x86的大量AI算法模 型下沉到邊端arm智能硬件上去，讓AI算法賦能千行百 業(yè)。而整個(gè)方案從AI算法模型下發(fā)、量化、SDK打包， 到邊側智能硬件的任務(wù)部署、可視化應用，支持離線(xiàn)對 接，一站式自動(dòng)交付，全程不接觸客戶(hù)的數據集和模型 文件，此模式的設計，也是為了解除客戶(hù)對數據隱私安 全這最后一道“心鎖”。其次，英碼依托供應鏈上游的 支持，自主設計和研發(fā)了覆蓋海思、瑞芯微、寒武紀、 算能、愛(ài)芯、靈汐、平頭哥等國內主流AI芯片平臺的智 能工作站，算力從2T~38T實(shí)現了業(yè)務(wù)場(chǎng)景的全覆蓋， 供客戶(hù)靈活選擇，任意搭配。

同時(shí)豐富的場(chǎng)景算法與各系列平臺工作站的組合， 打磨出了智慧工廠(chǎng)、智慧工地、智慧城管、智慧交通、 智慧加油站和明廚亮灶等10+種場(chǎng)景解決方案，讓各行 業(yè)場(chǎng)景都能適配到最佳的AI智能解決方案，滿(mǎn)足客戶(hù)在 其應用場(chǎng)景、部署環(huán)境下達到滿(mǎn)意的應用效果，使AI視 覺(jué)算法真正落到千行百業(yè)。

2.2　總體技術(shù)架構 

AI賦能管理平臺的系統架構向開(kāi)放式的架構演 進(jìn)，整體上分為：硬件平臺部分、管理平臺部分、推理 引擎部分、基礎服務(wù)部分、業(yè)務(wù)服務(wù)部分、公共服務(wù)部 分、平臺規范部分及對外接口部分，其具體架構如圖1 所示。 

圖1 總體技術(shù)架構 

2.3　平臺業(yè)務(wù)邏輯 

英碼AI賦能管理平臺圍繞邊緣設備管理和算法模 型兩大功能模塊進(jìn)行設計，可對場(chǎng)景應用中不同地理位 置的多個(gè)邊緣設備進(jìn)行統一管理；對不同設備的性能實(shí) 時(shí)監測，了解設備運行狀態(tài)和故障問(wèn)題；實(shí)現算法模型 統一配置，通過(guò)可視化界面一鍵遠程運維，對告警事件 實(shí)時(shí)查看和響應。平臺可向上賦能業(yè)務(wù)系統，向下統管 邊緣計算終端，是一套高效、便捷的一體化管理系統； 平臺業(yè)務(wù)邏輯覆蓋云邊端三層結構，如圖2所示：

 圖2 平臺業(yè)務(wù)邏輯

云側：平臺通過(guò)統一接口，上報邊側數據信息， 向上賦能業(yè)務(wù)應用平臺，廣泛應用于智慧工廠(chǎng)、智慧工 地、智慧城管、智慧交通、智慧加油站等場(chǎng)景。

 邊側：支持多平臺算力識別及適配；算法模型插件 化，跨平臺可用；統一下發(fā)模型以及配置任務(wù)，告警信 息及時(shí)響應；算法與邊緣設備在線(xiàn)升級，一鍵操作。 

端側：視頻采集到邊緣計算工作站集中處理，算力 池化將資源最大化利用。

 2.4　系統部署架構 

圖3 系統部署架構 

2.5　平臺特點(diǎn) 

AI賦能平臺是一套提供AI算法服務(wù)能力的軟件，可 以運行于邊緣算力硬件平臺之上，采用服務(wù)與算法分離 的方式，服務(wù)軟件主要適配各種硬件平臺差異，實(shí)現視 頻/圖像分析的通用業(yè)務(wù)/管理功能，算法則采用插件式編 程方式，通過(guò)服務(wù)軟件+算法插件的方式，對外提供統一 服務(wù)接口，實(shí)現算法能力的按需切換與快速落地。 

算法移植快，周期短，擁有豐富的平臺移植經(jīng)驗， 對移植需求可以做出快速響應，并且移植后精度損失 小，效果理想； 

統一AI服務(wù)能力接口開(kāi)放技術(shù)，支持不同平臺、 不同算法（包括自研算法、生態(tài)廠(chǎng)商算法)。通過(guò)統一 的開(kāi)放接口，對外提供算法能力，代替原有服務(wù)器方 案，性能消耗小，成本也大大縮??； 

支持docker方式私有化部署，部署簡(jiǎn)單方便，支 持離線(xiàn)對接，一站式自動(dòng)交付，使算法部署到任務(wù)運行 最快僅需0.5小時(shí)； 

多平臺的算力識別及適配技術(shù)，可兼容平臺最多可 達到7+種：實(shí)現多種硬件平臺的能力識別，支持不同場(chǎng) 景不同算法的算力按需分配，實(shí)現算力協(xié)同。 

3　代表性及推廣價(jià)值 

本方案提供了完整的“平臺+硬件+算法”的自定 義服務(wù)，其中邊緣計算設備涵蓋了多家主流的國產(chǎn)邊緣 計算芯片，算力從2T~38T不等，提供了最小顆粒度的 算力組合。通過(guò)AIoT平臺把這些設備、算法有效地結 合起來(lái)，實(shí)現了算法快速定義、算法在設備的快速移 植、持續迭代更新等問(wèn)題?；谶@樣的模式，可以讓集 成商對各類(lèi)細分場(chǎng)景有快速的響應能力，也可實(shí)現算力 設備的靈活搭配，并提升了項目的落地效率，因而可推 動(dòng)行業(yè)市場(chǎng)往場(chǎng)景化時(shí)代發(fā)展，具備很好的推廣價(jià)值。 

3.1　應用案例：某廠(chǎng)區智慧工廠(chǎng)建設項目 

3.1.1　項目背景 

為了減少工作流程中的冗余環(huán)節，減少機器設備的 故障，規范技術(shù)工人操作標準，提高企業(yè)處置生產(chǎn)突發(fā)事 件的應急指揮能力，最大限度減少員工人數需要，提升員 工工作效率，提升企業(yè)產(chǎn)品質(zhì)量，眾多的制造型企業(yè)紛 紛采取了一系列的信息化措施，“智慧工廠(chǎng)”“智慧生 產(chǎn)”“智能制造”等建設也發(fā)展火熱。借助邊緣智能技術(shù) 提升生產(chǎn)管理水平是智慧生產(chǎn)建設的重要組成部分，是實(shí) 現智慧工廠(chǎng)生產(chǎn)安全管控智能化工作的重要手段之一。 

3.1.2　總體架構 

對廠(chǎng)區綜合安防管理系統的建設，絕不應該是對各 個(gè)子系統進(jìn)行簡(jiǎn)單堆砌，而是在滿(mǎn)足各子系統功能的基 礎上，尋求內部各子系統之間、與外部其它智能化系統 之間的完美結合。系統主要依托于企業(yè)綜合管理平臺， 來(lái)實(shí)現對眾多安防子系統的統一管理和控制，通過(guò)企業(yè) 綜合管理平臺建設，實(shí)現統一數據庫、統一管理界面、 統一授權、統一權限卡、統一安防管理業(yè)務(wù)流程等，同 時(shí)考慮將各安防系統資源作為信息化基礎數據，滿(mǎn)足部 分生產(chǎn)運營(yíng)管理的業(yè)務(wù)需求，輔助業(yè)務(wù)流程優(yōu)化。 

圖4 AIoT綜合管理系統總體架構圖 

AIoT綜合管理系統總體架構如圖4所示。

 前端數據接入：負責前端設備及第三方系統接入， 實(shí)現數據的采集，分為視頻類(lèi)設備、平臺的聯(lián)網(wǎng)共享和 物聯(lián)類(lèi)聯(lián)網(wǎng)共享；

 數據分析及存儲：負責智能化數據分析（人臉、車(chē) 輛、結構化、行為等）和各類(lèi)數據存儲及數據融合管控； 

智能化應用：實(shí)現各類(lèi)數據融合后提供智能化的應 用，為項目管理者提供全方位智慧安防服務(wù)。 

3.1.3　應用效果

1、廠(chǎng)區人車(chē)分流管控：為提高廠(chǎng)區作業(yè)安全性， 防止車(chē)輛、人員交叉作業(yè)引發(fā)安全事故，本案例通過(guò)AI 技術(shù)規范廠(chǎng)區內室外人員、車(chē)輛安全行走區域，嚴格進(jìn) 行廠(chǎng)區人員通行監督，實(shí)現廠(chǎng)區室外作業(yè)安全的智能化 管控。 

圖5 人車(chē)分流應用效果示意圖 

2、區域作業(yè)規范管控：為提高廠(chǎng)區作業(yè)安全性， 防止車(chē)輛、人員交叉作業(yè)引發(fā)安全事故，本案例通過(guò)AI 技術(shù)規范廠(chǎng)區室內裝卸貨區域人/車(chē)作業(yè)流程，實(shí)現廠(chǎng) 區室內作業(yè)安全的智能化管控。 

圖6 區域作業(yè)規范管控效果示意圖 

3、區域著(zhù)裝規范管控：為保障工廠(chǎng)生產(chǎn)產(chǎn)品品質(zhì)， 維持良好的生產(chǎn)車(chē)間潔凈度，配合精細管理的要求；本案 例采用AI技術(shù)針對工廠(chǎng)不同區域進(jìn)行著(zhù)裝規范智能監控 （含頭罩/口罩/工服/工鞋等著(zhù)裝）。 

圖7 區域著(zhù)裝規范管控效果示意圖 

3.1.4　經(jīng)濟價(jià)值 

本案例的建設，改變了工廠(chǎng)原有的線(xiàn)下巡查模式， 大大節約人力成本、時(shí)間成本，減少重復工作，提升監 管效率；充分利用邊緣智能與視頻監控技術(shù)，全面覆蓋 工廠(chǎng)內部日常作業(yè)，確保無(wú)安全隱患，避免安全事故的 發(fā)生；同時(shí)事前自動(dòng)報警，對于杜絕重大安全事故的發(fā) 生發(fā)揮重要作用，并為企業(yè)創(chuàng )造更大的邊際效益。

 · 監管模式智能化轉型，降低監管人力成本 

通過(guò)邊緣智能識別分析，改變原有線(xiàn)下人工巡查的 模式，降低監督成本，一旦發(fā)現違規違法現象立即進(jìn)行 報警，有效降低廠(chǎng)區監管人力成本投入；

 · 重點(diǎn)區域全時(shí)段智能監管，提高監管部門(mén)監督效能 

通過(guò)智能識別分析的方式，對重點(diǎn)區域進(jìn)行7*24 小時(shí)全時(shí)段智能監管，大幅提升監管效率，解決了當前 監管人員已無(wú)法滿(mǎn)足工廠(chǎng)日趨精細化管理的需求，增加 了工廠(chǎng)運營(yíng)效益； 

· 變事后追責為事前預警，減少工廠(chǎng)損失發(fā)生 

通過(guò)識別一旦發(fā)現疑似不符合規定、不符合規定的 操作，實(shí)時(shí)自動(dòng)告警，并且進(jìn)行抓拍截圖錄制視頻，改變 原有“事后處置”的模式，依靠“事前預警”盡早對違規 違法現象進(jìn)行勸阻及處置，減少因事故造成的損失。

 3.1.5　社會(huì )效益 

通過(guò)邊緣智能技術(shù)，實(shí)現工廠(chǎng)智能化轉型，有助于 推動(dòng)區域經(jīng)濟加速發(fā)展。 

在萬(wàn)物互聯(lián)時(shí)代，本案例旨在構建基于邊緣智能應 用的智慧工廠(chǎng)AIOT綜合管理平臺，符合黨的二十大方 針及《智能制造2025》政策發(fā)展的需要，順應國際化趨 勢，將智能化技術(shù)與工廠(chǎng)生產(chǎn)工作緊密結合起來(lái)，可作 為安全管理的科技支撐。 

系統打通業(yè)務(wù)系統與上層決策系統的信息通道，解 決了人工處理下工作效率的瓶頸，可全面提升工廠(chǎng)的整 體生產(chǎn)管理水平；系統按需定制、柔性開(kāi)發(fā)、各功能模 塊采用松耦合方式開(kāi)發(fā)，可復制性強，具有良好的經(jīng)濟 和社會(huì )效益。

摘自《自動(dòng)化博覽》2023年第2期暨《邊緣計算2023專(zhuān)輯》