HiLens是業(yè)界首個(gè)端云協(xié)同多模態(tài)AI應用開(kāi)發(fā)框架，以簡(jiǎn)潔統一的API降低AI應用開(kāi)發(fā)者的上手難度，在保持高性能的前提下,簡(jiǎn)化開(kāi)發(fā)者工作量。HiLens Framework則為開(kāi)發(fā)者提供了一套開(kāi)發(fā)工具，讓開(kāi)發(fā)者不必重復制造輪子，直接調用相關(guān)模塊的API，即可規范快速地開(kāi)發(fā)出高性能的端云協(xié)同多模態(tài)AI技能和應用。

HiLens Framework開(kāi)源，有力提速端云協(xié)同AI部署

現代生活中，很多地方都有AI應用落地的場(chǎng)景和例子。比如在線(xiàn)下零售門(mén)店中，可以通過(guò)攝像頭精準識別用戶(hù)，實(shí)現千人千面的個(gè)性化定制服務(wù)；在無(wú)人車(chē)比賽中，高速行駛的無(wú)人車(chē)通過(guò)快速識別圖像，實(shí)現實(shí)時(shí)推理，做出準確決策；在家里，具備AI能力的攝像頭，可以實(shí)時(shí)看護老人、兒童的狀態(tài)，一旦發(fā)生意外，就能第一時(shí)間發(fā)出警報；在各行業(yè)中通過(guò)OCR文字快速智能識別各種文本和票據等。

在這些應用場(chǎng)景中，有些數據敏感且要求實(shí)時(shí)處理響應，但往往因為網(wǎng)絡(luò )不夠穩定，無(wú)法上傳到云端處理，因而采用端云協(xié)同方式，結合云上高效開(kāi)發(fā)和邊端側的敏捷快速部署，既能保證AI計算的性能，又能兼顧用戶(hù)隱私訴求，更加快捷高效。

但如何實(shí)現圖像、聲音等數據的端云協(xié)同AI計算呢？很多方案都存在A(yíng)I運算能力不強、難以實(shí)現復雜的定制化功能、初學(xué)者上手難度太大、部署繁雜等缺點(diǎn)，無(wú)法在工業(yè)或商業(yè)用途中大規模落地應用。

華為云關(guān)注到這種用戶(hù)需求，在2018年的華為全聯(lián)接大會(huì )上，推出了業(yè)界首個(gè)端云協(xié)同多模態(tài)AI開(kāi)發(fā)應用平臺Huawei HiLens，支持視頻、音頻、圖片、紅外等多模態(tài)數據的AI應用開(kāi)發(fā)、AI應用在線(xiàn)部署、海量設備管理等，能夠對接多種端側計算設備，為諸多場(chǎng)景的AI應用提供了更大發(fā)揮空間。

Huawei HiLens發(fā)布兩年后的今天，華為云宣布開(kāi)源HiLens Framework，作為HiLens的端云協(xié)同多模態(tài)AI應用開(kāi)發(fā)框架，簡(jiǎn)化了HiLens Kit技能開(kāi)發(fā)者的開(kāi)發(fā)工作，以簡(jiǎn)潔統一的API降低AI技能應用開(kāi)發(fā)者的上手難度，在保持高性能的前提下，簡(jiǎn)化開(kāi)發(fā)者工作量。10分鐘即刻學(xué)會(huì )開(kāi)發(fā)技能；性能普遍提升3倍，代碼量減少80%，開(kāi)發(fā)周期縮短70%，開(kāi)發(fā)成本降低90%。

以音頻解碼+片段截取+預處理的代碼撰寫(xiě)為例，基于TensorFlow/OpenCV 需要100+行，而采用HiLens Framework則只需3行；以模式初始化+推理的代碼撰寫(xiě)為例，基于TensorFlow/OpenCV 往往需要20+行，而采用HiLens Framework則只需2行。

此次HiLens Framework開(kāi)源，涉及了音視頻輸入、媒體處理、模型推理、資源管理、日志系統、EI 服務(wù)接口、輸出管理等功能模塊，通過(guò)HiLens Framework開(kāi)發(fā)的AI應用可移植運行到任何基于A(yíng)scend 310設備上，提供常用語(yǔ)言Python和C++接口，符合AI開(kāi)發(fā)者的開(kāi)發(fā)習慣。

HiLens Framework的開(kāi)源，能夠很好地幫助開(kāi)發(fā)者快速定位AI開(kāi)發(fā)中的問(wèn)題，進(jìn)而快速解決問(wèn)題，實(shí)現端云協(xié)同AI的快速開(kāi)發(fā)和落地。同時(shí)，將吸引更多的外圍設備輸入、輸出，更多的外圍工具集成等，更將匯聚開(kāi)發(fā)者力量，豐富完善HiLens Framework集成能力，擴大HiLens端云協(xié)同影響力，同時(shí)拓展華為昇騰生態(tài)和華為云生態(tài)。 

10倍提升開(kāi)發(fā)效率，加速AI應用落地

AI應用開(kāi)發(fā)框架HiLens Framework是打通端云協(xié)同的重要技術(shù)環(huán)節，與開(kāi)發(fā)環(huán)境HiLens Studio、管理平臺和多模態(tài)AI技能市場(chǎng)一起，大大加速了開(kāi)發(fā)者的開(kāi)發(fā)效率，幫助行業(yè)快速構建設備端與云上能力高效協(xié)同的HiLens智慧解決方案，通過(guò)HiLens Kit、Atlas500智能小站、第三方商用攝像頭等端側設備，提供了高效易用、成本低廉的AI應用開(kāi)發(fā)方案，能夠快速部署于商超、園區、家庭、工業(yè)等應用場(chǎng)景。

AI落地使用邊緣計算的應用場(chǎng)景時(shí)，往往場(chǎng)景數據都存在差異，難以用一個(gè)AI模型達到最佳性能。華為云HiLens與邊緣云創(chuàng )新lab技術(shù)合作，推出難例上傳與MA Pro HiLens套件結合的增量學(xué)習模板，實(shí)現了對模型的增量訓練，使得AI模型在具體應用場(chǎng)景中越用越聰明。

例如，某工廠(chǎng)出于安全原因，采用視頻監控智能檢測現場(chǎng)人員安全帽佩戴情況。項目部署方在HiLens技能市場(chǎng)檢索后發(fā)現，這一應用場(chǎng)景已有基礎模型，直接購買(mǎi)安裝后先搭建出基礎的技能。然后再通過(guò)HiLens Framework的接口將難以識別的部分數據篩選出來(lái)，上傳到自己賬戶(hù)下的云端存儲，借助ModleArts Pro HiLens套件，在基礎模型上增量訓練，使得模型越用越聰明，最終訓練出符合該工廠(chǎng)環(huán)境的模型，實(shí)現根據具體應用場(chǎng)景的模型定制化。在這一過(guò)程中，該工廠(chǎng)僅用800張安全帽檢測實(shí)踐數據，就將模型精度從80%快速提升到90%，漏檢率從25%下降到10%，通過(guò)幾次難例上傳與迭代，部署時(shí)間從原計劃的3個(gè)月縮減到1個(gè)月，有效地推進(jìn)了行業(yè)應用落地。

端云協(xié)同，拓展新生態(tài)

HiLens Framework的開(kāi)源如水到渠成，不止向開(kāi)發(fā)者提供一個(gè)AI應用的高效開(kāi)發(fā)框架，還進(jìn)一步推動(dòng)華為云HiLens與華為云ModelArts PRO視覺(jué)計算AI平臺的結合，形成一整套的AI模型訓練、應用開(kāi)發(fā)、分發(fā)部署的端云協(xié)同管理平臺。

當HiLens用戶(hù)通過(guò)HiLens Framework連接到ModelArts Pro，就進(jìn)入了一個(gè)更加廣闊的AI世界，聯(lián)接了從昇騰芯片、MindSpore開(kāi)發(fā)框架，再到華為全棧全場(chǎng)景AI解決方案，以及華為不斷積累的各行業(yè)AI經(jīng)驗。

此次HiLens Framework的開(kāi)源，如同一條金線(xiàn)，一頭穿起華為云的云端AI能力，另一頭穿起更多AI場(chǎng)景，讓云端協(xié)同的邊緣計算更易于部署落地，推動(dòng)AI更加普惠，在開(kāi)發(fā)者的共同推動(dòng)下，AI將拓展將到日常生產(chǎn)、生活的方方面面，和每個(gè)人都息息相關(guān)。

當前，HiLens已擁有80+生態(tài)伙伴，助力企業(yè)開(kāi)發(fā)者加速商業(yè)落地，如上海意賦教育等。已擁有30+高校，助力AI教育和科學(xué)研究，如浙江大學(xué)、上海交通大學(xué)等，歡迎更多開(kāi)發(fā)者加入到HiLens Framework的開(kāi)源項目中來(lái)。