所謂邊緣AI，是指在端側設備本身，而不是在云端或大型數據中心服務(wù)器上運行推理。因為對算力的要求很高，最初AI基本都在云端進(jìn)行訓練和推理。然而因為數據必須上傳至云端，這就帶來(lái)了數據隱私等多方面的問(wèn)題。

因此邊緣AI的應用需求越來(lái)越強勁，在邊緣端進(jìn)行AI推理，處理數據的過(guò)程就不必上傳至云端，這樣能夠很好地保障數據隱私和數據安全，還能避免系統受到惡意網(wǎng)絡(luò )攻擊，而且還能夠消除處理延遲，減少數據傳輸量和帶寬。

邊緣AI芯片市場(chǎng)規模在提升

邊緣AI涉及的應用范圍非常廣泛，包括智慧家居中的家庭安全監控、老人兒童監護、智能鎖可視門(mén)鈴、掃地機器人避障等，智慧零售中智慧門(mén)店的客流和客層分析、新老客戶(hù)及會(huì )員識別、操作人員穿戴檢測、異常行為檢測，以及無(wú)人售貨柜的人臉識別開(kāi)柜、識別商品并自動(dòng)結算等，還有智慧農業(yè)、機器人、智慧教育等諸多領(lǐng)域各種場(chǎng)景中的應用等等。

這其中對AI芯片的需求巨大，數據顯示，預計到2025年，邊緣AI芯片市場(chǎng)的收入將達到122億美元，云端AI芯片市場(chǎng)的收入達119億美元，邊緣AI芯片市場(chǎng)將超過(guò)云端。

因此過(guò)去幾年，一些傳統的芯片企業(yè)及初創(chuàng )企業(yè)都加入到邊緣AI芯片行列，包括AMD、英特爾、英偉達、NXP、ST、谷歌，以及國內的寒武紀、地平線(xiàn)、鯤云科技等。

因為看好邊緣端的應用市場(chǎng)，谷歌早2018年就發(fā)布了用于邊緣計算的微型AI加速芯片Edge TPU，用于在邊緣設備上運行TensorFlow Lite ML模型進(jìn)行推理。它在較小的物理和功耗范圍內提供高性能，并在邊緣部署高精度AI，能夠使用戶(hù)以高效率的方式在高分辨率視頻上以每秒30幀的速度同時(shí)執行多幀最先進(jìn)的AI模型。

Edge TPU結合了定制硬件、開(kāi)放軟件和先進(jìn)的AI算法，為邊緣提供高質(zhì)量、易于部署的AI解決方案。該芯片具有較高的每瓦性能和較小的占地面積，用于預測性維護、異常檢測、機器視覺(jué)、機器人、語(yǔ)音識別等，可應用于制造、醫療保健、零售、智能空間、運輸等領(lǐng)域。

英偉達過(guò)去幾年也推出了多款邊緣AI產(chǎn)品。2019年英偉達就推出了Jetson Nano，專(zhuān)為支持入門(mén)級邊緣AI應用程序和設備設計，能夠同時(shí)并行運行多個(gè)神經(jīng)網(wǎng)絡(luò )應用，例如圖像分類(lèi)、目標檢測、物體分割和自然語(yǔ)言處理等，其運行功耗僅為5瓦。

英偉達推出的基于 Jetbot Jetson Nano（含2GB）的智能無(wú)人車(chē)教學(xué)系統，在 NVIDIA GTC 2019 年大會(huì )上，這個(gè)項目現場(chǎng)演示了避障 、循路與遇障停止等功能。

2019年英偉達還發(fā)布了Jetson Xavier NX，這是一個(gè)用于在無(wú)人機、汽車(chē)和機器人等邊緣設備上的AI系統模塊，可以為AI工作負載提供21 TOPS的算力，功耗最高僅為15瓦，Jetson Xavier NX的應用場(chǎng)景主要是小型商用機器人、無(wú)人機、高分辨率傳感器、光學(xué)檢測、網(wǎng)絡(luò )錄像機、便攜式醫療設備以及其他工業(yè)物聯(lián)網(wǎng)系統。

在2021年11月份的GTC大會(huì )上，英偉達又發(fā)布了一款體積小、功能強的人工智能超級計算機NVIDIA Jetson AGX Orin，專(zhuān)為機器人、自主機器、醫療器材及嵌入式邊緣運算場(chǎng)景設計。Jetson AGX Orin采用NVIDIA Ampere架構GPU和 Arm Cortex-A78AE CPU以及新一代深度學(xué)習和視覺(jué)加速器。其AI性能達到200 TOPS，功耗最低可達到15W，最高為50W，這使其成為下一代自主機器（如交付和物流機器人、工廠(chǎng)系統和大型工業(yè)無(wú)人機）的首選解決方案。

寒武紀在2019年也推出了其首款邊緣AI芯片思元220（MLU220）芯片。這是一款專(zhuān)門(mén)用于深度學(xué)習的SOC邊緣加速芯片，采用TSMC 16nm工藝，采用寒武紀在處理器架構領(lǐng)域的一系列創(chuàng )新性技術(shù)。其架構為寒武紀最新一代智能處理器MLUv02，實(shí)現最大32TOPS（INT4）算力，而功耗僅10瓦。此外，基于思元220，寒武紀面向市場(chǎng)還推出小尺寸的M.2加速卡。

思元220芯片可提供16/8/4位可配置的定點(diǎn)運算，客戶(hù)可根據應用靈活選擇運算類(lèi)型來(lái)獲得卓越的人工智能推理性能。在軟件方面，通過(guò)端云一體的軟件平臺，思元220支持寒武紀Neuware軟件工具鏈，支持各主流編程框架，包括Tensorflow，Caffe，mxnet，及pytorch等。

在自動(dòng)駕駛這類(lèi)邊緣場(chǎng)景上，近幾年AI芯片的發(fā)展也在加速，主要的廠(chǎng)商包括英偉達、高通、英特爾、地平線(xiàn)等。地平線(xiàn)是國內入局較早的企業(yè)，2019年地平線(xiàn)就發(fā)布了國內首款已量產(chǎn)車(chē)規級邊緣AI視覺(jué)芯片征程2.0，該芯片等效算力超過(guò)4TOPS，典型功耗僅為2W，采用地平線(xiàn)二代BPU架構，能實(shí)現多類(lèi)AI任務(wù)處理，并對多類(lèi)目標實(shí)時(shí)監測和精準識別。

如今地平線(xiàn)第三代車(chē)規級自動(dòng)駕駛芯片征程5即將量產(chǎn)，征程5搭載地平線(xiàn)最新一代BPU貝葉斯深度學(xué)習加速引擎，單顆芯片AI算力高達128TOPS。憑借高算力的征程5的正式推出，地平線(xiàn)成為了國內少有的能夠覆蓋從L2到L4智能駕駛芯片方案的提供商。

邊緣AI落地面臨哪些難題

雖然邊緣AI 應用場(chǎng)景豐富，過(guò)去幾年邊緣AI芯片市場(chǎng)規模也在快速提升，不過(guò)從目前的情況來(lái)看，邊緣AI在落地方面還面臨一些問(wèn)題。

在此前某論壇上，齊感科技市場(chǎng)營(yíng)銷(xiāo)副總裁刁勇就談到了AI邊緣視覺(jué)應用落地的幾個(gè)挑戰。他說(shuō)現在A(yíng)I視覺(jué)應用在邊緣側的落地場(chǎng)景非常多，比如智能攝像機、智能門(mén)鎖、邊緣分析盒子等都是非常常見(jiàn)的應用場(chǎng)景，如今的市場(chǎng)規模也相當大，這些場(chǎng)景對AI視覺(jué)也提出了很高的要求，比如需要較高的集成度，對滿(mǎn)足算力下的功耗的要求也很高。

齊感科技的AI視覺(jué)SOC為了滿(mǎn)足這些場(chǎng)景的要求，也在不斷提高集成度，比如其第一代的AI視覺(jué)SOC芯片，在片上ARM內核的基礎上，集成了豐富的視覺(jué)相關(guān)的IP，包括視頻處理單元ISP、AI加速器NPU，視覺(jué)編解碼等，以及各種以太網(wǎng)、DDR等接口。

整體來(lái)說(shuō)，齊感科技邊緣側視覺(jué)SOC，相對來(lái)說(shuō)集成度、復雜度相當高。刁勇表示，即使如此，在與客戶(hù)接觸交流的時(shí)候發(fā)現，客戶(hù)用這樣的芯片，快速開(kāi)發(fā)相對應的AI視覺(jué)邊緣側最終的產(chǎn)品，還是存在蠻大的挑戰。

根據客戶(hù)的痛點(diǎn)，可以總結出三點(diǎn)：一是復雜的邊緣側SOC和復雜的硬件系統設計，對于客戶(hù)來(lái)說(shuō)是非常大的挑戰；二是AI算法，因為邊緣側應用場(chǎng)景比較多，算法相對來(lái)說(shuō)要求比較多；三是邊緣側的應用場(chǎng)景非常多元化、碎片化，怎么利用之前的經(jīng)驗來(lái)應對不同的場(chǎng)景的需求，也是一個(gè)很大的挑戰。

對于現在邊緣AI在落地方面的困難，有行業(yè)人士也向電子發(fā)燒友表示，主要體現在幾個(gè)方面：其一，當前邊緣AI還缺乏整體的解決方案，大量供應商的算力、算法和應用是割裂的，最終用戶(hù)能看到的滿(mǎn)足落地需求的選擇不多。我們知道，現在很多情況，算力和算法由不同的廠(chǎng)商提供，而且提供算力和算法的廠(chǎng)商，對一些行業(yè)的應用場(chǎng)景不熟悉，理解不夠。

其二，邊緣端也缺乏針對性的AI算力，現在很多情況，是在原來(lái)SOC的基礎上增加AI引擎，這種方式很難滿(mǎn)足邊緣AI算力的需求。一般來(lái)說(shuō)，目前SOC的AI算力普遍在4T以下，現在也有一些能夠達到6T，這確實(shí)能夠滿(mǎn)足一些場(chǎng)景的應用，不過(guò)很多邊緣端場(chǎng)景對算力的需求普遍在8T到20T，可見(jiàn)合適算力的邊緣AI芯片還處于缺乏狀態(tài)。

總結來(lái)說(shuō)，邊緣AI應用場(chǎng)景比較多元、長(cháng)尾化，行業(yè)屬性比較明顯。在算法方面，不同場(chǎng)景對算法的需求不同，要求比較高；在算力方面，很多情況由SOC添加AI引擎的方式提供算力，一些場(chǎng)景對SOC算力集成度、功耗的要求高，同時(shí)非常多場(chǎng)景SOC的算力不足以支持應用，而對于客戶(hù)來(lái)說(shuō)，有針對性的邊緣算力芯片還不夠；另外算法、算力割裂的情況，以及對應用場(chǎng)景累積不夠的情況，也是當前邊緣AI落地過(guò)程中遇到的難點(diǎn)。

小結

從目前的情況來(lái)看，邊緣AI的應用場(chǎng)景越來(lái)越豐富，并且在諸多方面已經(jīng)形成規模。不過(guò)整體而言，邊緣AI應用場(chǎng)景碎片化明顯，對算法要求高，目前還存在針對性算力缺乏，整體解決方案缺乏等問(wèn)題，對于芯片、算法廠(chǎng)商來(lái)說(shuō)，還需要繼續投入研發(fā)，邊緣AI供應商們也需要有足夠耐心，需要足夠下沉，去真正理解不同行業(yè)的切實(shí)需求。

來(lái)源：電子發(fā)燒友網(wǎng)