近日，Arm宣布推出Arm Ethos-U85神經(jīng)網(wǎng)絡(luò )處理器（NPU），以及全新物聯(lián)網(wǎng)參考設計平臺——Arm Corstone-320，以加速實(shí)現語(yǔ)音、音頻和視覺(jué)系統的部署，促進(jìn)未來(lái)多模態(tài)智能應用的全方位部署。

隨著(zhù)人工智能（AI）不斷對我們的日常生活產(chǎn)生越來(lái)越大的影響，其推理任務(wù)也逐漸從云端遷移到邊緣側和端側。

Arm物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健告訴記者，將計算資源部署于邊緣和終端，在提升響應速度與可靠性、節省帶寬資源、保護隱私與數據安全，以及降低成本等方面都具有明顯優(yōu)勢。

近日，Arm宣布推出Arm Ethos-U85神經(jīng)網(wǎng)絡(luò )處理器（NPU），以及全新物聯(lián)網(wǎng)參考設計平臺——Arm Corstone-320，以加速實(shí)現語(yǔ)音、音頻和視覺(jué)系統的部署，促進(jìn)未來(lái)多模態(tài)智能應用的全方位部署。

1.Arm第三代面向邊緣AI的NPU產(chǎn)品

物聯(lián)網(wǎng)的興起極大推動(dòng)了邊緣計算設備的普及，這些系統開(kāi)始具備更強的處理能力和連接性，使得數據處理更加靠近數據源。隨著(zhù)機器學(xué)習（ML）和AI技術(shù)的發(fā)展，智能設備不僅能夠執行任務(wù)，還能夠學(xué)習和適應。

近來(lái)，伴隨著(zhù)Transformer與大模型的發(fā)展，AI模型的普適性、多模態(tài)支持，以及模型微調效率都有了質(zhì)的突破，加上低功耗的AI加速器和專(zhuān)用芯片被集成到終端設備中，邊緣智能正變得越來(lái)越自主和強大。

Arm多年來(lái)不斷開(kāi)發(fā)邊緣AI加速器，以滿(mǎn)足邊緣側和端側不斷增長(cháng)的推理工作負載需求。此前兩款成功的NPU產(chǎn)品——Arm Ethos-U55和Ethos-U65，為邊緣側和端側AI應用帶來(lái)了高性能、高能效的解決方案。

與上一代產(chǎn)品相比，Ethos-U85性能提升四倍，能效提高20%，同時(shí)，其MAC單元可從128個(gè)擴展到2048個(gè)（在1GHz時(shí)，算力實(shí)現4TOPs），能夠為諸如工廠(chǎng)自動(dòng)化和商用或智能家居攝像頭等需要更高性能的應用提供有力的支持。

Ethos-U85提供了與前幾代 Ethos U 系列相同的一致工具鏈，因此合作伙伴能夠利用現有的投資，達到無(wú)縫的開(kāi)發(fā)者體驗。更重要的是，全新Ethos-U85 NPU支持了TensorFlow Lite和PyTorch等AI框架。

于2017年問(wèn)世的Transformer架構徹底改變了生成式AI，并成為許多新型神經(jīng)網(wǎng)絡(luò )的首選架構。Transformer架構將推動(dòng)新的應用，特別是面向視覺(jué)和生成式AI用例中，對于理解視頻、填充圖像的缺失部分或分析來(lái)自多個(gè)攝像頭的數據以進(jìn)行圖像分類(lèi)和目標檢測等任務(wù)非常有效。

大模型在邊緣AI落地面臨模型成熟度、邊緣AI平臺開(kāi)發(fā)等挑戰，而Ethos-U85 可原生支持Transformer架構和卷積神經(jīng)網(wǎng)絡(luò )（CNN）以實(shí)現AI推理。

隨著(zhù)微處理器被部署到諸如工業(yè)機器視覺(jué)、可穿戴設備和消費者機器人等更多高性能的物聯(lián)網(wǎng)系統中，Ethos-U85專(zhuān)為與Arm領(lǐng)先的Armv9 Cortex-A CPU相結合而設計，以加速處理ML任務(wù)，并為更廣泛的更高性能設備提供高能效的邊緣推理能力。

迄今，Arm Ethos NPU系列產(chǎn)品已有逾20家授權許可合作伙伴，其中，Alif Semiconductor和英飛凌是全新Arm Ethos-U85 NPU的早期采用者。

2.全新物聯(lián)網(wǎng)參考設計平臺

隨著(zhù)語(yǔ)音、音頻和視覺(jué)功能融合到物聯(lián)網(wǎng)（IoT）中，物聯(lián)網(wǎng)設備與其周?chē)h(huán)境交互、解讀和感知的方式發(fā)生了徹底的變化。從前難以想象的廣泛新應用和功能正逐步被發(fā)掘。而這將推動(dòng)物聯(lián)網(wǎng)設備和技術(shù)實(shí)現重大的創(chuàng )新與變革。

邊緣AI既帶來(lái)了機遇，也帶來(lái)了挑戰。在設計邊緣AI芯片和系統時(shí)，需要在計算能力和能效之間找到合適的平衡。高性能的處理能力往往伴隨著(zhù)更高的功耗，而邊緣設備往往對功耗和成本都有著(zhù)嚴格限制。

馬健表示，Arm架構天然具備優(yōu)異的能效。在產(chǎn)品設計中實(shí)現低功耗設計是Arm與生俱來(lái)的DNA，能幫助廣大的合作伙伴降低能耗和成本。

與此同時(shí)，隨著(zhù)越來(lái)越多的數據在邊緣被處理，數據安全和隱私保護變得尤為重要。這要求芯片設計必須包含加密和安全功能。邊緣用例五花八門(mén)，傳統物聯(lián)網(wǎng)市場(chǎng)存在碎片化，為了更好地統一多樣化的應用要求，達到規?；б?，軟件定義和適于軟件移植的標準更是必不可少。Arm在IP、參考設計和軟件標準上持續投入，從而幫助整個(gè)邊緣AI生態(tài)應對這些挑戰。

Arm一貫秉承構建通用計算平臺和生態(tài)的策略，不僅平衡性能與能效，更將軟件的可擴展性和系統應用的開(kāi)發(fā)成本作為一個(gè)關(guān)鍵的考量因素，進(jìn)而助力生態(tài)系統合作伙伴實(shí)現最低的總擁有成本（TCO）。

“我們認為只有普適性的通用計算平臺才可能達到規?；?，進(jìn)而更好地實(shí)現豐富的軟件支持。期待未來(lái)通過(guò)大模型和多模態(tài)，物聯(lián)網(wǎng)碎片化問(wèn)題可以得到更好的改進(jìn)，AI會(huì )從一個(gè)單一功能到多功能，甚至是向通用 AI 的方向演進(jìn)，這樣的演進(jìn)方式也非常適合搭載Arm推出的通用處理器，不管是嵌入式處理器還是應用處理器，還是處理器上實(shí)現的統一的工具鏈以及對操作系統（OS）和中間件的軟件支持?！瘪R健說(shuō)。

Arm Corstone-320物聯(lián)網(wǎng)參考設計平臺集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP和全新的Ethos-U85 NPU，為語(yǔ)音、音頻和視覺(jué)等廣泛的邊緣AI應用提供所需的性能，例如實(shí)時(shí)圖像分類(lèi)和目標識別，或在智能音箱上啟用具有自然語(yǔ)言翻譯功能的語(yǔ)音助手。

該參考設計平臺涵蓋了軟件、工具和支持，其中包括Arm虛擬硬件。該平臺的軟硬件結合特性將使開(kāi)發(fā)者能夠在物理芯片就緒前便啟動(dòng)軟件開(kāi)發(fā)工作，從而加速推進(jìn)產(chǎn)品進(jìn)程，為日益復雜的邊緣AI設備縮短上市時(shí)間。

馬健表示，軟硬件必須協(xié)同工作才能釋放AI處理的最大潛能。Arm不僅僅聚焦處理器IP，更是在軟件與工具鏈方面加強投資，以滿(mǎn)足更簡(jiǎn)單、快速的高性能邊緣AI系統的開(kāi)發(fā)需求，支持諸多AI算子與應用在A(yíng)rm計算平臺上的優(yōu)化運行，使邊緣AI在A(yíng)rm平臺上“枝繁葉茂”。

展望AI加速器的未來(lái)，AI正處于非常迅速的發(fā)展初期，尤其是邊緣AI。Arm將持續通過(guò)強大的產(chǎn)品組合，對新的Transformer模型提供原生的支持，對工具鏈保持一致、易用的特性，幫助整個(gè)物聯(lián)網(wǎng)生態(tài)更容易實(shí)現AI和ML的轉型。

投稿、合作郵箱：fu.lin@zhiding.cn