生成式人工智能正以前所未有的速度發(fā)展，堪比手機和互聯(lián)網(wǎng)的快速演進(jìn)。如今，人工智能模型的參數規模已達到數十億，甚至數百億，對計算能力的需求急劇上升。統計數據顯示，2015年全球生成的數據量約為10艾字節（EB）。到2025年，預計這一數字將飆升至175澤字節（ZB），而到2035年，可能會(huì )達到驚人的2432澤字節。

“依賴(lài)云端來(lái)處理所有這些數據顯然是不現實(shí)的，”Actions Technology 董事長(cháng)兼首席執行官周正宇博士表示要使人工智能真正普及并發(fā)揮其全部潛力，計算任務(wù)必須在云服務(wù)器和邊緣設備（如個(gè)人電腦、智能手機、汽車(chē)和物聯(lián)網(wǎng)（IoT）設備）之間合理分配，而不是僅依賴(lài)云端。

這種云和邊緣人工智能協(xié)同工作的架構被稱(chēng)為混合人工智能。業(yè)界普遍認為，這種架構將提供更強大、高效和優(yōu)化的人工智能體驗。換句話(huà)說(shuō)，要使人工智能真正觸手可及并無(wú)縫融入日常生活，部署邊緣人工智能至關(guān)重要。

然而，隨著(zhù)邊緣人工智能的發(fā)展，它面臨著(zhù)兩大挑戰。首先，我們需要在性能、功耗和成本之間找到平衡。在增強計算能力的同時(shí)，如何在不使功耗和成本超出合理范圍的情況下取得最佳結果，特別是在電池供電的低功耗設備中？其次，構建一個(gè)穩健的生態(tài)系統至關(guān)重要。類(lèi)似于中央處理器（CPU）和圖形處理器（GPU）的發(fā)展，一個(gè)統一的生態(tài)系統是必要的，包括工具鏈、語(yǔ)言、兼容性和開(kāi)發(fā)便捷性，以推動(dòng)人工智能技術(shù)的普及和大規模應用。

邊緣人工智能部署的優(yōu)勢

邊緣人工智能將機器學(xué)習無(wú)縫集成到物聯(lián)網(wǎng)設備中，減少了對云計算能力的依賴(lài)。即使在沒(méi)有網(wǎng)絡(luò )連接或網(wǎng)絡(luò )擁堵的情況下，它也能提供低延遲的人工智能體驗。此外，邊緣人工智能還具有顯著(zhù)的優(yōu)勢，包括低功耗、增強的數據隱私和更高的個(gè)性化。這些是部署邊緣人工智能的核心優(yōu)勢。

周正宇博士指出，從邊緣人工智能到生成式人工智能，人工智能應用對計算能力的需求各不相同。許多邊緣人工智能應用是專(zhuān)門(mén)化的，并不需要大型模型或大量的計算能力。這在物聯(lián)網(wǎng)人工智能（AIoT）領(lǐng)域尤其如此，如語(yǔ)音交互、音頻處理、預測性維護和健康監測。因此，邊緣人工智能對于人工智能的廣泛應用至關(guān)重要，而將人工智能集成到電池供電的低能耗物聯(lián)網(wǎng)設備中是實(shí)現邊緣人工智能的關(guān)鍵。

據ABI Research預測，邊緣人工智能市場(chǎng)正在迅速擴張。到2028年，基于中小型模型的邊緣人工智能設備數量預計將達到40億臺，年復合增長(cháng)率（CAGR）為32%。到2030年，預計75%的這些物聯(lián)網(wǎng)人工智能設備將使用高能效的專(zhuān)用硬件。

例如，主流的可穿戴產(chǎn)品，如耳機和智能手表，以及其他便攜式音頻設備，如藍牙音箱，平均功耗范圍從十幾毫瓦到幾十毫瓦不等，存儲容量低于10兆字節（MB）。這定義了低功耗邊緣人工智能，特別是在可穿戴設備中的資源預算。

為此，Actions Technology 最近推出了其“Actions Intelligence”戰略，以推動(dòng)電池供電的低功耗音頻邊緣人工智能應用的發(fā)展，這些應用的模型參數低于1000萬(wàn)個(gè)（10M）。該公司的目標是為低功耗物聯(lián)網(wǎng)人工智能設備提供0.1-1萬(wàn)億次操作每秒（TOPS）的通用人工智能計算能力，且功耗預算范圍在10毫瓦至100毫瓦之間。

這意味著(zhù)，作為一家致力于以毫瓦級功耗提供TOPS級人工智能計算能力的公司，以滿(mǎn)足物聯(lián)網(wǎng)設備的低功耗和高能效需求，Actions Technology 旨在通過(guò)其“Actions Intelligence”戰略實(shí)現10 TOPS/W至100 TOPS/W的人工智能計算效率。

克服馮·諾依曼架構中的瓶頸

現有的通用中央處理器（CPU）和數字信號處理器（DSP）在算法方面具有很大的靈活性，但它們的計算能力和能效不足以滿(mǎn)足既定目標。根本原因在于傳統的馮·諾依曼架構將內存和計算單元分離，導致了“內存墻”和“功耗墻”瓶頸，阻礙了計算能力和能效的提升。

“內存墻”指的是在馮·諾依曼架構中，計算單元必須先從內存中提取數據，然后在計算完成后再將結果寫(xiě)入內存。然而，由于處理器和內存的設計工藝、封裝和要求不同，內存訪(fǎng)問(wèn)速度無(wú)法跟上處理器的處理速度。結果，數據流受到限制，就像水流過(guò)狹窄的漏斗一樣。無(wú)論處理器發(fā)送多少數據，內存一次只能處理少量數據。這種狹窄的數據交換路徑和由此產(chǎn)生的高能耗在存儲和計算之間形成了“內存墻”。

此外，在傳統架構中，將數據從內存傳輸到計算單元所需的能量遠高于計算本身所需的能量。這意味著(zhù)大部分能量和時(shí)間都消耗在數據傳輸上，而不是計算本身。內存和處理器之間頻繁的數據遷移導致了顯著(zhù)的功耗，這被稱(chēng)為“功耗墻”。例如，測試結果顯示，英特爾7nm的CPU大約有63%的功耗用于數據傳輸，而不是計算。

Arm和Cadence的公開(kāi)數據顯示，使用28/22nm工藝的ARM A7 CPU，運行頻率為1.2 GHz，其理論計算能力為0.01 TOPS，但功耗為100 mW，理想能效僅為0.1 TOPS/W。類(lèi)似地，運行頻率為600 MHz的HiFi4 DSP，其理論計算能力為0.01 TOPS，但功耗為40 mW，理想能效為0.25 TOPS/W。即使是Arm中國專(zhuān)門(mén)的神經(jīng)處理單元（NPU）系列“周易”在能效方面也取得了顯著(zhù)的改進(jìn)，但其能效仍然只有2 TOPS/W。

周正宇博士認為，“解決‘內存墻’和‘功耗墻’的最佳方法是采用基于靜態(tài)隨機存取存儲器（SRAM）的內存計算（CIM）架構?！盋IM的核心思想是將計算（部分或全部）轉移到內存中，以便內存單元可以直接執行計算。這消除了對單獨計算單元的需求，并使內存單元能夠同時(shí)處理存儲和計算，從而降低數據訪(fǎng)問(wèn)和存儲延遲以及功耗。本質(zhì)上，CIM集成了內存和計算。通過(guò)完全依賴(lài)內存進(jìn)行計算，CIM能夠實(shí)現更細粒度的并行處理，從而顯著(zhù)提高性能，尤其是在能效方面。

雖然實(shí)現“內存-計算集成”并非易事，但人工智能本質(zhì)上是神經(jīng)網(wǎng)絡(luò )，由無(wú)數個(gè)神經(jīng)元協(xié)同工作形成復雜的計算模式。機器學(xué)習算法嚴重依賴(lài)矩陣運算，而矩陣運算非常適合分布式并行處理。因此，CIM是人工智能應用的理想解決方案。

知易行難?！斑吘堿I部署需要創(chuàng )新?！?/strong>

將計算集成到內存中，根本上取決于選擇合適的存儲介質(zhì)，這對于成本和成功都至關(guān)重要。周正宇博士指出，公司旨在將低功耗邊緣AI和其他片上系統(SoC)模塊的計算能力集成到單個(gè)芯片中。這種方法排除了使用需要特殊工藝的DDR RAM和Flash。相反，采用互補金屬氧化物半導體(CMOS)工藝的SRAM，以及新興的非易失性隨機存取存儲器(NVRAM)技術(shù)，如電阻式隨機存取存儲器(RRAM)和磁阻式隨機存取存儲器(MRAM)，更適合。

采用成熟工藝的SRAM可以進(jìn)行升級以保持與先進(jìn)工藝的兼容性。它具有快速的讀/寫(xiě)速度、高能效和無(wú)限的讀/寫(xiě)周期。其唯一的限制是內存密度低，但這足以滿(mǎn)足大多數邊緣AI應用的計算能力需求。短期內，SRAM是實(shí)現低功耗邊緣AI設備高能效的最佳解決方案。它確?？焖俨渴?，沒(méi)有大規模生產(chǎn)風(fēng)險。

長(cháng)期來(lái)看，諸如RRAM之類(lèi)的NVRAM新興技術(shù)（其密度高于SRAM，讀功耗更低）可以集成到SoC中，為CIM架構開(kāi)辟新的可能性。然而，RRAM技術(shù)仍處于早期階段，大規模生產(chǎn)存在風(fēng)險，目前最先進(jìn)的制造工藝僅限于22nm。此外，一個(gè)顯著(zhù)的缺點(diǎn)是其寫(xiě)入周期有限，超過(guò)此限制可能會(huì )造成永久性損壞。因此，周正宇博士設想了一種將SRAM和RRAM結合的混合技術(shù)，作為RRAM完全開(kāi)發(fā)后的最佳解決方案。在這個(gè)方案中，基于SRAM的CIM將處理需要頻繁寫(xiě)入的AI計算，而基于RRAM的CIM將用于寫(xiě)入較少或不太頻繁的任務(wù)。這種混合解決方案有望提供更大的計算能力和更高的能效。

目前，業(yè)界實(shí)現基于SRAM的CIM電路主要有兩種方法。方法一使用數字電路在盡可能靠近SRAM的地方執行計算。然而，由于計算單元實(shí)際上不是SRAM陣列的一部分，因此該方法本質(zhì)上是一種近內存技術(shù)。方法二需要利用SRAM介質(zhì)中某些模擬器件的特性來(lái)執行模擬計算。雖然這種方法實(shí)現了真正的CIM，但它有很大的缺點(diǎn)。模擬計算的精度受到影響，一致性和可制造性可能無(wú)法保證。這意味著(zhù)同一芯片在不同時(shí)間、不同條件下可能會(huì )產(chǎn)生不一致的結果。此外，這種方法需要模數轉換器(ADC)和數模轉換器(DAC)來(lái)交換基于模擬計算的CIM和其他數字模塊之間的數據。這限制了數據流管理和接口交互設計，阻礙了運行效率的提高。

為了解決這些問(wèn)題，Actions Technology推出了其混合模式SRAM基CIM (MMSCIM)技術(shù)，該技術(shù)在SRAM介質(zhì)中使用定制的模擬設計來(lái)實(shí)現數字計算電路。這一突破實(shí)現了真正的CIM，同時(shí)保持了計算精度，并確保了大規模生產(chǎn)的一致性。

周正宇博士強調了MMSCIM的幾個(gè)優(yōu)點(diǎn)。首先，MMSCIM比純數字解決方案具有更高的能效，幾乎與全模擬系統的能效相匹配。其次，MMSCIM消除了對ADC/DAC的需求，確保了數字精度、高可靠性和大規模生產(chǎn)的一致性，這是數字技術(shù)的固有優(yōu)勢。第三，MMSCIM能夠適應工藝升級，并且可以輕松地轉移到不同的半導體制造廠(chǎng)(FAB)。第四，MMSCIM可以輕松提高速度并優(yōu)化性能、功耗和面積(PPA)。最后，MMSCIM對稀疏矩陣的適應性進(jìn)一步提高了能效并降低了功耗。

對于高質(zhì)量的音頻處理和語(yǔ)音應用，MMSCIM是未來(lái)低功耗邊緣AI音頻技術(shù)的最佳架構。通過(guò)消除內存和存儲之間數據傳輸的需要，MMSCIM顯著(zhù)降低了延遲，提高了性能，并最大限度地減少了功耗和熱量產(chǎn)生。對于需要最大能效的電池供電的物聯(lián)網(wǎng)設備，Actions Technology的MMSCIM技術(shù)為將邊緣AI變?yōu)楝F實(shí)提供了理想的解決方案，在這些設備中，每一毫瓦都至關(guān)重要，用于優(yōu)化AI計算能力。

根據Actions Technology公布的首個(gè)MMSCIM路線(xiàn)圖，GEN1 MMSCIM于2024年推出。GEN1 MMSCIM基于22nm工藝構建，每個(gè)內核的性能為100 GOPS，能效達到6.4 TOPS/W @INT8。由于其能夠適應稀疏矩陣，因此對于具有合理稀疏性的模型（即某些參數為零時(shí)），可以進(jìn)一步優(yōu)化能效。根據稀疏程度的不同，能效可能超過(guò)10 TOPS/W。

2025年，Actions Technology計劃發(fā)布GEN2 MMSCIM，同樣基于22nm工藝構建，性能比GEN1提高三倍。GEN2 MMSCIM的每個(gè)內核將提供300 GOPS的計算能力，支持transformer模型，并實(shí)現7.8 TOPS/W @INT8的能效。到2026年，將推出使用12nm工藝的GEN3 MMSCIM，每個(gè)內核將提供1 TOPS的計算能力，支持transformer模型，并實(shí)現高達15.6 TOPS/W @INT8的能效。

每一代MMSCIM技術(shù)都通過(guò)內核疊加來(lái)提高總計算能力。例如，每個(gè)內核具有300 GOPS的GEN2 MMSCIM，通過(guò)組合四個(gè)內核可以實(shí)現超過(guò)1 TOPS的計算能力。

下一代邊緣AI音頻芯片為何如此強大？

炬芯科技推出的基于MMSCIM的下一代邊緣AI音頻芯片包含三個(gè)系列：ATS323X系列專(zhuān)注于實(shí)現低延遲私有無(wú)線(xiàn)音頻傳輸，ATS286X系列則面向藍牙AI音頻應用領(lǐng)域，而ATS362X系列則致力于滿(mǎn)足AI DSP應用需求。

每個(gè)系列均采用異構架構設計，巧妙融合了CPU（ARM）、DSP（HiFi5）和NPU（MMSCIM）。炬芯科技通過(guò)創(chuàng )新技術(shù)，將MMSCIM與先進(jìn)的HiFi5 DSP整合為“炬芯智能NPU（AI-NPU）”架構，這一架構通過(guò)協(xié)同計算，實(shí)現了高靈活性與高效能的完美結合。在此架構中，MMSCIM負責處理基礎且通用的AI算子，以低功耗提供強勁的計算能力。而隨著(zhù)新興AI模型和算子的不斷涌現，HiFi5 DSP則補充支持MMSCIM未涵蓋的特殊算子，確保系統的全面性和前瞻性。

這些邊緣AI芯片支持最多達一百萬(wàn)參數的片上AI模型，并可通過(guò)外部偽靜態(tài)隨機存取存儲器（PSRAM）輕松擴展至八百萬(wàn)參數，滿(mǎn)足更廣泛的應用需求。此外，炬芯科技還開(kāi)發(fā)了“ANDT”（Actions NPU Development Tools，炬芯NPU開(kāi)發(fā)工具），這是一款專(zhuān)為AI-NPU架構量身打造的AI開(kāi)發(fā)工具。該工具全面支持TensorFlow、HDF5、PyTorch和ONNX等標準AI開(kāi)發(fā)工作流，讓開(kāi)發(fā)者能夠更便捷地進(jìn)行AI算法的開(kāi)發(fā)和部署。ANDT能夠智能地在CIM和HiFi5 DSP之間分配AI算法任務(wù)，實(shí)現低功耗與高效能的平衡，助力低功耗邊緣音頻AI生態(tài)系統的快速發(fā)展。

周振宇博士分享了GEN1 MMSCIM與HiFi5 DSP的能效測試結果。在500兆赫茲頻率下，使用717K參數的卷積神經(jīng)網(wǎng)絡(luò )（CNN）模型進(jìn)行環(huán)境噪聲消除測試時(shí)，MMSCIM相比HiFi5 DSP降低了近98%的功耗，能效顯著(zhù)提升了44倍。在另一項使用935K參數CNN模型進(jìn)行語(yǔ)音識別的測試中，MMSCIM同樣表現出色，降低了93%的功耗，能效提升了14倍。

此外，在使用更復雜的網(wǎng)絡(luò )模型進(jìn)行環(huán)境噪聲消除的測試中，GEN1 MMSCIM也展現出了卓越的性能。在運行深度循環(huán)神經(jīng)網(wǎng)絡(luò )時(shí)，相比HiFi5 DSP降低了89%的功耗；在運行卷積循環(huán)神經(jīng)網(wǎng)絡(luò )時(shí)，降低了88%的功耗；在運行卷積深度循環(huán)神經(jīng)網(wǎng)絡(luò )時(shí)，降低了76%的功耗。在相同條件下，運行特定CNN-Con2D算子模型時(shí)，GEN1 MMSCIM的AI計算能力更是達到了HiFi5 DSP的16.1倍，充分展示了其強大的計算能力和能效優(yōu)勢。

通往高質(zhì)量音頻的道路

音頻處理既復雜又系統化。高質(zhì)量音頻不僅僅依賴(lài)于硬件信號鏈（包括前置放大器、ADC/DAC、音頻處理、編解碼器和模擬放大器），還需要每個(gè)處理過(guò)程都滿(mǎn)足可量化的客觀(guān)指標，例如高信噪比、低噪聲底限、寬動(dòng)態(tài)范圍和高線(xiàn)性度。同樣重要的是理解人類(lèi)的聽(tīng)覺(jué)偏好，并將電子科學(xué)和聲學(xué)無(wú)縫地融入設計中。

周正宇博士指出：“是的，尤其是在主觀(guān)方面。悅耳的聲音沒(méi)有普遍的定義；每個(gè)人都有自己的偏好，每個(gè)品牌都有自己的標志性風(fēng)格?！睉{借在音頻行業(yè)超過(guò)20年的經(jīng)驗，周正宇博士將 Actions Technology 作為領(lǐng)先的國際品牌的主觀(guān)和客觀(guān)認可歸因于其“深厚的專(zhuān)業(yè)知識和豐富的經(jīng)驗”。這使得公司研發(fā)團隊能夠理解什么是自然、清晰和悅耳的聲音，并進(jìn)行必要的調整，將芯片、算法和聲學(xué)完美融合。

另一個(gè)關(guān)鍵趨勢是人工智能的快速發(fā)展，它為人工智能與音頻的集成開(kāi)辟了新的可能性。人工智能正在通過(guò)語(yǔ)音識別、噪聲控制、語(yǔ)音翻譯、關(guān)鍵詞識別、語(yǔ)音增強和語(yǔ)音分離方面的創(chuàng )新來(lái)改變音頻行業(yè)。這些進(jìn)步正在推動(dòng)音頻設備和系統的創(chuàng )新和改進(jìn)，為消費者提供更豐富、更個(gè)性化的體驗，無(wú)論是在家中、個(gè)人音樂(lè )欣賞還是商業(yè)應用中。

周正宇博士將人工智能視為一種新型計算，它使用基于神經(jīng)網(wǎng)絡(luò )的深度學(xué)習計算來(lái)替代音頻領(lǐng)域的傳統符號邏輯計算，從而極大地增強了用戶(hù)體驗。他解釋說(shuō)：“在我看來(lái)，每種音頻產(chǎn)品都應該使用人工智能進(jìn)行改進(jìn)，尤其是在與專(zhuān)業(yè)、低功耗、高效的硬件相結合時(shí)。這可以顯著(zhù)提高模型效率?！?/p>

目前，無(wú)線(xiàn)家庭影院系統、游戲耳機和麥克風(fēng)等低延遲、高質(zhì)量音頻產(chǎn)品市場(chǎng)占據主導地位。周正宇博士預測，未來(lái)將涌現更多利基市場(chǎng)，例如更專(zhuān)業(yè)的直播麥克風(fēng)和其他需要超低延遲的無(wú)線(xiàn)設備。對優(yōu)先考慮完全沉浸式體驗的 7.1.4 聲道（即 12 聲道）環(huán)繞聲系統的需求將挑戰無(wú)線(xiàn)傳輸帶寬、采樣率和延遲。這將推動(dòng)對高帶寬私有無(wú)線(xiàn)技術(shù)、人工智能音頻處理和新編解碼器技術(shù)的需求，以滿(mǎn)足對超低延遲和卓越音質(zhì)的需求。

根據QYResearch的數據，全球無(wú)線(xiàn)音頻設備市場(chǎng)（包括條形音箱、耳機、麥克風(fēng)和無(wú)線(xiàn)揚聲器）在2023年達到1996.28億元人民幣，其中中國市場(chǎng)占654.38億元人民幣。預計到2029年，這一數字將增長(cháng)到5820.85億元人民幣，復合年增長(cháng)率約為19.25%。主要市場(chǎng)包括商業(yè)、汽車(chē)、消費和家庭應用。

以智能眼鏡、智能耳機、智能手表和智能手環(huán)等產(chǎn)品為主導的可穿戴設備市場(chǎng)也顯示出巨大的潛力。IDC預測，2024年全球可穿戴設備出貨量將同比增長(cháng)6.1%，達到5.379億臺，其中可聽(tīng)戴設備占總量的57.7%。Canalys還報告稱(chēng)，2024年第二季度，全球智能個(gè)人音頻出貨量達到1.1億臺，創(chuàng )下歷史最高第二季度出貨量，同比增長(cháng)10.6%。

在這種情況下，人工智能技術(shù)的探索和應用無(wú)疑將成為各行業(yè)的熱門(mén)話(huà)題，釋放人工智能技術(shù)增強用戶(hù)體驗的巨大潛力。對于公司而言，從單一產(chǎn)品供應商轉變?yōu)樘峁┫到y解決方案將成為常態(tài)。企業(yè)將越來(lái)越需要通過(guò)開(kāi)放平臺和工具構建獨特的AI生態(tài)系統，使客戶(hù)能夠基于基礎組件開(kāi)發(fā)差異化解決方案，同時(shí)平衡性能、成本和功耗。

結論

從ChatGPT到Sora，從文本到文本、文本到圖像再到文本到視頻、圖像到文本以及視頻到文本的技術(shù)，基于云的大型模型不斷突破人工智能能力的邊界。然而，人工智能的發(fā)展之路仍然漫長(cháng)。從云端向邊緣計算的轉變正成為一大趨勢。邊緣人工智能憑借其低延遲、個(gè)性化服務(wù)和增強的數據隱私等優(yōu)勢，將在物聯(lián)網(wǎng)設備中發(fā)揮越來(lái)越重要的作用，為制造業(yè)、汽車(chē)業(yè)和消費品等行業(yè)帶來(lái)激動(dòng)人心的新機遇。

來(lái)源： Filmsound.cn電影聲音網(wǎng)