深度學(xué)習是本輪人工智能爆發(fā)的關(guān)鍵技術(shù)。人工智能技術(shù)在計算機視覺(jué)和自然語(yǔ)言處理等領(lǐng)域取得的突破性進(jìn)展，使得人工智能迎來(lái)新一輪爆發(fā)式發(fā)展。而深度學(xué)習是實(shí)現這些突破性進(jìn)展的關(guān)鍵技術(shù)。其中，基于深度卷積網(wǎng)絡(luò )的圖像分類(lèi)技術(shù)已超過(guò)人眼的準確率，基于深度神經(jīng)網(wǎng)絡(luò )的語(yǔ)音識別技術(shù)已達到95%的準確率，基于深度神經(jīng)網(wǎng)絡(luò )的機器翻譯技術(shù)已接近人類(lèi)的平均翻譯水平。準確率的大幅提升使得計算機視覺(jué)和自然語(yǔ)言處理進(jìn)入產(chǎn)業(yè)化階段，帶來(lái)新產(chǎn)業(yè)的興起。

深度學(xué)習是大數據時(shí)代的算法利器，成為近幾年的研究熱點(diǎn)。和傳統的機器學(xué)習算法相比，深度學(xué)習技術(shù)有著(zhù)兩方面的優(yōu)勢。一是深度學(xué)習技術(shù)可隨著(zhù)數據規模的增加不斷提升其性能，而傳統機器學(xué)習算法難以利用海量數據持續提升其性能。二是深度學(xué)習技術(shù)可以從數據中直接提取特征，削減了對每一個(gè)問(wèn)題設計特征提取器的工作，而傳統機器學(xué)習算法需要人工提取特征。因此，深度學(xué)習成為大數據時(shí)代的熱點(diǎn)技術(shù)，學(xué)術(shù)界和產(chǎn)業(yè)界都對深度學(xué)習展開(kāi)了大量的研究和實(shí)踐工作。

深度學(xué)習各類(lèi)模型全面賦能基礎應用。卷積神經(jīng)網(wǎng)絡(luò )和循環(huán)神經(jīng)網(wǎng)絡(luò )是兩類(lèi)獲得廣泛應用的深度神經(jīng)網(wǎng)絡(luò )模型。計算機視覺(jué)和自然語(yǔ)言處理是人工智能兩大基礎應用。卷積神經(jīng)網(wǎng)絡(luò )廣泛應用于計算機視覺(jué)領(lǐng)域，在圖像分類(lèi)、目標檢測、語(yǔ)義分割等任務(wù)上的表現大大超越傳統方法。循環(huán)神經(jīng)網(wǎng)絡(luò )適合解決序列信息相關(guān)問(wèn)題，已廣泛應用于自然語(yǔ)言處理領(lǐng)域，如語(yǔ)音識別、機器翻譯、對話(huà)系統等。

深度學(xué)習技術(shù)仍不完美，有待于進(jìn)一步提升。一是深度神經(jīng)網(wǎng)絡(luò )的模型復雜度高，巨量的參數導致模型尺寸大，難以部署到移動(dòng)終端設備。二是模型訓練所需的數據量大，而訓練數據樣本獲取、標注成本高，有些場(chǎng)景樣本難以獲取。三是應用門(mén)檻高，算法建模及調參過(guò)程復雜繁瑣、算法設計周期長(cháng)、系統實(shí)施維護困難。四是缺乏因果推理能力，圖靈獎得主、貝葉斯網(wǎng)絡(luò )之父Judea Pearl指出當前的深度學(xué)習不過(guò)只是“曲線(xiàn)擬合”。五是存在可解釋性問(wèn)題，由于內部的參數共享和復雜的特征抽取與組合，很難解釋模型到底學(xué)習到了什么，但出于安全性考慮以及倫理和法律的需要，算法的可解釋性又是十分必要的。因此，深度學(xué)習仍需解決以上問(wèn)題。

深度神經(jīng)網(wǎng)絡(luò )呈現層數越來(lái)越深，結構越來(lái)越復雜的發(fā)展趨勢。為了不斷提升深度神經(jīng)網(wǎng)絡(luò )的性能，業(yè)界從網(wǎng)絡(luò )深度和網(wǎng)絡(luò )結構兩方面持續進(jìn)行探索。神經(jīng)網(wǎng)絡(luò )的層數已擴展到上百層甚至上千層，隨著(zhù)網(wǎng)絡(luò )層數的不斷加深，其學(xué)習效果也越來(lái)越好，2015年微軟提出的ResNet以152層的網(wǎng)絡(luò )深度在圖像分類(lèi)任務(wù)上準確率首次超過(guò)人眼。新的網(wǎng)絡(luò )設計結構不斷被提出，使得神經(jīng)網(wǎng)絡(luò )的結構越來(lái)越復雜。如：2014年谷歌提出了Inception網(wǎng)絡(luò )結構、2015年微軟提出了殘差網(wǎng)絡(luò )結構、2016年黃高等人提出了密集連接網(wǎng)絡(luò )結構，這些網(wǎng)絡(luò )結構設計不斷提升了深度神經(jīng)網(wǎng)絡(luò )的性能。

深度神經(jīng)網(wǎng)絡(luò )節點(diǎn)功能不斷豐富。為了克服目前神經(jīng)網(wǎng)絡(luò )存在的局限性，業(yè)界探索并提出了新型神經(jīng)網(wǎng)絡(luò )節點(diǎn)，使得神經(jīng)網(wǎng)絡(luò )的功能越來(lái)越豐富。2017年，杰弗里?辛頓提出了膠囊網(wǎng)絡(luò )的概念，采用膠囊作為網(wǎng)絡(luò )節點(diǎn)，理論上更接近人腦的行為，旨在克服卷積神經(jīng)網(wǎng)絡(luò )沒(méi)有空間分層和推理能力等局限性。2018年，DeepMind、谷歌大腦、MIT的學(xué)者聯(lián)合提出了圖網(wǎng)絡(luò )的概念，定義了一類(lèi)新的模塊，具有關(guān)系歸納偏置功能，旨在賦予深度學(xué)習因果推理的能力。

深度神經(jīng)網(wǎng)絡(luò )工程化應用技術(shù)不斷深化。深度神經(jīng)網(wǎng)絡(luò )模型大都具有上億的參數量和數百兆的占用空間，運算量大，難以部署到智能手機、攝像頭和可穿戴設備等性能和資源受限的終端類(lèi)設備。為了解決這個(gè)問(wèn)題，業(yè)界采用模型壓縮技術(shù)降低模型參數量和尺寸，減少運算量。目前采用的模型壓縮方法包括對已訓練好的模型做修剪（如剪枝、權值共享和量化等）和設計更精細的模型（如MobileNet等）兩類(lèi)。深度學(xué)習算法建模及調參過(guò)程繁瑣，應用門(mén)檻高。為了降低深度學(xué)習的應用門(mén)檻，業(yè)界提出了自動(dòng)化機器學(xué)習（AutoML）技術(shù)，可實(shí)現深度神經(jīng)網(wǎng)絡(luò )的自動(dòng)化設計，簡(jiǎn)化使用流程。

深度學(xué)習與多種機器學(xué)習技術(shù)不斷融合發(fā)展。深度學(xué)習與強化學(xué)習融合發(fā)展誕生的深度強化學(xué)習技術(shù)，結合了深度學(xué)習的感知能力和強化學(xué)習的決策能力，克服了強化學(xué)習只適用于狀態(tài)為離散且低維的缺陷，可直接從高維原始數據學(xué)習控制策略。為了降低深度神經(jīng)網(wǎng)絡(luò )模型訓練所需的數據量，業(yè)界引入了遷移學(xué)習的思想，從而誕生了深度遷移學(xué)習技術(shù)。遷移學(xué)習是指利用數據、任務(wù)或模型之間的相似性，將在舊領(lǐng)域學(xué)習過(guò)的模型，應用于新領(lǐng)域的一種學(xué)習過(guò)程。通過(guò)將訓練好的模型遷移到類(lèi)似場(chǎng)景，實(shí)現只需少量的訓練數據就可以達到較好的效果。

加強圖網(wǎng)絡(luò )、深度強化學(xué)習以及生成式對抗網(wǎng)絡(luò )等前沿技術(shù)研究。由于我國在深度學(xué)習領(lǐng)域缺乏重大原創(chuàng )性研究成果，基礎理論研究貢獻不足，如膠囊網(wǎng)絡(luò )、圖網(wǎng)絡(luò )等創(chuàng )新性、原創(chuàng )性概念是由美國專(zhuān)家提出，我國研究貢獻不足。在深度強化學(xué)習方面，目前最新的研究成果大都是由DeepMind和OpenAI等國外公司的研究人員提出，我國尚沒(méi)有突破性研究成果。近幾年的研究熱點(diǎn)生成式對抗網(wǎng)絡(luò )（GAN）是由美國的研究人員Goodfellow提出，并且谷歌、facebook、twitter和蘋(píng)果等公司紛紛提出了各種改進(jìn)和應用模型，有力推動(dòng)了GAN技術(shù)的發(fā)展，而我國在這方面取得的研究成果較少。因此，應鼓勵科研院所及企業(yè)加強深度神經(jīng)網(wǎng)絡(luò )與因果推理模型結合、生成式對抗網(wǎng)絡(luò )以及深度強化學(xué)習等前沿技術(shù)的研究，提出更多原創(chuàng )性研究成果，增強全球學(xué)術(shù)研究影響力。

加快自動(dòng)化機器學(xué)習、模型壓縮等深度學(xué)習應用技術(shù)研究。依托國內的市場(chǎng)優(yōu)勢和企業(yè)的成長(cháng)優(yōu)勢，針對具有我國特色的個(gè)性化應用需求，加快對深度學(xué)習應用技術(shù)的研究。加強對自動(dòng)化機器學(xué)習、模型壓縮等技術(shù)的研究，加快深度學(xué)習的工程化落地應用。加強深度學(xué)習在計算機視覺(jué)領(lǐng)域應用研究，進(jìn)一步提升目標識別等視覺(jué)任務(wù)的準確率，以及在實(shí)際應用場(chǎng)景中的性能。加強深度學(xué)習在自然語(yǔ)言處理領(lǐng)域的應用研究，提出性能更優(yōu)的算法模型，提升機器翻譯、對話(huà)系統等應用的性能。

來(lái)源：中國信息通信研究院CAICT