凌云光技術(shù)股份有限公司深度學(xué)習算法部負責人 朱中洋博士

1　背景

2012年，神經(jīng)網(wǎng)絡(luò )之父Geoffrey Hinton的學(xué)生Alex Krizhevsky，通過(guò)改進(jìn)的LeNet在視覺(jué)領(lǐng)域競賽ILSVRC 2012中摘下桂冠。在百萬(wàn)量級的ImageNet數據集合上，改進(jìn)的LeNet效果大幅度超過(guò)傳統方法，從此引爆深度學(xué)習在各個(gè)場(chǎng)景中的應用。

此后，Google、Facebook和NVIDIA等強ToC背景企業(yè)，逐步引領(lǐng)深度學(xué)習在ToC領(lǐng)域落地實(shí)施并率先取得成功。深度學(xué)習在購物推薦、廣告推薦、路徑規劃和喜好挖掘等領(lǐng)域得到廣泛應用，更通過(guò)植入到手機等終端設備的方式走到每個(gè)人身邊。

2　深度學(xué)習與工業(yè)場(chǎng)景之間的“語(yǔ)義鴻溝”

既然深度學(xué)習性能這么好，能不能把它應用在工業(yè)場(chǎng)景，重復、有效、可靠地解決問(wèn)題？能否應用在瑕疵檢測、缺陷分級和根因分析上？如果簡(jiǎn)單地把它移植過(guò)來(lái)，會(huì )出現哪些鴻溝和問(wèn)題？

第一個(gè)鴻溝：深度學(xué)習平臺

大家熟知的AI頭部公司多有自己的深度學(xué)習平臺，包含整合的算力、存儲、數據、數據標注、模型訓練和模型部署等功能。這類(lèi)平臺只適合于具有少高效應（項目數量少、樣本量大且算力需求大）的公司，如互聯(lián)網(wǎng)企業(yè)。而工業(yè)場(chǎng)景中的項目卻以長(cháng)尾效應（項目數量多、樣本量小且算力需求?。橹?，如工業(yè)質(zhì)檢行業(yè)。云模式是否適用于工業(yè)質(zhì)檢行業(yè)？將花費高代價(jià)整合出來(lái)的算力和存儲根據項目分割，是否是最優(yōu)選擇？

第二個(gè)鴻溝：預訓練

做工業(yè)質(zhì)檢時(shí)，即使在算法層面上開(kāi)發(fā)相應的框架形成自己的平臺，最常用的基本上還是一些非常頂尖的ToC企業(yè)發(fā)布的框架網(wǎng)絡(luò )，如ImageNet的預訓練權重。但在實(shí)踐過(guò)程中我們發(fā)現，雖然ImageNet的圖片和工業(yè)圖片之間的鴻溝非常大，但仍然可以提升模型的性能。這樣就引出了第二個(gè)鴻溝，是不是可以有屬于自己、圖片完全來(lái)源于工業(yè)領(lǐng)域的預訓練模型？

第三個(gè)鴻溝：小樣本

在工業(yè)人工智能領(lǐng)域，隨著(zhù)產(chǎn)品良率和產(chǎn)能的提升，缺陷瑕疵的數量必然會(huì )越來(lái)越少，深度學(xué)習在工業(yè)中的使用場(chǎng)景會(huì )逐漸收斂為小樣本的場(chǎng)景，小樣本深度學(xué)習未來(lái)是工業(yè)人工智能核心。2018年之后，出現了很多小樣本相關(guān)的論文，但不難發(fā)現，這些頂尖的小樣本深度學(xué)習算法并不是為工業(yè)量身打造，將學(xué)術(shù)界提出的小樣本識別方法直接應用在工業(yè)中，往往是不能立刻見(jiàn)效的。

3　凌云光深度學(xué)習平臺

深度學(xué)習有三個(gè)很重要的因素，即平臺、數據和算法。凌云光大膽創(chuàng )新，提出了全新的深度學(xué)習平臺、數據預訓練及改進(jìn)算法，從而使深度學(xué)習契合工業(yè)界的發(fā)展和需求。

（1）建立統一規格的多維度深度學(xué)習平臺

凌云光深度學(xué)習平臺包含三個(gè)維度，分別是超輕型的深度學(xué)習平臺、服務(wù)器的深度學(xué)習平臺、云端的深度學(xué)習平臺。超輕型的深度學(xué)習平臺針對的是邊端保密項目，這類(lèi)項目往往數量少，邊端無(wú)法聯(lián)網(wǎng)，這種情況下，超輕型的便攜式深度學(xué)習算力平臺就十分有優(yōu)勢。對于各個(gè)邊端可以進(jìn)行聯(lián)網(wǎng)互聯(lián)，數據量在服務(wù)器算力承受范圍之內的產(chǎn)線(xiàn)級客戶(hù)來(lái)說(shuō)，服務(wù)器的深度學(xué)習平臺才是最佳選擇。而針對數據量大，沒(méi)有保密需求的客戶(hù)，需要云級別的算力，則可以使用云端的算力平臺。凌云光以多維度算力平臺，滿(mǎn)足不同的客戶(hù)需求，提升客戶(hù)服務(wù)能力。

（2）數據層

充分利用扎根工業(yè)領(lǐng)域多年的優(yōu)勢，凌云光收集大量的缺陷樣本數據，并對樣本進(jìn)行清洗和標注，形成數據資源。此外，還對過(guò)往樣本的缺陷和根因也進(jìn)行標注，便于在未來(lái)進(jìn)行數據挖掘和根因分析，從而從根本上提高工廠(chǎng)的檢測效率，進(jìn)而提高工廠(chǎng)產(chǎn)品良率。

（3）算法層

凌云光深度剖析開(kāi)源深度學(xué)習算法，構建屬于工業(yè)人工智能深度學(xué)習的頂尖算法研究方向，包括小樣本、超低耗時(shí)的模型研發(fā)等。比如在印刷質(zhì)量檢測領(lǐng)域，幅寬一米的印刷品，速度要達到120米/分鐘，常規的深度學(xué)習模型是行不通的。此外，我們還深入研究了深度預適應算法、Open Set Learning、零樣本學(xué)習方法、細粒度圖像的分類(lèi)方法、工業(yè)的知識圖譜等。

4　小結

小樣本深度學(xué)習未來(lái)將成為一個(gè)體系，會(huì )有多種多樣的方法。例如，可以使用模型微調的方法、數據增強的方法、遷移學(xué)習的方法等。凌云光正在研發(fā)的下一代真正適用于工業(yè)的小樣本深度學(xué)習就融合了這些方法。

回顧工業(yè)人工智能的發(fā)展過(guò)程不難發(fā)現，直接套用國外已有的開(kāi)源模型，很難滿(mǎn)足實(shí)際需求，在前人的基礎上，必須有所創(chuàng )新，去適應工業(yè)中的小而多的應用場(chǎng)景。我們在工業(yè)人工智能領(lǐng)域，必須通過(guò)自主研發(fā)，成為行業(yè)參與者、引領(lǐng)者，進(jìn)而構建真正的智慧工廠(chǎng)。

摘自《自動(dòng)化博覽》2021年12月刊