1　目標和概述

隨著(zhù)工業(yè)制造水平的不斷提高，用戶(hù)和生產(chǎn)企業(yè)對產(chǎn)品質(zhì)量的要求越來(lái)越高，除要求滿(mǎn)足使用性能外，還要有良好的外觀(guān)，即良好的表面質(zhì)量。但是，在制造產(chǎn)品的過(guò)程中，表面缺陷的產(chǎn)生往往是不可避免的。表面缺陷是產(chǎn)品表面局部物理或化學(xué)性質(zhì)不均勻的區域，如表面的劃痕、斑點(diǎn)、孔洞、褶皺等。表面缺陷不僅影響產(chǎn)品的美觀(guān)和舒適度，而且一般也會(huì )對其使用性能帶來(lái)不良影響，所以生產(chǎn)企業(yè)對產(chǎn)品的表面缺陷檢測非常重視，以便及時(shí)發(fā)現，從而有效控制產(chǎn)品質(zhì)量，還可以根據檢測結果分析生產(chǎn)工藝中存在的某些問(wèn)題，從而杜絕或減少缺陷品的產(chǎn)生，同時(shí)防止潛在的貿易糾紛，維護企業(yè)榮譽(yù)。

傳統檢測產(chǎn)品表面缺陷的主要方法是人工檢測，該方法抽檢率低、準確性不高、實(shí)時(shí)性差、效率低、勞動(dòng)強度大、受人工經(jīng)驗和主觀(guān)因素的影響大，而基于機器視覺(jué)的檢測方法可以很大程度上克服上述弊端。

利用機器視覺(jué)代替人工完成產(chǎn)品的表面缺陷檢測。機器視覺(jué)是一種無(wú)接觸、無(wú)損傷的自動(dòng)檢測技術(shù)，能在無(wú)需對產(chǎn)線(xiàn)設備和生產(chǎn)工藝進(jìn)行改造的前提下，完成產(chǎn)品表面缺陷的自動(dòng)化檢測，是一種低投入、高回報的自動(dòng)化技術(shù)。本解決方案是一套基于機器視覺(jué)的表面無(wú)人質(zhì)檢系統，包括：數據采集、數據標注、模型訓練及優(yōu)化等功能。該系統通過(guò)機器學(xué)習、深度學(xué)習、邊緣計算等前沿技術(shù)不斷提高對產(chǎn)品表面質(zhì)量缺陷識別與定位的精度和速度，加速設備自動(dòng)化、智能化改造，代替人工在惡劣環(huán)境下進(jìn)行不間斷工作，提高生產(chǎn)效率，最終實(shí)現無(wú)人值守生產(chǎn)的目標。

AI表面無(wú)人質(zhì)檢系統是一套基于邊緣計算的機器視覺(jué)識別系統，它通過(guò)深度學(xué)習和圖像處理算法，自動(dòng)識別視頻流中產(chǎn)品的瑕疵，以達到大幅節省人力，提高產(chǎn)品生產(chǎn)效率及產(chǎn)品質(zhì)量的效果。AI表面無(wú)人質(zhì)檢系統部署將AI應用下沉到生產(chǎn)車(chē)間，在靠近設備的地方進(jìn)行AI視覺(jué)分析，減輕視頻傳輸對帶寬壓力，縮短了應用響應時(shí)間，提高了業(yè)務(wù)實(shí)時(shí)性，解決生成成本；同時(shí)，檢測結果無(wú)需上傳云平臺，僅需要把少量無(wú)法識別圖片上傳訓練庫進(jìn)行模型訓練，降低了數據泄露風(fēng)險，保障了數據的安全。

2　解決方案介紹

2.1　業(yè)務(wù)流程

AI表面無(wú)人質(zhì)檢系統業(yè)務(wù)流程如圖1所示。

圖1 AI表面無(wú)人質(zhì)檢系統業(yè)務(wù)流程圖

AI攝像機實(shí)時(shí)采集待檢產(chǎn)品視頻數據，智能網(wǎng)關(guān)設備拉取視頻流，抽取其中圖像清晰的關(guān)鍵幀圖片進(jìn)行產(chǎn)品表面缺陷識別，如果存在缺陷，那么進(jìn)行缺陷的位置定位，并通知質(zhì)檢員進(jìn)行缺陷處理。當存在缺陷不能被識別的時(shí)候，質(zhì)檢員通過(guò)數據標注工具對缺陷進(jìn)行標注后將圖片上傳到訓練庫中，通過(guò)訓練引擎進(jìn)行模型訓練，最后將模型訓練生成的模型更新到智能網(wǎng)關(guān)中，持續提升缺陷識別的準確性。

2.2　系統架構

AI表面無(wú)人質(zhì)檢系統的系統架構圖如圖2所示。

圖2 AI表面無(wú)人質(zhì)檢系統的系統架構圖

AI表面缺陷無(wú)人質(zhì)檢系統包括平臺層、存儲層、邊緣層和設備層。平臺層主要提供模型訓練功能和應用管理功能，包括：數據標注模塊、訓練引擎模塊和模型下沉模塊。存儲層主要提供視頻圖片數據的存儲功能，包括：生產(chǎn)庫和訓練庫。邊緣層主要提供表面缺陷識別與定位功能，包括缺陷識別引擎、視頻流拉取模塊、關(guān)鍵圖像抽取模塊、結果展示&通知模塊。設備層主要用于采集待檢產(chǎn)品的視頻流，攝像機可以包括：IP攝像機、工業(yè)攝像機。

2.3　機器視覺(jué)表面缺陷檢測實(shí)現

機器視覺(jué)是一種無(wú)接觸、無(wú)損傷的自動(dòng)檢測技術(shù)，具有安全可靠、光譜響應范圍寬、可在惡劣環(huán)境下長(cháng)時(shí)間工作和生產(chǎn)效率高等突出優(yōu)點(diǎn)。機器視覺(jué)檢測系統通過(guò)適當的光源和圖像傳感器（CCD攝像機）獲取產(chǎn)品的表面圖像，利用相應的圖像處理算法提取圖像的特征信息，然后根據特征信息進(jìn)行表面缺陷的定位、識別、分級等判別和統計、存儲、查詢(xún)等操作。

2.3.1　照明系統

照明系統由工業(yè)攝像機、光學(xué)鏡頭、光源及其夾持裝置等組成。在光源的照明下，通過(guò)光學(xué)鏡頭將產(chǎn)品表面成像于相機傳感器上，光信號先轉換成電信號，進(jìn)而轉換成計算機能處理的數字信號，完成產(chǎn)品表面圖像的采集。

工業(yè)攝像機采用CCD線(xiàn)陣工業(yè)攝像機。光源采用LED光源，其體積小、功耗低、響應速度快、發(fā)光單色性好、可靠性高、光均勻穩定?，F場(chǎng)采用暗場(chǎng)照明，將相機與光源部署在同側，使間接接收光源在目標上的散射光，獲得高對比度的圖像。

2.3.2　基于算法倉的缺陷識別系統

為了提高表面缺陷的識別成功率，實(shí)現了一種基于算法倉的缺陷識別系統。該系統根據算法融合策略預測出最終結果，其特征在于多算法融合策略包括：投票融合算法、線(xiàn)性加權融合算法、瀑布融合算法、預測融合算法。

（1）投票融合算法是將多個(gè)算法的模型預測結果中多數相同的結果作為最終結果。

（2）線(xiàn)性加權融合算法是為每個(gè)算法的預測模型設置一個(gè)權重，將算法SDK的模型預測結果進(jìn)行加權平均。

（3）瀑布融合算法是將前一個(gè)算法的模型預測結果作為下一個(gè)算法SDK模型預測結果的候選集合輸入，層層遞進(jìn)，最后篩選出最優(yōu)的結果。

（4）預測融合算法是對所有的算法的模型預測結果進(jìn)行二次模型訓練，然后使用訓練后得到的模型進(jìn)行模型預測，并生成最終模型預測結果。

（5）數字圖像處理算法

數字圖像處理算法處理流程包括圖片預處理，特征提取，分類(lèi)器缺陷分類(lèi)。

由于工業(yè)現場(chǎng)采集的圖像通常包含噪聲，圖像預處理主要目的是減少噪聲，改善圖像的質(zhì)量，使之更適合人眼的觀(guān)察或機器的處理。圖像的預處理通常包括空域方法和頻域方法，其算法有灰度變換、直方圖均衡、基于空域和頻域的各種濾波算法等。

圖像的特征提取是從高維圖像空間到低維特征空間的映射，其基本思想是使目標在得到的子空間中具有較小的類(lèi)內聚散度和較大的類(lèi)間聚散度。主要采用紋理特征、顏色特征、形狀特征等。

最后通過(guò)分類(lèi)器進(jìn)行缺陷類(lèi)型分類(lèi)，分類(lèi)器算法包括：SVM（支持向量機），MLP（多層感知器）。

（6）神經(jīng)網(wǎng)絡(luò )算法

• 卷積神經(jīng)網(wǎng)絡(luò )

該方法首先進(jìn)行圖像的分割，把圖像陣列分解成若干個(gè)互不交迭的區域，每一個(gè)區域內部的某種特性或特征相同或接近，而不同區域間的圖像特征則有明顯差別，主要采用基于閾值的分割方法、基于區域的分割方法、基于邊緣的分割方法以及基于特定理論的分割方法；然后進(jìn)行卷積神經(jīng)網(wǎng)絡(luò )算法識別缺陷，主要使用的卷積神經(jīng)網(wǎng)絡(luò )算法包括：Vggnet算法、ResNet算法等。

• 目標檢測

該方法是找出圖像中所有感興趣的目標（物體），確定它們的位置和大小，主要使用的算法有ssd_mobilenet算法，faster_rcnn算法。

（7）無(wú)監督學(xué)習

工業(yè)現場(chǎng)在某些場(chǎng)景下難以獲得足夠數量的缺陷樣本進(jìn)行學(xué)習，而無(wú)論是數字圖像處理方法還是神經(jīng)網(wǎng)絡(luò )方法都嚴重依賴(lài)于足夠的樣本數。無(wú)監督缺陷檢測的方法具有不需要標簽數據也可預測缺陷能力。首先，結合GAN和Autoencoder算法進(jìn)行圖像樣本修復（重建），然后，利用LBP算法比較恢復后的圖像和原始輸入圖像，從而更準確的找到缺陷的位置。

2.4　產(chǎn)品功能

（1）缺陷識別&定位

通過(guò)對視頻流進(jìn)行分析，系統識別出視頻圖像中產(chǎn)品的缺陷類(lèi)型的預測結果，并用矩形框標注出缺陷所在的位置。

（2）缺陷庫管理

支持通過(guò)向缺陷庫導入產(chǎn)品缺陷圖片完成對產(chǎn)品缺陷特征的提取，可持續進(jìn)行模型訓練，提升預測模型。

（3）抓拍庫管理

系統支持自動(dòng)識別視頻流中的產(chǎn)品及產(chǎn)品缺陷，并從視頻流中抽取包含這些產(chǎn)品和產(chǎn)品缺陷的圖片存放到抓拍庫中。

（4）結果通知

系統支持在識別產(chǎn)品缺陷或者出現未能識別的新缺陷的時(shí)候通知質(zhì)檢員進(jìn)行相關(guān)處理。結果通知可以包括聲光報警、系統消息推送、短信通知、郵件通知等。

（5）數據標注

質(zhì)檢員可以通過(guò)數據標注小工具對抓拍庫中的產(chǎn)品進(jìn)行復檢，并標記出未能識別的新缺陷或者遺漏識別的缺陷。

（6）生產(chǎn)經(jīng)營(yíng)報表

系統提供產(chǎn)品缺陷統計分析報表，包括：產(chǎn)品次品率報表，產(chǎn)品缺陷分析報表，缺陷類(lèi)型分析報表等。

2.5　部署方案

AI表面質(zhì)量檢查系統基于邊緣計算進(jìn)行部署，將AI表面缺陷識別模型應用部署在車(chē)間現場(chǎng)的智能網(wǎng)關(guān)設備中，直接拉取通過(guò)車(chē)間現場(chǎng)的攝像機的視頻流進(jìn)行圖像識別和智能分析，現場(chǎng)聲光報警告知。

將模型訓練部署于擁有強大計算資源的云計算中心，接收智能網(wǎng)關(guān)上傳的缺陷圖片進(jìn)行模型訓練，最后將訓練后的預測模型自動(dòng)部署到智能網(wǎng)關(guān)中。AI表面質(zhì)量檢查系統架構圖如圖3所示。

3　代表性及推廣價(jià)值

當前制造業(yè)產(chǎn)品表面缺陷檢測主要有人工質(zhì)檢和機器視覺(jué)質(zhì)檢兩種方式，其中人工質(zhì)檢占90%，機器視覺(jué)質(zhì)檢只占10%。人工質(zhì)檢成本高、誤操作多、生產(chǎn)數據無(wú)法有效留存。在線(xiàn)鋼生產(chǎn)過(guò)程中，質(zhì)檢員基于傳統作業(yè)方式采用手電筒作為光源，對線(xiàn)鋼進(jìn)行挨個(gè)抽樣檢查。這種方式對經(jīng)驗依賴(lài)程度較高，人工質(zhì)檢存在較大的主觀(guān)因素，長(cháng)期作業(yè)導致的視覺(jué)疲勞也會(huì )影響質(zhì)檢精度與效率，漏報、漏檢的情況屢見(jiàn)不鮮。且線(xiàn)鋼余溫燙傷質(zhì)檢員的事故屢有發(fā)生。由于職業(yè)因素，質(zhì)檢行業(yè)人員流動(dòng)性較高，帶來(lái)較重的培訓和用工成本。AI表面無(wú)人質(zhì)檢系統可以幫助成千上萬(wàn)的一線(xiàn)質(zhì)檢工人，減輕大量高重復性、高頻次的工作，提升效率，解放更多勞動(dòng)力。與傳統人工質(zhì)檢相比，AI表面無(wú)人質(zhì)檢系統具有如下優(yōu)勢：

（1）節省人力

傳統人工檢測方式，如果對產(chǎn)品依次進(jìn)行檢查，工作強度大，需要大量的人力投入，通過(guò)機器視覺(jué)智能診斷，可以將人力從大量的重復質(zhì)檢工作中解脫出來(lái)，大幅度節省人力成本。

（2）提高質(zhì)量保障

傳統質(zhì)檢全靠人工一個(gè)一個(gè)檢查產(chǎn)品瑕疵或者采用抽檢的方式進(jìn)行，但是這會(huì )受到人工的經(jīng)驗、個(gè)人情緒等主觀(guān)因素和抽檢概率的影響，導致質(zhì)量控制無(wú)法保障。機器視覺(jué)通過(guò)大量數據訓練后算法識別精度可以非常穩定，持續為產(chǎn)品質(zhì)量保駕護航。

（3）提高生產(chǎn)效率

傳統質(zhì)檢方式識別缺陷效率低，往往成為生產(chǎn)瓶頸，影響生產(chǎn)線(xiàn)的自動(dòng)化。機器視覺(jué)可以實(shí)現7×24小時(shí)持續檢測，減少生產(chǎn)線(xiàn)的人工干預，提高生產(chǎn)效率。

（4）識別精準&持續優(yōu)化

AI表面無(wú)人質(zhì)檢系統基于網(wǎng)宿多年在人工智能技術(shù)上的積累，賦能工業(yè)質(zhì)檢領(lǐng)域。通過(guò)深度學(xué)習技術(shù)和圖像處理算法，預測準確率高達97%以上，且準確率隨著(zhù)數據量提升可持續優(yōu)化。

圖3 AI表面質(zhì)量檢查系統架構圖

（5）實(shí)時(shí)響應

相對于傳統云計算技術(shù)，依賴(lài)于云計算中心資源，工業(yè)現場(chǎng)視頻數據需要全部上傳云計算中心進(jìn)行計算，這不僅會(huì )帶來(lái)帶寬成本增加，而且網(wǎng)絡(luò )延遲也不能適應實(shí)時(shí)生產(chǎn)控制的需求。AI表面無(wú)人質(zhì)檢系統采用先進(jìn)的邊緣計算技術(shù)，將AI應用下沉到生產(chǎn)車(chē)間，在靠近設備的地方進(jìn)行機器視覺(jué)分析，降低視頻傳輸對帶寬需求，縮短了應用響應時(shí)間，提高了業(yè)務(wù)實(shí)時(shí)性。

（6）信息安全

基于邊緣計算的AI表面無(wú)人質(zhì)檢系統，在本地進(jìn)行缺陷識別，檢測結果也無(wú)需上傳云計算中心，僅需要把少量無(wú)法識別缺陷圖片上傳位于云計算中心的訓練庫進(jìn)行模型訓練，從而降低了企業(yè)生產(chǎn)數據泄露風(fēng)險，保障了數據的安全。

未來(lái)，AI表面無(wú)人質(zhì)檢系統可在鋼鐵、汽車(chē)、紡織、家居等各個(gè)領(lǐng)域進(jìn)行推廣應用，可以有效地實(shí)現企業(yè)生產(chǎn)自動(dòng)化、提升檢測和生產(chǎn)效率，增強市場(chǎng)競爭力，具有良好的行業(yè)復制性。

摘自《自動(dòng)化博覽》2020年10月刊