工業(yè)自動(dòng)化趨勢及人工智能(AI)的興起推動(dòng)著(zhù)機器視覺(jué)市場(chǎng)快速發(fā)展。邊緣AI不斷地催生出新領(lǐng)域。新冠疫情進(jìn)一步加速了這些自動(dòng)化、智能化趨勢。傳統的機器視覺(jué)行業(yè)也在悄悄變化, 這些都離不開(kāi)圖像傳感器這雙眼睛。安森美半導體是智能感知的半導體領(lǐng)袖,尤其在工業(yè)機器視覺(jué)全球稱(chēng)冠,在邊緣AI市場(chǎng)也遙遙領(lǐng)先,擁有寬廣的成像方案陣容及先進(jìn)的成像技術(shù),滿(mǎn)足不同應用需求。
工業(yè)成像應用如何賦能快速、準確的決策
有一些常見(jiàn)的工業(yè)應用需求,如測量物體的尺寸或確定液體的液位,定位或引導時(shí)為機器人提供“眼睛”以確定在哪里抓取物體,計數或檢驗時(shí)進(jìn)行數量統計或判斷包裝是否完整,解碼或識別時(shí)要能讀取條形碼或進(jìn)行光學(xué)字符識別,等等。設計人員需要根據應用需求考慮和優(yōu)化不同的成像參數:分辨率直接與圖像傳感器上可用的像素數量有關(guān),區分場(chǎng)景中的單個(gè)被測物特征。高圖像質(zhì)量對于消除錯誤或不準確的結果至關(guān)重要。高幀率有利于捕捉高速運動(dòng)的物體和軌跡,并能及時(shí)解決問(wèn)題。
此外,整個(gè)系統的成本是將所有這些參數結合在一起的關(guān)鍵因素,也須加以考慮。 如果僅通過(guò)增加像素來(lái)提高分辨率,就會(huì )產(chǎn)生更大的圖像傳感器,成本更高,但也需要更昂貴的鏡頭。如果通過(guò)減少像素大小來(lái)提高分辨率,傳感器和鏡頭成本的增加可能會(huì )減少,但這也可能會(huì )影響圖像質(zhì)量。如果分辨率和幀速率高于給定應用所需要的,那么應用的數據帶寬需求(和基礎設施成本)就會(huì )高于其他情況。
因此,關(guān)鍵是以智能方式提高整體成像性能,以繼續滿(mǎn)足這些應用日益增長(cháng)的需求。
成像技術(shù):高速率,短曝光
工廠(chǎng)的視覺(jué)檢測基本都是對應高速移動(dòng)的物體,傳送帶的速度特別快,那么采用高幀率、短曝光控制以防止運動(dòng)模糊,才能利用AI算法實(shí)現正確的智能判斷和快速決策。
成像技術(shù):全局快門(mén)
因為卷簾快門(mén)內部沒(méi)有可以存儲電荷的存儲節點(diǎn),每一行曝光結束需要把這一行的數據盡快讀出再開(kāi)始下一行的曝光,那么當物體在快速運動(dòng),圖像整幀自上而下不同的時(shí)間曝光方式就會(huì )使圖像產(chǎn)生空間上的失真變形,而全局快門(mén)整幀完全同一時(shí)間曝光,捕獲的所有像素正確還原了運動(dòng)物體的真實(shí)樣子,就不會(huì )產(chǎn)生扭曲。
全局快門(mén)圖像傳感器捕獲圖像并以逐像素的方式將捕獲到的數據存儲在存儲節點(diǎn)上。在非常明亮的光線(xiàn)條件下,保護存儲節點(diǎn)免受環(huán)境光線(xiàn)破壞數據是至關(guān)重要的,同時(shí)數據還要保存在存儲節點(diǎn)上。衡量該節點(diǎn)的保護情況的一種方法稱(chēng)為全局快門(mén)效率(GSE)。較差的GSE會(huì )導致圖像中的重影效應。這種重影效應會(huì )導致機器視覺(jué)算法的性能問(wèn)題。安森美半導體的全局快門(mén)圖像傳感器提供業(yè)界最佳的GSE。
成像技術(shù):分辨率
平板檢測是整個(gè)工業(yè)機器視覺(jué)行業(yè)中,對圖像傳感器最有挑戰性的應用。它從1 K、2 K、4 K一直到8 K,像素在逐漸擴大。檢測大致分兩種:一種是暗檢測,上電前主要檢測一些指紋、劃痕和其他物理上的問(wèn)題;另外就是上電以后,特別是在OLED,加上最新的AMOLED(Active Matrix OLED)。LCD是有一個(gè)亮板在后面作為發(fā)光源,而OLED,特別是AMOLED,它的每個(gè)像素都是一個(gè)單獨發(fā)光源。像素和像素之間發(fā)光的強度和色彩的均勻度都要能夠很準確地偵測出來(lái),這就對圖像傳感器的要求非常高。過(guò)去檢測LCD面板上的1顆像素,對應需要9個(gè)像素(3×3),OLED則對應可能需要16個(gè)像素(4×4),甚至25個(gè)(5×5)像素。所以對圖像傳感器的分辨率要求越來(lái)越高,并要求檢查相機提供非常高的圖像質(zhì)量和高均勻性——以確保相機中的質(zhì)量問(wèn)題不會(huì )被誤解為顯示中的產(chǎn)品缺陷。
對印刷電路板的檢查也通常需要高分辨率的圖像傳感器,以確認電路板組件(集成電路、電容、電阻等)已經(jīng)正確地放置并焊接到位。檢查電路板的速度是分辨率和幀率的結合——圖像捕獲的尺寸越大,一次可以檢查的電路板越多;圖像捕獲的速度越快,檢測的效率就越高。
使用安森美半導體的XGS 45000可捕獲一個(gè)更大的圖像:(超過(guò)8000像素寬)幾乎每秒1900像素的數據率、效率超過(guò)之前使用方案的3倍。這種高分辨率和高速的結合使這種類(lèi)型的檢測應用能夠更快、更有效地執行,提高制造過(guò)程中的生產(chǎn)率。
又如廣播/監控應用,結合了許多不同性能向量,需要高分辨率、高帶寬和高圖像質(zhì)量,且對分辨率的需求在持續增長(cháng),從高清到4 k,再到8 k。安森美半導體的XGS 45000,實(shí)際有比8 K 更高的分辨率,可以以60 fps的速度提供12 bit的數據輸出,清晰拍攝輕微的動(dòng)作。值得一提的是,東京奧林匹克的會(huì )場(chǎng)將會(huì )用到采用XGS 45000的相機。
成像技術(shù):圖像比例
并不是所有的應用都需要高分辨率,一些機器視覺(jué)應用也有特定的分辨率需求。與傳統的由顯示標準(16:9或4:3)驅動(dòng)的RGB觀(guān)看應用程序不同,許多機器人和機器視覺(jué)方案可通過(guò)使用不同的分辨率進(jìn)行優(yōu)化。如安森美半導體的200萬(wàn)像素AR0234在X方向給出了更優(yōu)的條形碼方案的額外像素。在XGS系列圖像傳感器中,800萬(wàn)像素、900萬(wàn)像素、1200萬(wàn)像素分別提供了2:1、1:1、4:3的圖像比例,XGS的3000萬(wàn)像素、32000萬(wàn)像素分別提供了1:1和4:3的圖像比例,1:1可用在半導體檢測,而4:3可用在屏檢。
成像新需求:立體視覺(jué)
近兩年來(lái)很多應用增加了對深度信息的需求,以前2D的成像信息開(kāi)始往3D立體視覺(jué)推進(jìn),雙目相機、結合結構光的相機是目前比較常見(jiàn)的3D應用方案。安森美半導體的PYTHON系列圖像傳感器產(chǎn)品常會(huì )用在這些方案里。另外還有采用飛行時(shí)間(TOF)、Super Depth pixel 和 雷達的3D方案。安森美半導體的直接飛行時(shí)間(DTOF)激光雷達產(chǎn)品有單點(diǎn)的硅光電倍增管(SIPM),在醫療、工業(yè)、汽車(chē)都有應用,還有1×12或1×16的陣列,下一代的激光雷達都會(huì )用到這樣的產(chǎn)品。最新開(kāi)發(fā)出來(lái)的400×100 單光子雪崩二極管(SPAD)面陣,已經(jīng)不只是點(diǎn)云了,已經(jīng)和圖像傳感器差不多了,可以實(shí)現有深度信息的圖像。
下面介紹幾款安森美半導體的成像方案:
工業(yè)級全局快門(mén)方案:XGS系列
XGS是安森美半導體最新一代的工業(yè)級全局快門(mén)圖像傳感器,用了最新的3.2 um 像素工藝,圖像質(zhì)量好,噪聲小,一致性好,高幀率,低功耗,寬工作溫度,并且極具性?xún)r(jià)比優(yōu)勢,可以用在多種工業(yè)應用上。它是一個(gè)系列化的家族產(chǎn)品X-CLASS平臺,從200萬(wàn)像素到4500萬(wàn)像素,用兩套硬件電路板就可以兼容總共11個(gè)分辨率,其中200萬(wàn)像素-1600萬(wàn)像素可以輕松放進(jìn)29 mm*29 mm的相機平臺,2000萬(wàn)像素-4500萬(wàn)像素 做到引腳兼容(pin to pin),客戶(hù)設計一個(gè)硬件平臺可以根據具體應用需求選擇相應的分辨率傳感器。攝像機制造商可充分利用現有的零件庫存并加快新攝像機設計的面市時(shí)間。這一代產(chǎn)品將會(huì )顛覆目前市場(chǎng)競爭格局,為用戶(hù)提供了非常有吸引力的選擇。特別地,XGS 45000用于分辨率要求高的、需要高速數據捕獲和傳輸的機器視覺(jué)和工業(yè)成像應用,XGS 12000則是具性?xún)r(jià)比的選擇,能以90 fps捕獲清晰、高分辨率圖像。
圖1:XGS 45000
經(jīng)濟型全局快門(mén)方案:AR0234
AR0234的200萬(wàn)像素分辨率、120幀速率及光學(xué)尺寸適用于大部分傳統的工業(yè)檢測、自主移動(dòng)機器人、工業(yè)掃碼、雙目深度測量等。安森美半導體還使用AR0234搭配系統單芯片(SOC) 圖像信號處理器AP1302做了相應的方案,幫助客戶(hù)加快開(kāi)發(fā)。
圖2:AR0234
人臉識別付款應用: AR0230 HDR
無(wú)接觸的通過(guò)飛機場(chǎng)、火車(chē)站、高鐵站等閘口的場(chǎng)景將越來(lái)越普遍。AR0230是業(yè)界唯一一個(gè)200萬(wàn)像素、芯片內帶寬動(dòng)態(tài)合成功能的圖像傳感器。寬動(dòng)態(tài)對無(wú)接觸系統非常重要。而AR0230能提供很好的圖像質(zhì)量,支持從黑暗的夜晚到明亮的陽(yáng)光等各種照明條件,進(jìn)而提高人工智能的判斷精度。
背照式卷簾快門(mén):AR0521
AR0521能以60 fps 捕獲 500萬(wàn)像素圖像,且安森美半導體還提供近紅外增強的版本。500萬(wàn)像素的分辨率適用于安防、工業(yè)、監控以及邊緣AI等各種應用。如安森美半導體在Vision China 2021展出的使用AR0521的熱能儀參考設計,用于非接觸式甄別攝像頭前經(jīng)過(guò)的人是否發(fā)熱,是否戴口罩,有助于排查疫情病例,減少病毒傳播。
簡(jiǎn)化系統設計的平臺:DevSuite
為易于客戶(hù)評估,安森美半導體提供一個(gè)基于PC的評估系統DevSuite。設計人員可將DevWare軟件加載到個(gè)人電腦上,通過(guò)一個(gè)標準的USB接口連接到所選用的傳感器硬件上。通過(guò)這一平臺,只需要更換傳感器主板的硬件來(lái)評估傳感器的性能。
圖3:DevSuite
圖像傳感器在工業(yè)中的應用案例
1. XGS系列用于智能交通系統、機器視覺(jué)和工業(yè)
JAI A/S是工業(yè)生產(chǎn)檢測相機方案的領(lǐng)先供應商之一,已將XGS 45000集成到其新的4500萬(wàn)像素工業(yè)相機中。SP-45000M-CXP4提供4470萬(wàn)像素黑白分辨率,每秒52幀,領(lǐng)先市場(chǎng),并支持全8 K分辨率,每秒超過(guò)60幀。
全球領(lǐng)先的工業(yè)和零售應用、醫療設備和交通系統數碼相機制造商巴斯勒(Basler)也把XGS傳感器集成到他們基于CoaXPress 2.0機器視覺(jué)標準的boost平臺中,稱(chēng)XGS系列特別適合于新設計以及現有高分辨率視覺(jué)系統中從CCD到CMOS的過(guò)渡。
數字成像技術(shù)的全球領(lǐng)袖之一Teledyne Imaging也看重XGS傳感器技術(shù)的性能、更高的分辨率和質(zhì)量,在其GenieTM Nano-5G M/C8100區域掃描相機中采用了XGS 45000、XGS 30000和XGS 20000。
2. 毅力號漫游車(chē)在火星著(zhù)陸
毅力號是首個(gè)在降落過(guò)程中主動(dòng)完成導航的任務(wù),這是火星任務(wù)技術(shù)的一項巨大進(jìn)步,由基于圖像傳感器的攝像機賦能。毅力號共有23只攝像機,有6只采用了安森美半導體的圖像傳感器,包括130萬(wàn)像素、1/2 英寸 CMOS圖像傳感器Python 1300和500萬(wàn)像素、1英寸圖像傳感器Python 5000。
總結
未來(lái)的圖像傳感器依然會(huì )追求高分辨率,高畫(huà)質(zhì),高性?xún)r(jià)比。作為機器視覺(jué)的領(lǐng)袖,安森美半導體將不斷推陳出新,以3D成像、高光譜和多光譜成像為未來(lái)的方向,賦能機器超越人眼的視覺(jué)。