摘要：伴隨著(zhù)工業(yè)機器人的飛速發(fā)展，輔佐工業(yè)機器人更快、更準、更靈活地工作的衍生產(chǎn)業(yè)也在悄然崛起。本文針對為工業(yè)機器人賦予“慧眼”的機器視覺(jué)，著(zhù)重介紹了二者結合在機器人定位引導類(lèi)項目中的應用。內容包括定位引導項目的分類(lèi)與標定策略，以及通過(guò)軟硬件設計與實(shí)際應用中的一些案例，闡明機器視覺(jué)在該類(lèi)重要應用中為機器人工業(yè)自動(dòng)化帶來(lái)的迅猛提升。

關(guān)鍵詞：機器視覺(jué)；定位引導；標定

Abstract: Along with the rapid development of industrial robot, some derivative industries, which can help the industrial robots work faster, more accurate and more flexible, are also growing. Based upon machine vision, this paper focuses on the application of the combination of both machine vision and industrial robot in the area of locating and guiding. Specifically, the classification of locating and guiding as well as the calibration strategy are included. In addition, through some examples of software design, hardware design and practical applications, it is also clarified how the machine vision promotes the automation of robotics industry.

Key words: Machine Vision; Guide; Calibration

1　引言

據工業(yè)和信息化部2018年9月27日消息，2018年1月至8月，中國工業(yè)機器人累計產(chǎn)量達到101,717臺（套），同比增長(cháng)19.4%。伴隨于此，輔佐機器人進(jìn)行更高精度、更強適應性自動(dòng)化生產(chǎn)的機器視覺(jué)技術(shù)，在近幾年也得到突飛猛進(jìn)的發(fā)展。工業(yè)機器人與機器視覺(jué)技術(shù)不僅僅局限在工業(yè)生產(chǎn)場(chǎng)景中結合使用，隨著(zhù)經(jīng)驗的積累與技術(shù)瓶頸的突破，二者還將扮演更加重要的角色。

2　機器視覺(jué)與機器人的完美融合

對于傳統意義上的工業(yè)自動(dòng)化，工業(yè)機器人在控制系統的指揮下，重復特定的動(dòng)作流程完成加工。換言之，產(chǎn)品加工精度的保障依賴(lài)于控制系統的穩定性與整個(gè)機械系統的精度。但是加工過(guò)程中隨機誤差的產(chǎn)生在所難免，諸如不可預測的震動(dòng)、產(chǎn)品在工位間傳送發(fā)生的偏移等，此外機械結構隨著(zhù)長(cháng)期使用、精度下降帶來(lái)的系統誤差還會(huì )導致產(chǎn)品批量報廢。而簡(jiǎn)單的傳感器對于這些誤差的規避又顯得捉襟見(jiàn)肘。加上現今產(chǎn)品序列紛繁復雜，市場(chǎng)對于柔性生產(chǎn)的要求與日俱增，工業(yè)機器人想要在“失明”的情況下完成這一切就顯得尤為困難。

而當工業(yè)機器人擁有了機器視覺(jué)賦予的“慧眼”，上述問(wèn)題便迎刃而解。擁有“慧眼”的工業(yè)機器人在看到目標之后，經(jīng)準確分析定位后引導動(dòng)作，避免了產(chǎn)品傳送中的偏差，增強了不同產(chǎn)品的生產(chǎn)適應性，同時(shí)大幅提升產(chǎn)品的加工精度。此外，機器視覺(jué)還能檢測成品的精度，免除人工抽檢帶來(lái)的低效、誤差與漏檢。隨著(zhù)智能制造的深入，具備視覺(jué)感知能力的智能設備益發(fā)盛行，機器視覺(jué)作為前端感知的核心部件，市場(chǎng)需求旺盛。?？禉C器人起步于?？低暀C器視覺(jué)業(yè)務(wù)部，依托?？低曉趫D像傳感、人工智能、大數據分析等領(lǐng)域多年的技術(shù)積累，已發(fā)展成為面向全球的移動(dòng)機器人、機器視覺(jué)產(chǎn)品和算法平臺提供商，公司堅持自主研發(fā)，持續推動(dòng)智能制造進(jìn)程。

3　機器人定位引導分類(lèi)

在機器視覺(jué)與機器人相結合的應用場(chǎng)景中，機器人引導定位應用最為普遍。關(guān)于此類(lèi)場(chǎng)景，?？禉C器人與合作伙伴共同實(shí)施了大量成功案例與成熟方案。機器人定位引導可大致分為3種模式，并進(jìn)而細分為六類(lèi)：

圖1 固定相機

圖1所示的三種工作方式稱(chēng)為固定相機模式，即相機安裝在設備機架上，不隨機器人的運動(dòng)而運動(dòng)，自左至右又依次分為抓取工況、抓取偏移糾正工況和放置工況。其中抓取工況，相機對傳送過(guò)來(lái)的來(lái)料進(jìn)行拍攝和粗定位，將定位信息傳輸給機器人以便機器人根據定位信息抓取來(lái)料，如此可降低對工位間傳送機構準確性的要求，確保抓取的穩定性；抓取偏移補正工況可通過(guò)設置在機械臂另一側的下相機對工件進(jìn)行二次精準定位，極大程度上消除來(lái)料偏差，確保能有針對性地對每個(gè)來(lái)料進(jìn)行加工；放置工況內容涵蓋廣泛，可以是簡(jiǎn)單的放置，亦可以是貼合、安裝等，即使用相機定位最終的目標位，結合前述兩種工況，真正做到針對每個(gè)工件有的放矢。

圖2 運動(dòng)相機

圖2所示為兩種運動(dòng)相機模式，即相機安裝于機械臂頂端隨機械臂一同運動(dòng)。雖不同于上述固定相機模式，但固定相機模式和運動(dòng)相機模式在功能上殊途同歸，都可實(shí)現定位抓取與引導放置。兩者在保證功能的同時(shí)，能夠提供更多的安裝可能性以應對不同的環(huán)境與硬件條件限制。

圖3 其他類(lèi)型

針對不同的設備安裝場(chǎng)景，為提升硬件安裝的適應性，固定相機模式與運動(dòng)相機模式也可結合使用，如圖3所示。

4　視覺(jué)系統設計

結合不同場(chǎng)景，應用各類(lèi)型硬件的選型搭配，保障機器視覺(jué)技術(shù)與機器人有效配合的前提是系統整體的合理設計與安裝布置。

海螺8是?？低暪S(chǎng)生產(chǎn)的一款攝像頭，其裝配需完成前蓋定位、泡棉上料、透鏡定位安裝、燈板定位安裝鎖附、前端組件定位安裝鎖附等一系列動(dòng)作，整個(gè)過(guò)程應用了大量機器人與機器視覺(jué)聯(lián)合定位引導。如圖4左所示的燈板鎖附工位負責燈板鎖附過(guò)程中螺釘的來(lái)料定位與引導安裝，由于設備安裝空間的局限性，項目中選擇了空間需求更小、工位更加節省、安裝更靈活的活動(dòng)相機方式。?？低曌灾餮邪l(fā)生產(chǎn)的600萬(wàn)像素面陣相機配合25mm焦距的500萬(wàn)鏡頭，連同環(huán)形LED光源安裝在機械臂末端，隨同機械臂一同運動(dòng)。

圖4 海螺8視覺(jué)系統與成像效果

如圖4左所示燈板定位螺釘安裝工位中，螺孔精度為±0.05mm，這對于視覺(jué)與機器人配合的精度提出了較高要求。相機連同機械臂在取料位定位螺釘后，機械臂前端的吸鐵石準確吸取螺釘并運動(dòng)至安裝位；相機在安裝位再次拍照定位螺孔后，螺釘被精確旋緊。

單個(gè)螺釘從定位取料到完成安裝整個(gè)過(guò)程僅耗時(shí)不到5秒，且通過(guò)視覺(jué)定位極大程度提高一次性安裝成功的穩定性，避免人工安裝時(shí)瞄準螺孔、效率波動(dòng)帶來(lái)的時(shí)間耗費，人力成本也得到降低。視覺(jué)定位的應用，在降低成本的同時(shí)優(yōu)化加工工藝、提升產(chǎn)能。

基于合理的硬件選型與空間配置，最終得到穩定優(yōu)秀的畫(huà)面質(zhì)量（如圖4右所示）。借助?？禉C器人自主研發(fā)的工業(yè)相機客戶(hù)端MVS和?？低暀C器視覺(jué)VM算法平臺，使用模板匹配、圓查找等工具對圖像中的螺孔等特征進(jìn)行精準分析定位。

5　標定——精度保障的重要環(huán)節

在設備最終投入使用前，還會(huì )經(jīng)歷一個(gè)重要環(huán)節——標定，這也是視覺(jué)與機器人之間的橋梁。

?？低暀C器視覺(jué)VM算法平臺中包含成熟的標定算法模塊，能在確保標定流程開(kāi)發(fā)高效性的基礎上，讓工程師使用完善的標定算法模塊有針對性地為自己量身定制標定程序，以此實(shí)現標定流程的簡(jiǎn)潔性、準確性和復用性。
在合作伙伴利用?？低暀C器視覺(jué)VM算法平臺開(kāi)發(fā)的某一視覺(jué)項目中，設備需要對三個(gè)工位上的三臺相機分別進(jìn)行標定。在精度要求最高、空間條件最好的二工位，即抓取偏移補正工位，固定安裝于機架的下相機完成了對帶有角點(diǎn)（有方向性）的點(diǎn)陣標定板的11個(gè)位姿的采圖，并利用?？低暀C器視覺(jué)VM算法平臺中多點(diǎn)標定模塊快速實(shí)現二工位完整的11點(diǎn)標定。一、三工位的相機只需要對標定板進(jìn)行一次圖像采集，通過(guò)對比相同特征在不同采圖中的坐標，得到不同像素級別的相機之間尺度和角度的變換關(guān)系，即通過(guò)坐標映射建立與二工位之間的聯(lián)系，完成一、三工位的標定。

圖5 N點(diǎn)標定流程

整個(gè)標定流程只需采集13張圖片，在不影響精度的情況下，利用坐標映射極大程度地精簡(jiǎn)了標定流程，節約了開(kāi)發(fā)和時(shí)間成本。至于標定流程本身，如圖5，基于已有的模塊，只需根據機器人的實(shí)際動(dòng)作在N點(diǎn)標定模塊中設定N點(diǎn)步進(jìn)的距離d和旋轉角度α并選擇圖像中進(jìn)行定位的特征，?？低暀C器視覺(jué)VM算法平臺會(huì )自動(dòng)按照圖示位姿順序完成標定矩陣的計算，供最終圖像坐標向物理坐標轉換時(shí)使用。其中特征點(diǎn)可以是諸如圖5實(shí)例中的圓、角點(diǎn)線(xiàn)段等的任何特征，這也消除了標定板選用的局限性。而旋轉角α的引入解決了機械臂末端旋轉軸與執行元件的不共軸問(wèn)題。在此基礎上，完成一、三工位的坐標映射乃至更多定制的標定流程，整個(gè)過(guò)程的開(kāi)發(fā)周期也會(huì )大幅縮短。

6　軟件配合

視覺(jué)系統在軟件層面完成的首要任務(wù)是與設備動(dòng)作之間的正常通訊，?？禉C器人聯(lián)手合作伙伴，在眾多項目的實(shí)際操作中完成了與ABB、EPSON、FANUC等諸多工業(yè)機器人的成功對接。其次，任何系統的開(kāi)發(fā)最終都會(huì )落實(shí)在界面的操作，對于操作員來(lái)說(shuō)，操作界面的友好度同樣是確保設備正常、高效使用的重要因素。

針對不同客戶(hù)自身的應用案例需求，?？低暀C器視覺(jué)VM算法平臺提供多樣性的通訊模塊以應對不同的通訊協(xié)議。同樣，?？低暀C器視覺(jué)VM算法平臺豐富的SDK也為工程師提供了獨立自主開(kāi)發(fā)軟件的可能性，以契合不同的應用場(chǎng)景和客戶(hù)需求。圖6是合作伙伴在一個(gè)機器人對位貼合項目中調用?？低暀C器視覺(jué)VM算法平臺SDK編寫(xiě)的軟件界面。

圖6 標定過(guò)程采圖

界面主體顯示了相機的實(shí)時(shí)采圖，右側功能頁(yè)可設置包括光源、相機、視覺(jué)方案在內的多種選項，并且隨時(shí)可以根據需求的調整進(jìn)行增減。

7　結語(yǔ)

人工智能時(shí)代，工業(yè)應用對機器人的訴求早已突破既定重復的簡(jiǎn)單組裝工作，面對當下對“延展性”的更高要求，機器視覺(jué)正在逐漸拓寬機器人的應用范圍。

本文立足于機器視覺(jué)與工業(yè)機器人的結合，著(zhù)重介紹了二者在定位引導類(lèi)項目中的應用，并通過(guò)硬件系統搭建、標定流程設計、軟件界面設計的實(shí)際案例，闡釋機器視覺(jué)在此類(lèi)項目開(kāi)發(fā)中的難點(diǎn)與優(yōu)勢，以期為二者結合在多領(lǐng)域、深層次的應用提供更多寶貴經(jīng)驗。

摘自《自動(dòng)化博覽》2018年12月刊