今日頭條
官方微信
官方抖音
資訊頻道 如何讓計算機認識人、認識字、認識圖,而且不會(huì )認錯,這個(gè)中華文化在現代新技術(shù)條件下傳承發(fā)展的難關(guān),被清華大學(xué)丁曉青教授帶領(lǐng)的智能圖文信息處理研究室攻克了。他們賦予了計算機與人相似的“識圖認字”能力與“視覺(jué)感知”功能,成為世界這一領(lǐng)域的領(lǐng)跑者。
攀登智能文字識別之巔
2008年,有一套大型出版物問(wèn)世:總計19億漢字,全套132卷,這就是《人民日報圖文電子版縮印本(1946—2006)》。它的文字量遠遠超過(guò)約8.9億字的《四庫全書(shū)》,而電子版卻凝縮在19張DVD光盤(pán)中。這是由青蘋(píng)果數據中心應用丁曉青教授自主研發(fā)的“THOCR基于識別的原文重現系統”歷時(shí)5年制作完成的。
丁曉青拿出其中一本告訴記者:“它是經(jīng)版面分析、識別、理解,最后自動(dòng)精確重構為原式原樣的標準格式電子出版物,實(shí)現了文本和版面數據的雙平臺閱讀、檢索、下載和打印功能?！鼻嗵O(píng)果數據中心在清華大學(xué)文字識別技術(shù)的支持下,已經(jīng)完成幾百種報紙、文獻、雜志的數字化,覆蓋中日韓文,達3500億萬(wàn)字。
上世紀80年代,漢字能否進(jìn)入計算機成為關(guān)乎中華文化傳承的大問(wèn)題?！爱敃r(shí)形勢非常嚴峻,如果不能實(shí)現這個(gè)突破,就只能使用拼音。我們中華民族的五千年文明,難道要在計算機時(shí)代敗下陣來(lái)?”責任心的驅使,讓丁曉青走進(jìn)了文字識別這一領(lǐng)域,一干就是20多年。
漢文字識別之難,莫過(guò)于讓計算機認字,而且保證它不會(huì )認錯字。當時(shí)的研究者往往采用提取漢字筆劃的結構識別方法,但是,筆劃提取和結構描述十分困難,有限筆劃和特征的漢字描述,無(wú)法獲得必要的識別信息量。字型一旦出現細微差別,固執的計算機就會(huì )翻臉不認“字”。
在經(jīng)歷了拆筆劃識別算法等嘗試后,丁曉青獨辟蹊徑,提出模式識別信息熵理論,最早成功解決了多字體印刷漢字識別這一難題。簡(jiǎn)單地說(shuō),就是讓計算機通過(guò)圖像來(lái)進(jìn)行“全局性”認字,就和我們認字往往憑借視覺(jué)的感知一樣,讓計算機也懂得通過(guò)對文字整體結構的判斷來(lái)認字。多字體印刷漢字識別系統獲1992年國家科技進(jìn)步獎三等獎。
隨后,他們研發(fā)了高性能的綜合集成(印刷、脫機手寫(xiě)和聯(lián)機手寫(xiě))漢字識別系統,獲1998年國家科技進(jìn)步二等獎,居于國際領(lǐng)先水平。難度最大的手寫(xiě)文檔——如手寫(xiě)報表、支票、信封地址,以及數碼相機拍攝的文字,都可以被計算機成功識別。高性能東方文字(中日韓)文檔智能全信息數字化系統,獲2003年國家科技進(jìn)步二等獎,在國際競標中奪標,授權美國微軟公司推廣使用。
丁曉青總是說(shuō),科研成果不應束之高閣,而應在實(shí)際應用中大顯身手。自1992年以來(lái),他們的研究成果迅速產(chǎn)業(yè)化。TH-OCR系列軟件產(chǎn)品已在自主版權軟件出口、增值稅發(fā)票防偽識別、電子出版物制作上發(fā)揮著(zhù)重要的作用。其中,防偽稅控識別系統應用于全國數萬(wàn)稅務(wù)局、50萬(wàn)企業(yè)用戶(hù),有效防止了稅收流失。
神奇的人臉識別認證
在丁曉青的工作室,她展示了主動(dòng)視頻人臉檢測—跟蹤—識別監控系統。當攝像頭對準記者的時(shí)候,屏幕上會(huì )出現“stranger”(陌生人)的提示;當對準丁教授時(shí),屏幕上出現她的名字和基本信息。
人臉識別系統是這個(gè)團隊多年的心血結晶。它能適應人臉姿態(tài)、表情、飾物變化,包括人臉檢測、眼睛定位、姿態(tài)估計、活體檢測、三維人臉識別和人體跟蹤。2005年6月,集成了丁曉青研發(fā)的TH-FaceID人臉驗證系統的“旅客自助查驗通道”在世界第一大陸路口岸深圳羅湖口岸投入使用。目前,深圳、珠海、北京、上海、廣州等地的邊檢口岸共已開(kāi)通了400多條自助通道,驗放旅客超過(guò)2.5億人次,通過(guò)率98%,通關(guān)時(shí)間小于5秒/人。此舉節省了大量的人力物力,實(shí)現了旅客通關(guān)的自動(dòng)化、電子化和人性化,是世界人臉識別技術(shù)大規模成功應用的范例。
目前,我國在人臉識別領(lǐng)域的研究已達到了國際領(lǐng)先水平。在2004年國際模式識別會(huì )議組織的國際高水平人臉驗證國際評測中,清華大學(xué)研發(fā)的TH-FaceID,以全部三項評測均第一,測試誤差低于第二50%的極大優(yōu)勢,獲“全面性能最優(yōu)成就”獎。他們研制的人臉識別系統參加國際工業(yè)界最權威的人臉識別測試FRVT2006,也取得了國際領(lǐng)先的成績(jì),是全部性能優(yōu)于人眼認證的領(lǐng)先算法。
說(shuō)到人臉識別技術(shù)的應用,丁曉青說(shuō):“凡是需要身份認證的地方都可以利用該技術(shù)。人臉識別技術(shù)可以代替用賬號、密碼登錄計算機的方式,用戶(hù)只需在開(kāi)機后看一下攝像頭,經(jīng)識別認證就能成功登錄了;過(guò)海關(guān)不再需要專(zhuān)人來(lái)查驗護照,只要刷一下卡,看一下攝像頭就可以了;另外還可以利用人臉識別技術(shù)查身份證的真偽、嫌疑犯查詢(xún)、公共場(chǎng)所敏感人物監控?！?
人臉識別遠程監控報警系統等已經(jīng)成功應用于北京、天津、石家莊等地鐵路公安系統、ATM機監控系統、北京和西藏等機場(chǎng)、安全系統、技防系統以及2010年上海世博會(huì )籌備工作,即便被識別者采用了戴眼鏡、貼胡須等易容手段,系統也能準確地判定識別。
首創(chuàng )多民族文字識別系統
我國的少數民族文字字形不規則、連筆書(shū)寫(xiě),文檔的切分識別遇到極大困難。據丁曉青介紹,少數民族文字信息化的困難主要集中在利用智能化模式識別技術(shù)解決文字和文檔自動(dòng)計算機輸入問(wèn)題。讓電腦認識少數民族文字,通過(guò)掃描儀把大量的蒙文、藏文、維文等民族文字輸入電腦,變成可以任意編輯、多次復制和能在網(wǎng)絡(luò )上快速傳播的電子文檔,這是少數民族文字實(shí)現信息化的關(guān)鍵。
這有相當大的難度。由于民族文字信息化基礎薄弱,有的民族文字的基本字符集合和字符編碼標準尚不完善,相關(guān)語(yǔ)言資源庫較為匱乏,在收集用于訓練識別器的字符樣本、用于測試的標準實(shí)際文檔樣本庫、以及用于建立語(yǔ)言模型的語(yǔ)料庫、詞典庫方面都要付出更多努力。
歷時(shí)8年,歷盡艱辛。在丁曉青團隊的努力下,計算機終于能夠認出在我們看來(lái)像“天書(shū)”一般的少數民族文字。丁曉青提出的蒙藏維哈柯朝多民族語(yǔ)言的、基于不同字符基元的切分和基元統計識別方法,解決了困難的多民族文檔識別問(wèn)題,實(shí)現了統一支持漢、英、日、韓、阿、蒙、藏、維、哈、柯、朝等主要文字文檔識別綜合系統。他們研制的“統一平臺民族文字(蒙藏維哈柯朝)文檔識別系統”獲2008年“錢(qián)偉長(cháng)中文信息處理科學(xué)技術(shù)獎”一等獎——中文信息處理領(lǐng)域最高科技獎。該系統實(shí)現了將蒙古文等六種少數民族文字的紙質(zhì)出版物轉換成電子出版物,文檔識別綜合集成在統一的平臺系統中,不再依靠人工錄入,印刷文檔的掃描圖像就會(huì )自動(dòng)生成可編輯檢索的電子文檔。
目前,這一系統已在北京、西藏、新疆、內蒙古、甘肅、四川、青海、云南等地推廣應用。它對于促進(jìn)少數民族的文化交流,促進(jìn)我國少數民族地區的信息化建設以及促進(jìn)我國與阿拉伯國家的合作、交流,都具有重要意義。
北京市公安局海淀分局備案號：11010802023656號