最近看到新聞，商業(yè)巨頭亞馬遜2016年推出圖像識別AI系統“Rekognition”，還積極向美國警方推銷(xiāo)以幫助其辦案。不過(guò)近日，“Rekognition”卻鬧了一個(gè)大烏龍：28名美國國會(huì )議員被它識別成了罪犯。

這一錯誤也讓發(fā)起這項測試、反對警方使用“Rekognition”的美國公民自由聯(lián)盟（ACLU）抓到把柄，他們表示，測試結果引起了民眾對警方使用該系統的嚴重擔憂(yōu)。

雖然人工智能應用近幾年被吹得熱熱鬧鬧，場(chǎng)景也令人振奮，但真要付諸應用，人們仍然對這些系統信任度存在疑問(wèn)。那么，怎么才能讓這些系統具有高可信性呢？這就要深入到每一個(gè)具體系統，進(jìn)行科學(xué)分析。本月IEEE Spectrum發(fā)表一篇文章Making Medical AI Trustworthy具有一定參考價(jià)值。

醫藥工業(yè)領(lǐng)域是人工智能系統應用的理想之地。臨床檢驗結果、醫患之間的溝通都被處理成為電子病歷。AI系統可以摘要這些數據，從而給出性?xún)r(jià)比較高的治療方案?，F在許多企業(yè)都在研發(fā)這種系統，但真正進(jìn)入醫院應用的卻不多。

為什么會(huì )這樣？匹茲堡大學(xué)的醫學(xué)研究專(zhuān)家和物理學(xué)家Shinjini Kunda說(shuō)：?jiǎn)?wèn)題在于信任，雖然你有可行的技術(shù)，但怎么能獲取人們的信任并使用呢？

許多醫用AI系統是個(gè)黑盒子，輸入數據后得出答案。醫生們搞不懂它為什么要這么處理。所以，Kunda研究AI對醫學(xué)圖像的分析與解釋。她最近用AI分析膝蓋核磁共振圖像（MRI），分析3年內會(huì )發(fā)展為骨關(guān)節炎的可能性，使用“生長(cháng)模型化”技術(shù)，用AI產(chǎn)生一個(gè)未來(lái)確定會(huì )發(fā)病的新圖像，并顯示支持其診斷的模式。

而人眼無(wú)法根據MRI圖像判斷患者3年內是否會(huì )得關(guān)節炎，但 AI程序則可以基于MRI掃描軟骨圖片的微妙變化，得出患者3年內得關(guān)節炎的概率。這些變化可能是醫生們沒(méi)有注意到或者無(wú)法觀(guān)察到的。

另外，微軟研究人員Rich Caruana十年來(lái)一直致力于一項研究，就是讓機器學(xué)習模型不僅是智能的，而且是可以理解的。他用AI通過(guò)醫院電子病歷去預計患者的結果。他發(fā)現，即使是高度精確的模型也隱藏嚴重的缺陷。

他曾經(jīng)對肺癌患者進(jìn)行數據統計，訓練機器學(xué)習模型區分入院的高?；颊吆涂稍诩一謴偷牡臀；颊?。該模型發(fā)現，心臟病患者較少死于肺炎，可作為低危人群。但實(shí)際上是，被診斷有肺炎的心臟病患者并不是低危人群，往往他們有呼吸困難時(shí)，就被及時(shí)送進(jìn)急診進(jìn)行治療。

所以，如果單單從結果看，機器學(xué)習模型發(fā)現的這種關(guān)聯(lián)性是正確的。但假如我們用這種關(guān)聯(lián)性去進(jìn)行衛生保健，就可能讓某些患者喪命。鑒于此，由于這些麻煩的發(fā)現，Rich Caruana正在研究清楚顯示變量相關(guān)的機器學(xué)習模型，讓它判斷模型不但在統計意義上精確，而且能在醫學(xué)上可用。

由此看來(lái)，人工智能應用需要應用領(lǐng)域專(zhuān)家深入分析、嚴格的測試過(guò)程、有效的容錯技術(shù)，才能保證其應用系統的安全可靠，人們才能放心使用。

摘自《中國科學(xué)報》