2024年3月11日，由中國科學(xué)院自動(dòng)化研究所和中國科學(xué)院香港創(chuàng )新院人工智能與機器人創(chuàng )新中心聯(lián)合研發(fā)的醫療垂直領(lǐng)域的AI多模態(tài)大模型——CARES Copilot 1.0在香港科學(xué)園正式發(fā)布，現已面向香港神經(jīng)外科醫生開(kāi)放使用。

　　中國科學(xué)院香港創(chuàng )新研究院人工智能與機器人創(chuàng )新中心執行主任、中國科學(xué)院自動(dòng)化研究所研究員劉宏斌介紹，CARES Copilot 1.0實(shí)現了對圖像、文本、語(yǔ)音、視頻、MRI、CT、超聲等多模態(tài)手術(shù)數據的深入理解，能夠準確識別和解析如動(dòng)作、影像和生命體征等多種醫療信息。CARES Copilot 1.0結合了大模型的廣泛知識和小模型的專(zhuān)業(yè)精準，可以進(jìn)行高級的圖像和視頻語(yǔ)義提取，同時(shí)利用語(yǔ)言模型進(jìn)行深層次理解，在醫學(xué)多場(chǎng)景多任務(wù)的理解與處理方面取得了顯著(zhù)進(jìn)展，可支持手術(shù)階段識別、器械與解剖結構分割、器械檢測與計數、MRI高分辨率圖像生成等一系列功能。在實(shí)際應用中，CARES Copilot 1.0不僅可為臨床醫生提供手術(shù)階段的詳細分析報告，還能進(jìn)行手術(shù)風(fēng)險與質(zhì)量評估，從而提高醫療服務(wù)水平。

　　此外，CARES Copilot 1.0擁有長(cháng)達100K上下文窗口的理解與高效分析能力，能夠處理超過(guò)3000頁(yè)的復雜手術(shù)教材，對于年輕醫生的培訓和教學(xué)具有極高的實(shí)用性。通過(guò)深度檢索功能，Copilot 1.0能夠快速精確地提取手術(shù)教材、專(zhuān)家指南、醫學(xué)論文等專(zhuān)業(yè)文檔信息，確保所提供答案的高度可信度和可追溯性。經(jīng)過(guò)測試，該大模型能在一兩秒內快速檢索百萬(wàn)級數據，準確率高達95%。

　　香港中文大學(xué)外科學(xué)系神經(jīng)外科組主任、名譽(yù)臨床副教授陳達明醫生，北京協(xié)和醫院神經(jīng)外科主任醫師馮銘教授，首都醫科大學(xué)附屬北京同仁醫院神經(jīng)外科主任康軍教授出席發(fā)布會(huì )。會(huì )上，陳達明醫生與馮銘教授共同現場(chǎng)演示了CARES Copilot 1.0，全面展示了其功能和實(shí)際應用價(jià)值。

　　目前，CARES Copilot 1.0已在多家醫院的不同科室進(jìn)行了實(shí)地測試和優(yōu)化，充分驗證了其作為手術(shù)智能輔助工具全面、先進(jìn)、可靠的基礎功能和關(guān)鍵技術(shù)，下一步將持續推動(dòng)醫療智能化的實(shí)現，為智能健康產(chǎn)業(yè)的進(jìn)步提供強有力的技術(shù)支持。

　　中國科學(xué)院香港創(chuàng )新研究院是中國科學(xué)院在港設立的首個(gè)國家級新型研發(fā)機構。2019年在港正式注冊，下設兩個(gè)創(chuàng )新中心。其中，人工智能與機器人創(chuàng )新中心依托中國科學(xué)院自動(dòng)化研究所建設，圍繞新一代人工智能基礎理論、面向健康的智能技術(shù)、新型人機交互技術(shù)與設備、人工智能開(kāi)放平臺技術(shù)等開(kāi)展國際前沿研究工作。

圖1. 劉宏斌研究員介紹CARES Copilot 1.0

圖2. CARES Copilot 1.0系統界面

圖3. CARES Copilot 1.0在醫院實(shí)地應用

圖4. 馮銘教授、康軍教授、劉宏斌研究員及陳達明醫生（從左至右）合影

來(lái)源：中國科學(xué)院自動(dòng)化研究所