論文建立了世界首個(gè)知識與數據聯(lián)合驅動(dòng)的多物種生命基礎大模型GeneCompass，同時(shí)處理了人類(lèi)和小鼠兩個(gè)物種的轉錄組數據，包含了超過(guò)1.26億個(gè)單細胞并覆蓋3.6萬(wàn)個(gè)基因，融合了啟動(dòng)子序列、基因共表達關(guān)系、基因家族標注和基因調控關(guān)系等四種先驗知識。GeneCompass的參數量超過(guò)1.3億，實(shí)現了對基因表達調控規律的全景式學(xué)習理解，同時(shí)支持細胞狀態(tài)變化預測及多種生命過(guò)程的精準分析，展示了人工智能賦能生命科學(xué)研究的強大能力和巨大潛力。

GeneCompass是國際上首個(gè)融入先驗知識的預訓練基礎大模型，發(fā)展了知識與數據聯(lián)合驅動(dòng)的新范式。GeneCompass采用gene2vec、DNABert等工具將啟動(dòng)子序列、已知基因調控網(wǎng)絡(luò )、基因家族信息和基因共表達關(guān)系等四種生物學(xué)先驗知識進(jìn)行編碼，在單細胞轉錄組的基因ID和表達值基礎上加入人類(lèi)注釋信息編碼，提高了對生物數據間復雜特征關(guān)聯(lián)關(guān)系的理解。通過(guò)訓練整合了不同物種的數據信息及先驗知識，GeneCompass顯著(zhù)提升了多種下游任務(wù)的性能，有望進(jìn)一步提高傳統生物學(xué)研究的效率和精準性，為尚無(wú)法突破的復雜生命科學(xué)難題帶來(lái)新的切入點(diǎn)。

GeneCompass采用基于Transformer的深度學(xué)習架構，通過(guò)擴展傳統的掩碼語(yǔ)言模型Masked Auto Encoder（MAE）方式進(jìn)行預訓練，根據單細胞轉錄組的上下文同時(shí)預測掩碼的基因ID及其表達值，捕獲不同基因之間在不同細胞背景下的長(cháng)程動(dòng)態(tài)關(guān)聯(lián)，通過(guò)多任務(wù)聯(lián)合預訓練形成更加細粒度的生命基礎大模型。預訓練完成后，GeneCompass進(jìn)一步應用于多種下游任務(wù)，對單細胞轉錄組數據進(jìn)行編碼，支撐細胞類(lèi)型標注、基因擾動(dòng)預測、藥物反應預測和基因調控關(guān)系預測等多種任務(wù)。

GeneCompass模型架構

研究人員對人類(lèi)和小鼠同一細胞類(lèi)型（心肌細胞）中同源基因和非同源基因的GeneCompass編碼進(jìn)行了相似性分析，可以看出相較于非同源基因，不同物種的同源基因具有更相似的編碼，同源基因在人類(lèi)和小鼠之間也具有相似的基因調控關(guān)系。

研究人員將GeneCompass編碼后的基因嵌入與跨物種細胞類(lèi)型標注的當前最優(yōu)方法CAME進(jìn)行結合，發(fā)現在多種細胞尤其是視網(wǎng)膜細胞中，GeneCompass能夠顯著(zhù)提升跨物種細胞類(lèi)型標注的精度。這些結果都展示了GeneCompass通過(guò)多物種聯(lián)合預訓練獲得了生命底層的共性規律，增強了基因表征的能力。

在基因擾動(dòng)預測、藥物反應預測、基因調控預測、藥物劑量反應預測、劑量敏感基因預測等多種下游任務(wù)中GeneCompass模型均展現出強大的功能。

綜上所述，作為迄今為止最大規模的、具有知識嵌入的跨物種預訓練生命基礎大模型，GeneCompass可實(shí)現多個(gè)跨物種下游任務(wù)的遷移學(xué)習，并在細胞類(lèi)型注釋、定量基因擾動(dòng)預測、藥物敏感性分析等多個(gè)任務(wù)中取得比現有方法更優(yōu)的性能。這充分展示了基于多物種無(wú)標注大數據預訓練，再利用不同子任務(wù)數據進(jìn)行模型微調的策略?xún)?yōu)勢，有望成為實(shí)現基因-細胞特征相關(guān)聯(lián)的各種生物問(wèn)題分析預測的通用解決方案。

中國科學(xué)院自動(dòng)化所劉國樂(lè )和江潔與合作單位的楊曉東、馮桂海、卜德超、王鵬飛、陳述白、楊沁蒙等為文章共同第一作者。自動(dòng)化所楊戈研究員，劉靜研究員與合作單位李鑫研究員、陳益強研究員、李非研究員、周元春研究員、趙屹研究員為共同通訊作者。