美國谷歌旗下人工智能公司DeepMind開(kāi)發(fā)了一種新的矩陣算法,這是50多年來(lái)的首次進(jìn)步。一系列軟件都依賴(lài)于大規模執行乘法任務(wù),而這一發(fā)現有望將某些計算速度提高20%。相關(guān)論文10月5日發(fā)表于《自然》。
矩陣乘法,即兩個(gè)矩陣之中的數字相乘,在某種程度上幾乎是所有軟件的基本計算任務(wù),尤其是在圖形、人工智能和科學(xué)模擬中。即使這些算法的效率僅提高一點(diǎn),也可以帶來(lái)顯著(zhù)的性能提升或節約能源。
過(guò)去幾個(gè)世紀,數學(xué)家普遍認為,矩陣中相乘元素的個(gè)數與矩陣乘法的運算效率成正比。這意味著(zhù),當矩陣擴大,乘法的計算量也會(huì )擴大。
直到1969年,德國數學(xué)家Volker Strassen證明,一個(gè)由兩個(gè)數字組成的兩行矩陣與另一個(gè)同樣大小的矩陣相乘,并不需要8次乘法計算,而可以通過(guò)技巧簡(jiǎn)化為7次。該過(guò)程需要一些額外的加法,但這是可以接受的,因為計算機計算加法比乘法快得多。
這一方法名為Strassen算法,能使運算效率進(jìn)一步提升。對大多數矩陣而言,該方法是50多年來(lái)最有效的?,F在,DeepMind公司利用人工智能AlphaTensor發(fā)現了一種新型矩陣乘法,可以在當前的硬件系統上完美運行,將計算速度提高20%。
例如,一個(gè)4×5矩陣乘以一個(gè)5×5矩陣,傳統算法需要進(jìn)行100次乘法運算。而用此前的最佳算法,這個(gè)數字可以減少到80次?,F在,AlphaTensor發(fā)現的算法只需76次乘法就能完成這一計算。在超過(guò)70種大小各異的矩陣上,AlphaTensor都擊敗了現有的最佳算法。它還發(fā)現了針對每種矩陣大小的數千種函數算法,其中僅4×4矩陣就有1.4萬(wàn)種,但只有一小部分比現有技術(shù)更好。
這項研究建立在DeepMind公司的游戲模型AlphaZero基礎之上,歷時(shí)兩年。
DeepMind公司的Hussein Fawzi表示,這些結果在數學(xué)上是合理的,但對人類(lèi)來(lái)說(shuō)卻遠遠不夠直觀(guān)?!澳壳?,我們還不清楚為什么這是矩陣乘法的最佳方式。關(guān)于深度學(xué)習是如何做到這些的,還有一些理論工作要做?!?/p>
除了上述例子,AlphaTensor 還在有限域內改進(jìn)了Strassen的二階算法,這是Strassen算法自 50 多年前被提出以來(lái)迎來(lái)的首次改進(jìn)。
英國薩塞克斯大學(xué)的James Knight表示,在超級計算機和強大硬件上運行的一系列軟件,如人工智能研究和天氣模擬,實(shí)際上都在使用大規模矩陣乘法?!叭绻@種方法真的能實(shí)施,那可能會(huì )帶來(lái)普遍性的加速?!?/p>
倫敦大學(xué)的Oded Lachish表示,新算法可以提高各種軟件的效率,因為矩陣乘法是一個(gè)非常常見(jiàn)的問(wèn)題。
“我相信,我們將看到人工智能為類(lèi)似的問(wèn)題帶來(lái)解決方案。這類(lèi)技術(shù)有著(zhù)重要的應用前景,因為算法中的更少操作不僅意味著(zhù)更快的結果,還意味著(zhù)更少的能量消耗?!盠achish說(shuō)。
來(lái)源:《中國科學(xué)報》