作為一名前半生奉獻給學(xué)術(shù)，現在投身業(yè)界的研究者，Daniel Gutierrez習慣在數據科學(xué)業(yè)內工作的同時(shí)，跟進(jìn)學(xué)術(shù)界的最新動(dòng)態(tài)。

最近，通過(guò)一場(chǎng)網(wǎng)絡(luò )研討會(huì )，他發(fā)現人工智能大神吳恩達（Andrew Ng）也有一樣的習慣。吳恩達提到，他經(jīng)常隨身攜帶一個(gè)裝滿(mǎn)研究論文的文件夾，利用搭車(chē)的空閑時(shí)間研究論文。

Daniel Gutierrez因此建議，不管是數據科學(xué)從業(yè)者還是研究者，都可以準備一個(gè)論文文件夾來(lái)裝一些論文，就像吳恩達建議的：如果你每周閱讀幾篇論文（部分論文可以泛讀），一年后你就閱讀了100多篇論文，足夠比較深入地了解一個(gè)新領(lǐng)域。

在這篇文章中，Daniel Gutierrez列出了2018年最具影響力的20篇數據科學(xué)研究論文清單，所有數據科學(xué)家都應該認真回顧。我還收錄了一些綜述性文章，它們可以幫助你看到當前技術(shù)領(lǐng)域的發(fā)展情況，同時(shí)還有完整的參考文獻列表，其中不乏很多具有開(kāi)創(chuàng )性的論文。

一種新型無(wú)梯度下降的反向傳播算法

我們都知道，在20世紀70年代初引入的反向傳播算法是神經(jīng)網(wǎng)絡(luò )學(xué)習的支柱。反向傳播利用大名鼎鼎的一階迭代優(yōu)化算法進(jìn)行梯度下降，用于尋找函數的最小值。本文中， Bangalore的PES大學(xué)研究人員描述了一種不使用梯度下降的反向傳播方法。他們設計了一種新算法，使用Moore-Penrose偽逆找出人工神經(jīng)元權重和偏差的誤差。本文還在各種數據集上進(jìn)行了數值研究和實(shí)驗，旨在驗證替代算法的結果是否符合預期。

下載鏈接：

https://arxiv.org/pdf/1802.00027.pdf

一份基于深度學(xué)習的情感分析

情感分析經(jīng)常被用于識別和分類(lèi)文本中所表達的觀(guān)點(diǎn)，因為它可以確定作者對特定主題、產(chǎn)品等態(tài)度是積極、消極還是中性的，所以在處理社交媒體數據時(shí)，情感分析非常有價(jià)值。

深度學(xué)習日益流行，它是一種強大的機器學(xué)習技術(shù)，可以學(xué)習到數據的多層特征并生成預測結果。隨著(zhù)深度學(xué)習在許多其他應用領(lǐng)域的成功，近年來(lái)，深度學(xué)習在情感分析中也得到了廣泛的應用。本文對深度學(xué)習進(jìn)行了全面的綜述，并對其在情感分析領(lǐng)域的應用現狀也進(jìn)行了分析。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.07883.pdf

應用數學(xué)家所理解的深度學(xué)習是什么

作為一名數學(xué)家，我喜歡看一些關(guān)于數據科學(xué)的技術(shù)文檔，并找到它們與應用數學(xué)的聯(lián)系。本文從應用數學(xué)的角度出發(fā)，對深入學(xué)習的基本思想進(jìn)行闡述。多層人工神經(jīng)網(wǎng)絡(luò )已在各個(gè)領(lǐng)域中被廣泛使用，這場(chǎng)深度學(xué)習革命的核心實(shí)際上可以追溯到應用和計算數學(xué)的基礎概念：特別是在微積分、偏微分方程、線(xiàn)性代數和近似/優(yōu)化理論的概念中。

下載鏈接：

https://arxiv.org/pdf/1801.05894.pdf

論深度學(xué)習的起源

本文對深度學(xué)習模型進(jìn)行了全面的歷史回顧，它從人工神經(jīng)網(wǎng)絡(luò )的起源介紹到在過(guò)去十年的深度學(xué)習研究中占據主導地位的模型：如卷積神經(jīng)網(wǎng)絡(luò )、深度信念網(wǎng)絡(luò )和循環(huán)神經(jīng)網(wǎng)絡(luò )。本文還重點(diǎn)介紹了這些模型的先例，分析了早期模型的構建過(guò)程，以及模型的發(fā)展歷程。

下載鏈接：

https://arxiv.org/pdf/1702.07800.pdf?

循環(huán)神經(jīng)網(wǎng)絡(luò )研究進(jìn)展

循環(huán)神經(jīng)網(wǎng)絡(luò )（RNN）能夠從時(shí)間序列數據中學(xué)習序列特征和長(cháng)期依賴(lài)性。RNN由一堆非線(xiàn)性單元組成，單元之間至少有一個(gè)連接形成有向循環(huán)。一個(gè)訓練完備的RNN可以模擬任何一個(gè)動(dòng)態(tài)系統，然而，RNN在訓練時(shí)一直受到長(cháng)期依賴(lài)性問(wèn)題的困擾。本文對RNN進(jìn)行了綜述，并著(zhù)重介紹了該領(lǐng)域的一些最新進(jìn)展。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

關(guān)于深度學(xué)習的十大質(zhì)疑

盡管深度學(xué)習的歷史根源可以追溯到幾十年前，但“深度學(xué)習”這一術(shù)語(yǔ)和技術(shù)在五年前才開(kāi)始流行起來(lái)，當時(shí)該領(lǐng)域被Krizhevsky、Sutskever和Hinton等人所統治，他們在2012年發(fā)表了經(jīng)典之作“基于深度卷積神經(jīng)網(wǎng)絡(luò )的圖像分類(lèi)”。但在接下來(lái)的五年中，深度學(xué)習領(lǐng)域中又有什么發(fā)現呢？在語(yǔ)音識別、圖像識別和游戲等領(lǐng)域取得長(cháng)足進(jìn)步的背景下，紐約大學(xué)的AI反對者Gary Marcus對深度學(xué)習提出了十個(gè)問(wèn)題，并表明如果我們想要獲得通用的人工智能，深度學(xué)習必須輔以其他技術(shù)。

下載鏈接：

https://arxiv.org/ftp/arxiv/papers/1801/1801.00631.pdf

本文較為全面的介紹了深度神經(jīng)網(wǎng)絡(luò )中（以及參考文獻表中大多數論文）所需的所有線(xiàn)性代數知識。除了基礎微積分知識之外，本文深奧的數學(xué)知識很少。請注意，若你還是深度學(xué)習新手，這篇論文對你來(lái)說(shuō)意義不大；相反，若你已經(jīng)熟悉神經(jīng)網(wǎng)絡(luò )基礎知識并希望加深對基礎數學(xué)的理解，這篇論文將非常適合你研究。

相關(guān)報道：

https://arxiv.org/abs/1802.01528

批量歸一化（BN）是深度學(xué)習開(kāi)發(fā)中的里程碑技術(shù)，它使得各種網(wǎng)絡(luò )的訓練成為了可能。但是，沿批量維度進(jìn)行歸一化會(huì )帶來(lái)一些問(wèn)題：當批量大小變小時(shí)，由于批次統計估計不準確，BN的誤差會(huì )迅速增加。這限制了BN在訓練大型模型以及計算機視覺(jué)任務(wù)（包括檢測、分割視頻）中的使用，因為這些任務(wù)需要的是受內存消耗限制的小批量。本文由Facebook AI研究人員（FAIR）提出，將Group Normalization（GN）作為BN的簡(jiǎn)單替代方案。GN將通道分成群組，并在每組內計算標準化的均值和方差。GN的計算與批量大小無(wú)關(guān)，并且其準確性在各種批量大小中都是穩定的。

下載鏈接：

https://arxiv.org/pdf/1803.08494.pdf

深度神經(jīng)網(wǎng)絡(luò )的訓練一般通過(guò)使用隨機梯度陡降（SGD）變量和遞減學(xué)習率來(lái)優(yōu)化一個(gè)損失函數，直至其收斂。這篇論文指出，對SGD曲線(xiàn)上的多個(gè)點(diǎn)取簡(jiǎn)單平均數，并使用周期波動(dòng)或恒定的學(xué)習率比傳統訓練方式有更好的概括能力。這篇論文還展示了，這個(gè)隨機平均參數比重（SWA）過(guò)程比SGD有更廣泛的優(yōu)化能力，僅用一個(gè)模型就達到了之前快速集合法的效果。

下載鏈接：

https://arxiv.org/pdf/1803.05407.pdf

自動(dòng)總結歸納文本，或者說(shuō)在保留主要含義的同時(shí)壓縮文本長(cháng)度，是自然語(yǔ)言處理(NLP)領(lǐng)域的一個(gè)重要研究范疇。這篇論文對近來(lái)基于神經(jīng)網(wǎng)絡(luò )的模型在自動(dòng)文本總結方面進(jìn)行了研究。作者詳細審查了十款最前沿的神經(jīng)網(wǎng)絡(luò )摘要器：五款摘要模型，以及五款提煉模型。

下載鏈接：

https://arxiv.org/pdf/1804.04589.pdf

Gatys等人在2015年“針對藝術(shù)風(fēng)格的神經(jīng)網(wǎng)絡(luò )算法”這篇開(kāi)創(chuàng )性著(zhù)作中，展示了卷積神經(jīng)網(wǎng)絡(luò )(CNN) 能夠分離和重組圖片的內容和風(fēng)格，在生成藝術(shù)圖像上表現出了強大的能力。這個(gè)使用CNN來(lái)渲染不同風(fēng)格的內容圖像被稱(chēng)作神經(jīng)網(wǎng)絡(luò )風(fēng)格傳輸(NST)。此后，NST在學(xué)術(shù)著(zhù)作和工業(yè)應用上都很是熱門(mén)，受到越來(lái)越多的關(guān)注，也產(chǎn)生了很多種致力改善或者擴展原有NST算法的方法。這篇論文對NST目前的發(fā)展狀況提供了概覽，也對未來(lái)研究提出了一系列問(wèn)題。

下載鏈接：

https://arxiv.org/pdf/1705.04058.pdf

幾何數據：在機器學(xué)習領(lǐng)域針對黎曼幾何的一個(gè)Python包

在機器學(xué)習領(lǐng)域應用黎曼幾何越來(lái)越受人們關(guān)注。這篇論文引入了幾何數據這一概念，也給出了應用于諸如超球面、雙曲空間、空間對稱(chēng)正定矩陣和李群變換等多重內容計算的python包。此外，論文中還包含了對于這些多重內容的應用，以及實(shí)用的黎曼度量和相關(guān)的外生性、對數圖。相應的測地線(xiàn)距離提供了一系列機器學(xué)習損失函數的直觀(guān)選擇。作者還給出了對應的黎曼梯度。幾何數據的操作可用于不同的計算后臺，比如numpy, tensorflow和keras。文章作者使keras深度學(xué)習框架綜合應用GPU和幾何數據多重內容計算變成了可能。

下載鏈接：

https://arxiv.org/pdf/1805.08308.pdf

一個(gè)更通用的穩健損失函數

這篇論文展示了一個(gè)雙參數損失函數，可視為對穩健統計學(xué)中很多常用的損失函數的一個(gè)概括，這些常用的損失函數包括Cauchy/Lorentzian, Geman-McClure, Welsch/Leclerc和廣義卡爾波涅爾損失函數（按傳遞性分為L(cháng)2，L1，L1-L2和pseudo-Huber/Charbonnier損失函數）。作者描述并可視化展示了這個(gè)損失和相應的分布，并列出了它的一些實(shí)用性特質(zhì)。

下載鏈接：

https://arxiv.org/pdf/1806.01337.pdf

這篇論文引入了“反向退出”的概念，也即一個(gè)靈活而應用簡(jiǎn)便的方法，可以直觀(guān)地表述為，退出現象僅沿著(zhù)反向傳播管道發(fā)生。反向退出的應用是沿著(zhù)網(wǎng)絡(luò )中特定點(diǎn)插入一個(gè)或多個(gè)屏蔽層。每個(gè)反向退出的屏蔽層在正推法中被視為特征，但幾乎不屏蔽部分反向梯度傳播。直觀(guān)來(lái)看，在任何卷積層之后插入反向退出層會(huì )帶來(lái)隨機梯度，隨刻度特征不同而有不同。因此，反向退出非常適用于那些有多重刻度、金字塔結構的數據。

下載鏈接：

https://arxiv.org/pdf/1806.01337.pdf

關(guān)系型強化深度學(xué)習

這篇論文引入了一個(gè)通過(guò)結構化感知和關(guān)系型推理從而提升強化深度學(xué)習(RL)的方法，主要表現在改善效率、泛化能力和提升傳統方法的解讀能力。通過(guò)自我感知來(lái)迭代推理場(chǎng)景中的主題和引導無(wú)模型原則之間的關(guān)系。結果顯示，在一個(gè)擁有新型導航和任務(wù)計劃的“盒世界”中，代理找到了可解釋的解決方案，從而可以在基線(xiàn)之上改善樣本的復雜度、泛化能力（在訓練中能應對更的復雜場(chǎng)景）以及整體表現。

下載鏈接：

https://arxiv.org/pdf/1806.01830.pdf

深度學(xué)習里幾乎沒(méi)有別的概念像“卷積”那樣大的影響力了。對包含像素或空間表征的任何問(wèn)題，普遍的直覺(jué)就是試試看CNNs。這篇論文通過(guò)一個(gè)看似微不足道的坐標轉化問(wèn)題展示了一個(gè)反直覺(jué)的案例，也即單純要求機器在坐標(x,y)笛卡爾空間和一個(gè)熱像素的空間之間學(xué)習一個(gè)映射。雖然CNNs似乎很適用于這個(gè)場(chǎng)景，來(lái)自Uber的作者們證明了卷積神經(jīng)網(wǎng)絡(luò )法最終失敗了。這篇論文展示并仔細檢驗了這個(gè)失敗案例。

下載鏈接：

https://arxiv.org/pdf/1807.03247.pdf

反向傳播法的演變

反向傳播算法是深度學(xué)習的基石。盡管其非常重要，但很少有方法嘗試調整其算法。這篇論文展示了一種發(fā)現新的反向傳播方程變式的方法。來(lái)自Google的作者使用了一種領(lǐng)域專(zhuān)用語(yǔ)言，將升級的方程描述為一系列原始方程?；谶M(jìn)化的方法被用來(lái)發(fā)現新的反向傳播原則，該原則在一系列最大訓練次數后能夠最大化泛化能力。這個(gè)研究發(fā)現了一些升級方程，相較標準的反向傳播算法在較少次數內訓練得更快，并在收斂時(shí)有與標準反向傳播算法近似的表現。

下載鏈接：

https://arxiv.org/pdf/1808.02822.pdf

在深度卷積神經(jīng)網(wǎng)絡(luò )學(xué)習時(shí)代里，物體探測領(lǐng)域近來(lái)的發(fā)展

物體探測就是對于特定類(lèi)別圖片，比如車(chē)、飛機等進(jìn)行探測的計算機視圖任務(wù) ，它在過(guò)去五年里在人工智能領(lǐng)域里吸引了非常多的關(guān)注。這些關(guān)注，既源于該領(lǐng)域在實(shí)際應用的重要性，也是因為自從CNNs時(shí)代的到來(lái)，它是人工智能領(lǐng)域里現象級的發(fā)展。這篇論文是對近來(lái)使用深度卷積神經(jīng)網(wǎng)絡(luò )學(xué)習方法的物體探測領(lǐng)域著(zhù)作的一個(gè)全面回顧，也對近來(lái)這些發(fā)展進(jìn)行了深刻的透析。

下載鏈接

https://arxiv.org/pdf/1809.03193.pdf

語(yǔ)言交互式AI的神經(jīng)網(wǎng)絡(luò )法

這篇論文對近年來(lái)發(fā)展出的語(yǔ)言交互式AI中神經(jīng)網(wǎng)絡(luò )方法進(jìn)行了調查。語(yǔ)言交互式AI可被分為三個(gè)類(lèi)別：1. 回答問(wèn)題的機器人2. 以任務(wù)為導向的對話(huà)機器人3. 自動(dòng)化語(yǔ)音聊天機器人。針對每個(gè)類(lèi)別，文章使用特定系統和模型為案例，展示了領(lǐng)域最前沿的神經(jīng)網(wǎng)絡(luò )方法，并將其與傳統方法比較，討論其進(jìn)步之處和仍面臨的問(wèn)題。

下載鏈接：

https://arxiv.org/pdf/1809.08267.pdf

可撤銷(xiāo)的循環(huán)神經(jīng)網(wǎng)絡(luò )

循環(huán)神經(jīng)網(wǎng)絡(luò )（RNNs）在運行序列數據上表現最優(yōu)秀，但訓練起來(lái)更占用內存，也就限制了RNNs模型的靈活性?？沙蜂N(xiāo)的循環(huán)神經(jīng)網(wǎng)絡(luò )，也就是“隱藏對隱藏”的轉化能被撤銷(xiāo)的RNNs，提供了減少訓練所需內存的一個(gè)路徑，因其隱藏狀態(tài)無(wú)需存儲，從而能夠在反向傳播算法中被重新計算。這篇論文展示了完美可撤銷(xiāo)RNNs從根本上就是受限的，因為它們依然需要記住隱藏狀態(tài)。隨后，為了實(shí)現能夠忘記隱藏狀態(tài)的完美可撤RNNs，文章提供了存儲少量bits的方法。作者這個(gè)方法達到了傳統模型的近似效果，同時(shí)減少了活動(dòng)內存成本約10-15個(gè)百分點(diǎn)。

下載鏈接：

https://arxiv.org/pdf/1810.10999.pdf

來(lái)源：東威智庫