論文在NLP學(xué)術(shù)研究中的意義

一篇“合格”NLP論文的各個(gè)部分該怎樣寫？清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系副教授劉知遠(yuǎn)撰文詳細(xì)講解了論文寫作的規(guī)范和經(jīng)驗(yàn)，并提供了有用的建議和閱讀書目，值得收藏閱讀。

前幾天剛過完 ACL 2019 投稿季，給不少同學(xué)的論文提供了修改建議。其中很多論文，特別是初學(xué)者的論文的問題都很相似。一想到未來還要給更多新同學(xué)重復(fù)這些話，決定索性把這些建議總結(jié)出來，不僅以后能少費(fèi)一番唇舌，說不定還能幫助更多同學(xué)。于是就有了這篇短文。

本文題目取 “合格” 的論文，而不是優(yōu)美的論文，或精彩的論文。一個(gè)原因是，我自知英文水平特別是詞匯有限，從未寫過自認(rèn)精彩或優(yōu)美的論文，并無資格提供這方面的建議。另一個(gè)原因是，下面會(huì)講到，學(xué)術(shù)論文的關(guān)鍵目標(biāo)并非辭藻優(yōu)美而是清晰準(zhǔn)確，我在這方面還積累了不少經(jīng)驗(yàn)。憑借這些經(jīng)驗(yàn)，相信 “辭達(dá)已矣” 不難，“言之有文” 則各憑本事吧。

實(shí)際上，同組的劉洋老師對 NLP 學(xué)術(shù)論文寫作做過非常全面而精彩的報(bào)告[1]，強(qiáng)烈推薦所有 NLP 同學(xué)都仔細(xì)閱讀這份報(bào)告，相信會(huì)讓你少走不少科研的彎路。而本文可以看做對這個(gè)報(bào)告的腳注或補(bǔ)充。

論文在 NLP 學(xué)術(shù)研究中的意義

NLP 是一門重視實(shí)踐和應(yīng)用的領(lǐng)域，創(chuàng)新成果可以是新的算法、任務(wù)、應(yīng)用、數(shù)據(jù)、發(fā)現(xiàn)等，務(wù)求一個(gè) “新” 字，其影響力則取決于它對該領(lǐng)域發(fā)展的推動(dòng)作用。如下圖所示，學(xué)術(shù)研究是一項(xiàng)系統(tǒng)工程，包括多個(gè)環(huán)節(jié)，共同完成對 “創(chuàng)新” 的追求：問題務(wù)求挑戰(zhàn)，模型務(wù)求創(chuàng)新，實(shí)現(xiàn)務(wù)求準(zhǔn)確，實(shí)驗(yàn)務(wù)求深入。

學(xué)術(shù)研究是一項(xiàng)系統(tǒng)工程

在這個(gè)系統(tǒng)工程中，論文的作用則是，向?qū)W術(shù)界同行清晰準(zhǔn)確地描述成果的創(chuàng)新點(diǎn)、技術(shù)思路、算法細(xì)節(jié)和驗(yàn)證結(jié)果。明白這一點(diǎn)，才能正確的對待論文寫作：一項(xiàng)乏善可陳的工作，很難通過寫作變得眾星捧月；一項(xiàng)充滿創(chuàng)新的成果，卻有可能因?yàn)樵愀獾膶懽鞫鵁o法向?qū)徃迦藴?zhǔn)確傳遞重要價(jià)值所在，延誤成果發(fā)表。

一篇 NLP 論文的典型結(jié)構(gòu)

NLP 學(xué)術(shù)會(huì)議（甚至包括期刊）論文已經(jīng)形成比較固定的結(jié)構(gòu)。絕大部分論文由以下六大部分構(gòu)成：摘要（Abstract）、介紹（Introduction）、相關(guān)工作（Related Work）、方法（Method）、實(shí)驗(yàn)（Experiment）、結(jié)論（Conclusion）。少數(shù)論文會(huì)根據(jù)創(chuàng)新成果形式不同而略有不同，例如提出新數(shù)據(jù)集的論文，可能會(huì)把 Method 部分調(diào)整為 Dataset 的標(biāo)注與分析，但不影響論文整體構(gòu)成。每個(gè)部分作用不同：

摘要：用 100-200 詞簡介研究任務(wù)與挑戰(zhàn)、解決思路與方法、實(shí)驗(yàn)效果與結(jié)論。

介紹：用 1 頁左右篇幅，比摘要更詳細(xì)地介紹研究任務(wù)、已有方法、主要挑戰(zhàn)、解決思路、具體方法、實(shí)驗(yàn)結(jié)果。

相關(guān)工作：用 0.5-1 頁左右篇幅介紹研究任務(wù)的相關(guān)工作，說明本文工作與已有工作的異同。

方法：用 2-3 頁篇幅介紹本文提出的方法模型細(xì)節(jié)。

實(shí)驗(yàn)：用 2-3 頁篇幅介紹驗(yàn)證本文方法有效性的實(shí)驗(yàn)設(shè)置、數(shù)據(jù)集合、實(shí)驗(yàn)結(jié)果、分析討論等。

結(jié)論：簡單總結(jié)本文主要工作，展望未來研究方向。

乍看這樣每篇論文顯得死板，實(shí)際上這正凸顯了學(xué)術(shù)論文的真正意義，不追求在形式上給讀者帶來意外，而將讀者注意力集中在論文介紹的研究成果上。

如前所說，論文的作用是向?qū)W術(shù)界同行清晰準(zhǔn)確地描述成果的創(chuàng)新點(diǎn)、技術(shù)思路、算法細(xì)節(jié)和驗(yàn)證結(jié)果。由于學(xué)術(shù)界的同行評審制度，貫穿全文的線索和目標(biāo)就是要論證這份工作的創(chuàng)新價(jià)值，每個(gè)部分都要各司其職為這個(gè)目標(biāo)而服務(wù)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，需要作者特別注意以下幾點(diǎn)：

（1）學(xué)會(huì)換位思考。要始終站在審稿人或讀者的角度審視論文，思考如何更清晰地表達(dá)。這是初學(xué)者最容易忽視的問題：作為研究成果的親歷者，論文作者掌握所有細(xì)節(jié)，如果不多加留意，寫作中就會(huì)出現(xiàn)新概念沒有被明確定義就被使用等情況，很多描述和分析缺少邏輯銜接。對作者而言，這些省去的東西并不影響他對這些文字的理解；但對并不了解這份工作的讀者而言，這無疑是一場噩夢，因?yàn)樗麄儾]有作者腦中的那套背景信息。因此，寫作時(shí)要時(shí)時(shí)留神，讀者讀這句時(shí)能否理解，所需要的背景知識前文是否已經(jīng)介紹。

（2）注意邏輯嚴(yán)謹(jǐn)。嚴(yán)謹(jǐn)是學(xué)術(shù)論文的底色，從引用格式、公式符號到謀章造句，雖不至于美國法學(xué)期刊的 Bluebook 那么變態(tài)，都力求風(fēng)格統(tǒng)一，行文嚴(yán)謹(jǐn)。引用、公式、拼寫等方面都容易學(xué)，初學(xué)者更需要注意行文嚴(yán)謹(jǐn)，力求全文從章節(jié)、段落、句子等不同級別都邏輯嚴(yán)密，爭取做到?jīng)]有一句話沒來由，沒有一句話沒呼應(yīng)：

章節(jié)層面，Introduciton 提到已有方法面臨的幾個(gè)挑戰(zhàn)，就要對應(yīng)本文提出的幾個(gè)創(chuàng)新思路，對應(yīng) Method 中的幾個(gè)具體算法，對應(yīng) Experiment 中的幾個(gè)實(shí)驗(yàn)驗(yàn)證。

段落和句子層面，段間要注意照應(yīng)，是并列、遞進(jìn)、轉(zhuǎn)折還是總分關(guān)系，需要謀劃妥當(dāng)，要有相應(yīng)句子或副詞銜接。段內(nèi)各句，有總有分，中心思想句和圍繞論述句分工協(xié)作。

除了整體結(jié)構(gòu)上的建議外，每個(gè)部分也各有定式，下面按各部分提供一些寫作建議，同時(shí)用我們最近發(fā)表的一篇 ACL 2018 論文 [2] 作為例子。

Abstract 和 Introduction 怎么寫

Abstract 可以看做對 Introduction 的提要，所以我們先介紹 Introduction 的寫法，然后再說如何寫 Abstract。Introduction 是對整個(gè)工作的全面介紹，是決定一篇論文能否被錄用的關(guān)鍵。一般 Introduction 這么寫：起手介紹研究任務(wù)和意義；隨后簡介面向這個(gè)任務(wù)的已有方法；接著說明已有方法面臨的關(guān)鍵挑戰(zhàn)；針對這些挑戰(zhàn)，本文提出什么創(chuàng)新思路和具體方法；最后介紹實(shí)驗(yàn)結(jié)果證明本文提出方法的有效性。這幾個(gè)部分各擋一面，同時(shí)又有嚴(yán)密的內(nèi)在邏輯。每個(gè)部分也各有章法，下面分別介紹對各部分的建議：

（1）研究任務(wù)。介紹本文的研究任務(wù)及其在該研究領(lǐng)域的重要價(jià)值和意義。如果是領(lǐng)域公認(rèn)的重要任務(wù)的話，則可以不用詳細(xì)論述其研究價(jià)值 / 意義；如果是新提出的研究任務(wù)，則需要花費(fèi)比較多篇幅論證該任務(wù)的價(jià)值。如下所示論文 [2] 的第 1 段集中說明閱讀理解研究任務(wù)。

（2）已有方法。從研究任務(wù)遞進(jìn)一步，介紹這個(gè)任務(wù)的已有代表方法。如下所示論文 [2] 的第 2 段，開始介紹 DS-QA。需要注意，這個(gè)已有方法需要是目前最好、最具代表性的，也是本文工作準(zhǔn)備改進(jìn)的。所謂站在巨人的肩膀上，一篇值得發(fā)表的論文需要找到那個(gè)最高的巨人。

（3）面臨挑戰(zhàn)。已有方法一定仍然存在某些不足或挑戰(zhàn)，才需要進(jìn)一步研究改進(jìn)。因此，需要總結(jié)已有方法面臨的挑戰(zhàn)。這是 Introduction 的關(guān)鍵部分，起著承上啟下的作用。初學(xué)者特別注意，這部分涉及對已有工作的評價(jià)，務(wù)必保證精準(zhǔn)客觀。要知道，當(dāng)論文投稿至 NLP 國際會(huì)議后，是通過同行評審決定是否錄用發(fā)表，評審人一般是小同行，有很大概率是已有工作的作者。所以這部分論述一定要做到客觀公正，讓這些工作作者本人也能信服。

如下所示論文 [2] 的第 3、4 段，先介紹 DS-QA 的 noisy labeling 挑戰(zhàn)，并且通過舉例直觀呈現(xiàn)。面對這個(gè)挑戰(zhàn)，已有一些相關(guān)工作，還需說明他們各自有什么不足和挑戰(zhàn)，為引出本文創(chuàng)新思路做好鋪墊。

（4）創(chuàng)新思路。水來土掩，兵來將擋，既然已有方法有這些不足和挑戰(zhàn)，就需要有新的創(chuàng)新思路和方法。這部分需要注意與上面的” 挑戰(zhàn) “部分嚴(yán)絲合縫，密切呼應(yīng)，讓讀者清楚領(lǐng)會(huì)到這些創(chuàng)新思路與方法的確能夠解決或緩解這些挑戰(zhàn)問題。

如下所示論文 [2] 的第 5 段，就是介紹創(chuàng)新思路和方法?？梢钥吹剑话恪?面臨挑戰(zhàn) “和” 創(chuàng)新思路 “部分還配圖示，更直觀地展示本文要解決的挑戰(zhàn)問題和創(chuàng)新思路。例如論文 [2] 這張丑丑的圖，比較直觀地展示了創(chuàng)新方法包括 Selector 和 Reader 兩個(gè)模塊和作用。也可以隨便看我們的其他論文 [3]，大部分論文都會(huì)在 Introduction 中提供圖示。

（6）實(shí)驗(yàn)結(jié)論。除了在” 創(chuàng)新思路 “部分圖文兩開花地說明本文創(chuàng)新工作外，還要通過合理的實(shí)驗(yàn)驗(yàn)證方法的有效性。一般要得到”our method achieves significant and consistent improvement as compared to other baselines“的結(jié)論，從而驗(yàn)證本文工作的創(chuàng)新性。

有些論文最后還會(huì)體貼的總結(jié)本文的主要貢獻(xiàn)，一般說”In summary, the key contributions are x-fold: (1)...(2)...(3)...“。這樣做的好處是，可以幫助審稿人總結(jié)本文的創(chuàng)新點(diǎn)放在審稿意見中，節(jié)省不少工作量。但需要注意，這些創(chuàng)新點(diǎn)要簡潔明了，不能是前文的簡單重復(fù)，也不能 overclaim。如果要說” 首次 “提出或發(fā)現(xiàn)，一般也要前置”to the best of our knowledge“。此外還有論文最后一段會(huì)介紹接下來幾個(gè) Section 結(jié)構(gòu)，個(gè)人感覺對一篇 8 頁論文可能并不需要。

對于 Abstract，可以看做對 Introduction 的簡介，最簡單的做法是，以上每部分都精簡為 1-2 句話組成 Abstract 皆可。如下是論文 [2] 的 Abstract 內(nèi)容，可以看出與 Introduction 的對應(yīng)關(guān)系。

Method 怎么寫

這部分要詳細(xì)介紹本文創(chuàng)新方法的具體細(xì)節(jié)，由于涉及非常艱澀的細(xì)節(jié)，要采用” 總 - 分 “結(jié)構(gòu)來介紹。

這部分起手” 總 “的部分要介紹本文任務(wù)的符號定義，以及本文方法的框架組成，或者按步驟來介紹或者按模塊來寫，讓讀者對本文方法有全景式的理解。如下所示論文 [2] 的 Methodology” 總 “的部分，就先介紹一些符號，然后分別介紹了 Selector 和 Reader 兩個(gè)模塊的主要功能。

然后進(jìn)入” 分 “的部分，則需對應(yīng)” 總 “中的框架，分別介紹各關(guān)鍵模塊 / 步驟。例如，論文 [2] 的 Methodology” 分 “的部分，就包括 3.1 Paragraph Selector、3.2 Paragraph Reader、3.3 Learning and Prediction。讀者在” 總 “的部分已經(jīng)對方法有全景式的了解，有的放矢，就比較容易理解每個(gè)模塊的具體細(xì)節(jié)。而每個(gè)” 分 “的部分中，又可以進(jìn)一步采用” 總 - 分 “結(jié)構(gòu)進(jìn)行介紹，例如 3.1 小節(jié)做完總體介紹后，又會(huì)按照 Paragraph Encoding 和 Question Encoding 分別介紹。為了更清晰地體現(xiàn)” 總 - 分 “結(jié)構(gòu)，可以將各 “分” 的部分命名并加粗。

初學(xué)者特別注意，（1）Introduction 中對創(chuàng)新思路與方法的介紹，不要在 Method 中簡單重復(fù)，否則會(huì)讓認(rèn)真通讀全文的審稿人頗感厭煩。要做到前后照應(yīng)，有所遞進(jìn)，前略后詳，不妨使用 “as mentioned in Section 1” 來做關(guān)聯(lián)。（2）Method 部分往往包含大量公式，需要保證公式風(fēng)格和符號使用前后統(tǒng)一，新符號使用均需顯式解釋。

Experiment 怎么寫

這部分要詳細(xì)介紹與實(shí)驗(yàn)相關(guān)的具體細(xì)節(jié)。一般先介紹實(shí)驗(yàn)數(shù)據(jù)、評測標(biāo)準(zhǔn)和比較方法等基本信息。以論文 [2] 為例，實(shí)驗(yàn)部分首先介紹實(shí)驗(yàn)數(shù)據(jù)與評測標(biāo)準(zhǔn)（4.1 Datasets and Evaluation Metrics）、實(shí)驗(yàn)比較的已有代表方法（4.2 Baselines）、實(shí)驗(yàn)方法的參數(shù)設(shè)置（4.3 Experimental Settings）等基本信息。

在介紹完實(shí)驗(yàn)基本信息后，主要開展兩種實(shí)驗(yàn)：

（1）主實(shí)驗(yàn)。目的是證明本文方法與已有方法相比的有效性。一般需要選取業(yè)界公認(rèn)的數(shù)據(jù)集合或已有工作采用的實(shí)驗(yàn)驗(yàn)證方式，提升實(shí)驗(yàn)的可信性。對于學(xué)術(shù)論文而言，并不需要比該任務(wù)上最好的方法相比，只要證明采用本文創(chuàng)新方法與不采用本文方法相比更有效即可，也就是說，實(shí)驗(yàn)中盡量控制其他變量，只聚焦于本文關(guān)注的挑戰(zhàn)問題即可。當(dāng)然，如果能夠因?yàn)楸疚膭?chuàng)新思路，得到該任務(wù)上的最好效果，會(huì)更有吸引力，但不必總是強(qiáng)求。

一般實(shí)驗(yàn)結(jié)果用圖表展示，然后在正文進(jìn)行觀察分析。例如，論文 [2] 的主實(shí)驗(yàn)部分先介紹不同 Selector 和 Reader 對實(shí)驗(yàn)效果的影響（4.4 Effect of Different Paragraph Selectors、4.5 Effect of Different Paragraph Readers），接著介紹主實(shí)驗(yàn)結(jié)果和觀察分析（4.6 Overall Results）。其中表格中會(huì)把最好效果加粗顯示，一般應(yīng)大部分位于本文提出的方法；為了更加清晰明了，觀察分析結(jié)論可用（1）（2）（3）列出，其中第 1 條一般要得出主要結(jié)論，即本文方法要顯著優(yōu)于已有方法。

主實(shí)驗(yàn)結(jié)果

主實(shí)驗(yàn)分析

（2）輔助實(shí)驗(yàn)。目的是展示本文創(chuàng)新方法的優(yōu)勢和特點(diǎn)。例如，不同超參數(shù)對本文方法的影響（Hyper-Parameter Effect），不同模塊對本文方法效果的貢獻(xiàn)（Ablation Test），不同數(shù)據(jù)劃分對本文方法的影響（如 Few-shot Learning 相關(guān)工作比較常見），本文方法的主要錯(cuò)誤類型（Error Analysis），本文方法能夠改進(jìn)效果的典型樣例（Case Study）等。這些實(shí)驗(yàn)需要根據(jù)論文創(chuàng)新工作特點(diǎn)而有針對性的設(shè)計(jì)，一切要為體現(xiàn)本文的創(chuàng)新價(jià)值而服務(wù)。

例如，論文 [2] 的輔助實(shí)驗(yàn)包括 4.7 Paragraph Selector Performance Analysis、4.8 Performance with different numbers of paragraphs、4.9 Potential improvement、4.10 Case study 等，從各方面呈現(xiàn)本文提出方法的特點(diǎn)。

Experiment 部分的特點(diǎn)是要圖文并茂，注重通過多個(gè)表格和圖示來呈現(xiàn)本文方法的優(yōu)勢和特點(diǎn)，需要注意圖表風(fēng)格統(tǒng)一。初學(xué)者特別注意，要做到僅憑圖表下方的說明文字就可以理解每張圖表內(nèi)容，不要讓讀者還要到跑到正文尋找相關(guān)說明。因?yàn)椋芏嘤薪?jīng)驗(yàn)的審稿人在看完 Introduction 后，會(huì)直接跳到 Experiment 圖表中尋找對比效果。

Related Work 怎么寫

這部分主要是介紹本文任務(wù)和方法的相關(guān)工作，目標(biāo)是通過對已有工作的梳理，凸顯本文工作的創(chuàng)新價(jià)值。對已有工作的梳理，不應(yīng)是對每個(gè)工作的簡單介紹，而應(yīng)當(dāng)注意匯總、分類、分析，或者按照時(shí)間發(fā)展順序，或者按照技術(shù)路線劃分，例如論文 [2] 就是按照時(shí)間脈絡(luò)介紹。

在對相關(guān)工作的介紹中，要注意暗合本文創(chuàng)新思路要解決的挑戰(zhàn)，不應(yīng)是單純的介紹，而是夾敘夾議，時(shí)刻注意與本文工作的照應(yīng)。在 Related Work 的最后，應(yīng)該落腳到本文工作與已有工作相比，有什么新的思路，解決了什么挑戰(zhàn)問題。

初學(xué)者特別注意，Introduction 和 Related Work 部分是特別需要導(dǎo)師或其他有經(jīng)驗(yàn)學(xué)者幫助把關(guān)的。一是，不能遺漏重要相關(guān)工作，這點(diǎn)需要論文作者對相關(guān)領(lǐng)域工作保持跟蹤；二是，與 Introduction 要求類似，對已有工作的評述務(wù)必精準(zhǔn)客觀。

Related Work 一般放在 Introduction 之后，或者 Conclusion 之前，這一般取決于論文工作的特點(diǎn)。對于那些與已有工作聯(lián)系緊密、創(chuàng)新精微的工作，一般建議放在 Introduction 之后，方便讀者全面了解本文工作與已有工作的關(guān)系，然后開始在 Method 介紹本文方法。而對于有些框架性創(chuàng)新工作，如果主要是對已有方法的組合，一般建議 Related Work 放在 Method、Experiment 之后即可。這點(diǎn)并無成法，完全根據(jù)行文方便來定。

Conclusion 怎么寫

在論文最后會(huì)有總結(jié)展望，一般用一段來再次總結(jié)和強(qiáng)調(diào)本文的創(chuàng)新思路和實(shí)驗(yàn)結(jié)果，然后說明未來建議的研究方向和開放問題。這部分相對來講比較固定。稍微留意的是，在準(zhǔn)備論文最后階段，如果發(fā)現(xiàn)論文有哪些應(yīng)當(dāng)做還沒來得及做的，可以寫作本文的未來工作。至少可以向?qū)徃迦吮砻髂阋蚕氲竭@個(gè)問題了，贏得一點(diǎn)同情分。

其他建議

要想寫出一篇合格的 NLP 論文，首先是態(tài)度問題，只有態(tài)度重視，才有可能不厭其煩地反復(fù)修改，才會(huì) “不擇手段” 地尋找各種辦法來盡力改進(jìn)論文（找學(xué)長找外教借助 Grammarly 工具等）。其次是動(dòng)手問題，只有寫下來，才可能不斷改，只要改就能不斷進(jìn)步。最后是經(jīng)驗(yàn)問題，要寫得精彩可能需要天賦，而要寫得合格，只要堅(jiān)持寫，不斷根據(jù)評閱人和其他人的意見進(jìn)行思考和修改，就可以進(jìn)步?？傊?，堅(jiān)持就是勝利。

實(shí)際上，我覺得論文寫作，是對思維模式的訓(xùn)練。也許未來你并不會(huì)從事學(xué)術(shù)研究，但通過論文寫作鍛煉的凝練工作創(chuàng)新價(jià)值的能力、清晰傳遞復(fù)雜信息的表達(dá)能力，對未來工作中無論是工作溝通、成果展示等，都有重要幫助。所以還希望大家都能重視這個(gè)科研道路上難得的鍛煉機(jī)會(huì)。加油！

小結(jié)

論文寫作有很多需要注意的細(xì)節(jié)和技巧，很多領(lǐng)域甚至都有專門的厚厚一本指南來介紹寫作技巧。這么一篇短文很難面面俱到，只是介紹一下我指導(dǎo)同學(xué)準(zhǔn)備論文提的比較多的建議，希望對大家有用。以后想到任何新的建議，隨時(shí)更新。也歡迎各位反饋建議和問題，共同進(jìn)步。