糾錯框架的基本結(jié)構(gòu)

糾錯框架的基本結(jié)構(gòu)

雖然糾錯只是一個看著簡單的任務(wù)，但是實際上已經(jīng)構(gòu)建成了一個非常完整的系統(tǒng)，根據(jù)這個系統(tǒng)兼顧很多事情，舉幾個點：

充分縮小范圍，防止過糾，畢竟糾錯是NLP系統(tǒng)的上游，過糾的代價非常大。

充分挖掘可能錯誤的位置，在詞匯支持的情況，找到可能正確的結(jié)果，保證召回率。

各種抽取特征，能通過更加嚴(yán)謹(jǐn)?shù)姆绞皆诙鄠€候選中找到最優(yōu)的結(jié)果。

然后我們來看看一個比較OK的糾錯系統(tǒng)結(jié)構(gòu)是什么樣的，三大步驟：

錯誤檢測：檢測句子錯誤的部分，后續(xù)只對這個部分進(jìn)行錯誤糾正。

候選召回：根據(jù)識別的錯誤進(jìn)行針對性的修改，這塊依賴候選集。

候選排序：錯誤可能有很多。召回的結(jié)果也有很多，那個才是最優(yōu)解，這步需要通過一定的方式得到最優(yōu)結(jié)果。

錯誤檢測

錯誤檢測是文本進(jìn)入糾錯體系的一個大門，設(shè)立他的目的有這幾個：

縮小糾正范圍，降低后續(xù)流程的壓力。

減少過糾，保證準(zhǔn)確率，用戶自己輸對了卻改錯了體驗非常差。

換言之，我們需要在錯誤檢測中做的是，找到句子中可能出現(xiàn)錯誤的位置，提取出來任務(wù)就完成了，那么，這塊有什么方法呢。

最簡單的一種方法，就是結(jié)合詞典去做，這個詞典其實已經(jīng)有比較通用的，那就是jieba的詞典（idf.txt），對于絕大部分人而言，輸入的東西一般都是TOP的，那么一些未見過的，即未登錄詞，就很可能是錯誤的內(nèi)容了。但需要注意的是，領(lǐng)域內(nèi)的詞匯我們需要補(bǔ)充，詞典覆蓋率要足夠的高，這樣識別的準(zhǔn)確率才會夠高。

第二個方法也是一個無監(jiān)督的方法——用語言模型。語言模型能評判一個句子出現(xiàn)的概率，換言之，如果句子出現(xiàn)的頻次足夠低，那這里面就很可能有錯誤的詞匯，再精確到句子中的每個位置，那就是一個局部的n-gram的條件概率了，如果概率比整個句子明顯低，那就說明這個位置或者說這個位置附近可能存在錯誤點，我們可以拿出來。其實這個應(yīng)該這里幾個方法中門檻最低的一個了，只需要語料，不需要挖掘覆蓋率足夠大的詞典，也不需要標(biāo)注樣本，直接可以做。

第三個想說的方法就是序列標(biāo)注的方法。分詞和NER其實都可以抽象為序列標(biāo)注問題，錯誤檢測也可以，簡單的其實就是整個句子中，有錯誤的標(biāo)注為1，沒錯誤的標(biāo)注為0，然后通過CRF之類的方法來進(jìn)行預(yù)測，從而完成抽取。這個能很好的把控準(zhǔn)確性，效果還是會比較好的，但問題在于這種標(biāo)注樣本，可能比常規(guī)的ner樣本更難拿到。

pycorrector我前面提到過，就用了上面1、2兩種方法，在開放域里面其實效果不錯，但是在垂域，我們就需要更多的語料甚至是重新構(gòu)建里面涉及的模型和詞典。

而在我的實踐中，又有如下的經(jīng)驗，大家可以參考：

錯誤檢測這塊由于只是糾錯系統(tǒng)中的其中一部分，后續(xù)還有大量的步驟可以控制，所以我們并不需要對這步做非常高的準(zhǔn)確性的要求，抱著“寧可錯殺也不放過”的思路去做，保證真正錯的部分能被拿出來即可，對準(zhǔn)確率可以很大程度的放松。

無論是上面哪種方法，檢測錯誤的時候都要注意，檢測出錯誤的位置可能不是真的問題點，而可能識別出來的未知的附近，因此要擴(kuò)大召回的話，附近的可以都挑出來試試一起處理。

候選召回

在指導(dǎo)錯誤的位置以后，我們就要開始對癥下藥了，那么，什么是可能的藥，我們就要開始找了，這就是候選召回的主要任務(wù)，針對錯誤點，我們找可能正確的結(jié)果。要找到正確的結(jié)果，主要是兩種方式：基于詞典的和基于NLG的。

基于詞典的方式是比較經(jīng)典而且在現(xiàn)在還是比較常用的方法，說白了我們就要去找一些詞匯，我們叫做“混淆集”，也就是一個簡單的kv對，遇到什么詞，我們就給出一些候選的結(jié)果，這個的結(jié)果非常簡單，但是挖掘會非常困難，搜索領(lǐng)域常用的方式就是共現(xiàn)query，大部分情況下，用戶會在沒有得到正確結(jié)果的時候修正結(jié)果重新搜索，所以共現(xiàn)query是一個非常好的挖掘資源。

基于詞典的方式糾錯的量總有上限，但是總有一些難以召回的情況，因此借助一些NLG的方式，可以擴(kuò)大召回，這個NLG，是一種文本生成的方式，可以根據(jù)上下文糾正的句子，給出一些可能的結(jié)果。但是這個方案的缺點是非常依賴平行樣本，即一個錯誤、一個正確的樣本，這個獲取往往會比較難。

候選排序

現(xiàn)在對一個我句子，我們手里都有很多候選的結(jié)果，這里的候選排序主要有兩個目的：

判斷這么多候選結(jié)果中選出最好的幾個。

最好的幾個相比原來的句子要足夠好，才能被糾。

這里，我們需要持續(xù)思考的是，這個排序規(guī)則改怎么定。

最簡單的方式就是使用語言模型的perplexity，即混淆度，這是用來一個句子他真的是句子的打分，一般而言這個正常無錯的句子ppl就會比較小，有錯的句子是ppl的比較大，可以用這個指標(biāo)來衡量最佳的糾錯結(jié)果是什么。

光一個ppl的評判是不夠的，不僅僅是ppl的相對量，還有絕對量，還有就是pl雖然下降但是還是很高，還有和ppl無關(guān)的因素，如拼音的相似度、和原句的相似度等，因此可以先升級為機(jī)器學(xué)習(xí)，把前面提到的指標(biāo)抽取為特征，通過簡單的機(jī)器學(xué)習(xí)進(jìn)行計算。

進(jìn)一步地，同樣可以使用平行樣本，通過深度學(xué)習(xí)的方式來衡量是否需要糾正。

其他相關(guān)

糾錯只是一個系統(tǒng)，我們要在里面添加很多的零件完成各個我們拆解的任務(wù)，我們來看看有什么需要做的事情：

語言模型。語言模型在糾錯中起到了至關(guān)重要的作用，因此一個好的語言模型非常重要，而影響語言模型效果的很大一塊因素就是數(shù)據(jù)，尤其是統(tǒng)計語言模型，通過調(diào)整數(shù)據(jù)集的分布，例如使用特定垂域的語料進(jìn)行訓(xùn)練，能有效提升最終的效果，但要注意不要把錯誤句子過多的引入到模型中。

混淆集?；煜糜诤蜻x召回，如果正確結(jié)果無法被召回，則效果會受到很大影響，因此我們需要通過多渠道挖掘，在github、知乎等網(wǎng)站，加上一些論文提到的數(shù)據(jù)中收集外部數(shù)據(jù)，同時通過用戶query，尤其是共現(xiàn)query來獲取一些用戶容易混淆的錯誤。有一篇文章提到了，混淆集是糾錯的上限，正確答案召回不到，好的錯誤檢測和候選排序都沒用。

規(guī)則。糾錯系統(tǒng)中需要大量的規(guī)則，錯誤檢測階段衡量錯誤的閾值我們要用規(guī)則卡，排序階段我們也需要一些提權(quán)降權(quán)保證最終我們需要的內(nèi)容能排在前面，例如一些專有名詞的保護(hù)，”電池“不能被改為”滇池“，”嬴政“不能被改為”行政“。這些規(guī)則看著簡單，但是要想提出這些規(guī)則，必須對數(shù)據(jù)有足夠的了解。

小結(jié)

一連幾篇討論了糾錯，對糾錯問題有了比較完整的理解，可以知道一個簡單的問題可以進(jìn)行細(xì)化然后構(gòu)建出完整的系統(tǒng)。最后我放幾篇比較好的參考文章，大家可以繼續(xù)深入閱讀。

平安糾錯：https://zhuanlan.zhihu.com/p/159101860

中文（語音結(jié)果）的文本糾錯綜述：https://blog.csdn.net/lipengcn/article/details/82556569?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-2