基于語義感知的中文短文本摘要生成技術(shù)

　　文本摘要生成技術(shù)能夠從海量數(shù)據(jù)中概括岀關(guān)鍵信息，有效解決用戶信息過載的問題。目前序列到序列模型被廣泛應(yīng)用于英文文本摘要生成領(lǐng)域，而在中文文本摘要生成領(lǐng)域沒有對該模型進行深λ硏究。對于傳統(tǒng)的序列到序列模型，解碼器通過注意力機制將編碼器輸岀的毎一個詞的隱藏狀態(tài)作為原始文本完整的語乂信息來生成摘要，但是編碼器輸岀的毎一個詞的隱藏狀態(tài)僅包含前、后詞的語義信息，不包含原始文本完整的語義信息，導(dǎo)致生成摘要缺失原始文本的核心信息，影響生成摘要的準確性和可讀性。為此，文中提出基于語義感知的中文短文本摘要生成模型SA-Seq2Seq，以結(jié)合注意力機制的序列到序列模型為基礎(chǔ)，通過使用預(yù)訓(xùn)練模型BERT，在編碼器中將中文短文本作為整體語義信息引入，使得毎一個詞包含整體語義信息;在解碼器中將參考摘要作為目標語義信息計算語義不一致?lián)p失，以確保生成摘要的語義完整性。采用中文短文本摘要數(shù)據(jù)集 LCSTS進行實驗，結(jié)果表明，模型 Sa-seq2Seq在評估標準 ROUGE上的效果相對于基準模型有顯著提高，其 ROUGE-，ROUGE2和 ROUGE-I評分在基于字符處理的數(shù)據(jù)集上分別提升了3.4%，7.1%和6.1%，在基于詞語處理的數(shù)據(jù)集上分別提升了2.7%，5.4%和11.7%，即模型SA-Seq2Seq能夠更有效地融合中文短文本的整體語義信息，挖掘其關(guān)鍵信息，確保生成摘要的流暢性和連貫性，可以應(yīng)用于中文短文本摘要生成任務(wù)。