- 自然語言處理的技術難點與挑戰(zhàn)_發(fā)展現(xiàn)狀分析

四、自然語言處理技術——面臨的挑戰(zhàn)

隨著智能硬件技術與移動技術的蓬勃爆發(fā)，自然語言處理技術的應用趨勢也發(fā)生了變化。一方面用戶要求自然語言處理技術可以精準地理解自己的需求，而且直接給出最匹配的答案，而非簡單地給出Url讓用戶自己去找答案（起碼目前代表業(yè)內(nèi)較高水平的小度機器人還是這樣做的）。另一方面是需要自然語言處理技術可以與用戶進行對話式搜索與智能交互，例如針對“我到哪里可以買到漂亮衣服？”互聯(lián)網(wǎng)針對衣服款式的定位、價錢的定位等條件與用戶進行對話與交互，通過基于自然語言處理技術的搜索引擎來步步引導用戶，幫助用戶逐漸發(fā)現(xiàn)自己的真實需求，進而給出最優(yōu)答案。第三方面，需要自然語言處理技術對用戶進行“畫像”，提供“主動推薦、不問即得”的個性化推薦服務。由于每個人各個方面的生活需求（尤其是娛樂方面的需求）不盡相同，自然語言處理技術可以根據(jù)用戶的瀏覽歷史來挖掘用戶的喜好，進而針對用戶的喜好進行精準式推薦。

在這樣的需求下面，對于自然語言處理技術的未來發(fā)展提出了很大的挑戰(zhàn)。它要求未來的自然語言處理技術能夠做到：

· 1、需求識別。通過用戶提出了多種多樣的、復雜的、基于情感式的、語意模糊的需求進行深刻分析，精確地理解用戶的需求。

· 2、知識挖掘。經(jīng)過海量的網(wǎng)絡數(shù)據(jù)與知識的挖掘分析，將各種結構化、非結構化、半結構化的知識進行組織與梳理，最終以結構化、清晰化的知識形式完整地呈現(xiàn)給用戶。

· 3、用戶引導。這與對話式智能交互相關，不僅根據(jù)用戶的需求來提供“建議”，還能“猜測”用戶可能會有什么未想到、未提出的需求，從而“先人一步”為用戶提供相關的擴展信息。

· 4、結果組織和展現(xiàn)。由于用戶更加青睞直接的答案，答案的形式可以是唯一答案、聚合答案、圖片、多媒體的形式，這就要求自然語言處理技術能夠將挖掘出的信息進行有效地組織與整理，以條理化、簡潔化、直接化的形式呈現(xiàn)給用戶。?

五、自然語言處理技術——展望未來

在電影《Her》里，語音交互成為普遍的交互方式：孤獨的作家西奧多，有語音操控的隨身計算設備，用語音撰寫感人的書信安撫受傷人，還找到了“機器人女友”莎曼薩。我想，擁有一個貼心的“莎曼薩”，能做到“知我心、懂我意”，仿佛看到第二個自己，應該是很多人都會憧憬的事情。

展望2018年，自然語言處理技術還將沿著致力于實現(xiàn)智能化、人性化的搜索推薦、語音交互、語義理解的道路繼續(xù)前行。相信不僅會有更多技術難題被攻克，也會有越來越多類似于“莎曼薩”的產(chǎn)品問世。

隨著大數(shù)據(jù)技術的不斷發(fā)展，大規(guī)模語料樣本數(shù)據(jù)以驚人的數(shù)量不斷積累以及自然語言處理在深度學習方面的不斷深耕，目前業(yè)界已經(jīng)開始使用上萬小時的樣本進行模型訓練。不難預測，不久，自然語言處理技術發(fā)展將很快進入10萬小時數(shù)據(jù)樣本訓練階段，只有這樣，才能覆蓋千差萬別的用戶口音差異、多領域歧義語料數(shù)據(jù)以及復雜的語法規(guī)則。再考慮環(huán)境變化的影響，未來訓練語料量可能會突破100萬小時。未來，基于統(tǒng)計學的語義分析方法研究將會繼續(xù)深化，會隨著大規(guī)模語料樣本數(shù)據(jù)的不斷積累以及大數(shù)據(jù)挖掘技術、深度模型算法的不斷發(fā)展呈現(xiàn)質的飛躍。

隨著訓練數(shù)據(jù)量的迅速增加，如何實現(xiàn)大規(guī)模LSTM（長短時記憶模型）建模和CTC（連接時序分類）的有效訓練，會成為一個核心的技術難題。未來語音識別領域的深度學習將進入數(shù)百GPU并行訓練的狀態(tài)，理論創(chuàng)新和算法技術創(chuàng)新都將圍繞大數(shù)據(jù)展開。語音識別技術的研發(fā)方法，相對于現(xiàn)在必將發(fā)生深刻的變革。此外，CTC建模技術進一步降低了語音識別應用的解碼成本，隨著適合深度模型計算的專業(yè)硬件的大量涌現(xiàn)，語音識別云服務的成本將大量降低，從而推動語言處理與語音交互技術的更大范圍的普及。

?