Google最強(qiáng)模型BERT出爐

經(jīng)過近幾年的發(fā)展，深度學(xué)習(xí)給自然語言處理帶來了很多新的變化，包括 Word2Vec、ELMO、OpenAI GPT、Glove、Fasttext 等主流模型也在這一端時間內(nèi)涌現(xiàn)。直到最近 Google 發(fā)布的論文“ Pre-training of Deep Bidirectional Transformers for Language Understanding ”中提到的 BERT 模型又刷新了自然語言處理的 11 項(xiàng)記錄。

在不少人看來，BERT 對自然語言處理的研究具有里程碑式的意義，至少在復(fù)旦大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院副教授邱錫鵬看來：“證明了一個非常深的模型可以顯著提高 NLP 任務(wù)的準(zhǔn)確率，而這個模型可以從無標(biāo)記數(shù)據(jù)集中預(yù)訓(xùn)練得到?！?/p>

也正是因?yàn)槿绱?，深度學(xué)習(xí)的不可解釋性，在面對某個具體任務(wù)時進(jìn)行遷移學(xué)習(xí)是十分困難的，相對而言，基于知識圖譜的自然語言理解則是可解釋性的，更加類似于人類思考過程的技術(shù)。BERT 的出現(xiàn)或?qū)μ岣咧R圖譜質(zhì)量，并進(jìn)一步提高自然語言處理的質(zhì)量將非常有幫助。

于是，在以移動互聯(lián)網(wǎng)為基礎(chǔ)高速發(fā)展的背景之下，人們獲取信息并進(jìn)行傳播的渠道越來越豐富、數(shù)據(jù)量也越來越巨大，如何更好地進(jìn)行人機(jī)語言交互，讓機(jī)器既能聽懂又能學(xué)會遷移？如智能客服、對話機(jī)器人已作為主要落地方式被應(yīng)用于電商、游戲、金融等場景。

今年7月，思必馳北京研發(fā)院首先提出了啟發(fā)式對話系統(tǒng)的框架，通過話題路徑規(guī)劃和知識點(diǎn)推薦模型，實(shí)現(xiàn)信息傳播和目標(biāo)引導(dǎo)，可以幫助企業(yè)快速構(gòu)建信息服務(wù)對話機(jī)器人，并能大幅提升關(guān)鍵信息的用戶觸達(dá)能力。

此外，自然語言處理還在搜索、推薦、翻譯等文本類場景上有著更為廣泛的落地，放在目前來看，如國外的 Facebook、微軟必應(yīng)等，國內(nèi)的阿里、今日頭條等不少門戶類公司都有自己相對完備的搜索、推薦系統(tǒng)。

現(xiàn)在，CSDN 就為大家提供了這樣一個機(jī)會，讓你能夠聆聽以上公司在自然語言處理方面的最新技術(shù)實(shí)踐，并有機(jī)會與它們的資深技術(shù)人員面對面交流。

2018 年 11 月 8-9 日，由中國 IT 社區(qū) CSDN 與硅谷 AI 社區(qū) AICamp 聯(lián)合出品的 2018 AI 開發(fā)者大會（AI NEXTCon）將于北京召開。

本次大會設(shè)有“自然語言處理技術(shù)專場”，我們很榮幸邀請到在研究和工業(yè)界都極富盛名的一線技術(shù)專家們：思必馳北京研發(fā)院院長、公司副總裁 初敏、Facebook語音識別科學(xué)家 Baiyang Liu、字節(jié)跳動高級技術(shù)總監(jiān)和杰出科學(xué)家 Xiaobing Liu、阿里巴巴智能服務(wù)事業(yè)部北京團(tuán)隊(duì)負(fù)責(zé)人 孫健、微軟（亞洲）互聯(lián)網(wǎng)工程院資深應(yīng)用科學(xué)研發(fā)總監(jiān)陳一寧。

下面重磅介紹自然語言處理技術(shù)專題的講師團(tuán)和他們的議題概要：

初敏：思必馳北京研發(fā)院院長、公司副總裁

演講主題：啟發(fā)式對話助力企業(yè)服務(wù)智能化

初敏博士畢業(yè)于中科院聲學(xué)所，主要研究方向覆蓋語音識別與合成、自然語言處理、機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘、大數(shù)據(jù)處理和計算等，在相關(guān)領(lǐng)域發(fā)表了近百篇學(xué)術(shù)論文并取得30多項(xiàng)國內(nèi)外專利。

2000年，初敏博士加入微軟亞洲研究院，從事科學(xué)研究近10年，創(chuàng)建并領(lǐng)導(dǎo)語音合成研究小組，研制出了第一個中英文雙語語音合成系統(tǒng)“木蘭”；2009年入職阿里云，承擔(dān)過各種大數(shù)據(jù)應(yīng)用項(xiàng)目。從2014開始，組建阿里iDST智能語音交互團(tuán)隊(duì)，在短短兩年時間，完成語音交互全鏈路技術(shù)的研發(fā)和應(yīng)用落地，他們的技術(shù)在淘寶客服、支付寶客服、Yun OS、手機(jī)支付寶、手機(jī)淘寶、釘釘?shù)?a target="_blank">產(chǎn)品廣泛應(yīng)用；2017年加入思必馳，擔(dān)任思必馳公司副總裁，組建思必馳北京研發(fā)院并擔(dān)任院長，負(fù)責(zé)語音合成、自然語言處理等核心技術(shù)的研發(fā)，以及智能語音交互技術(shù)在企業(yè)服務(wù)智能化等新場景的產(chǎn)品研發(fā)和業(yè)務(wù)拓展。

Baiyang Liu：Facebook語音識別科學(xué)家

演講議題：自然語言理解在Facebook的應(yīng)用與實(shí)踐

Baiyang Liu是Facebook語音識別研究科學(xué)家。自2015年初以來，他一直致力于建立眾多支持Facebook AI產(chǎn)品的話語理解和對話系統(tǒng)。在此之前，Baiyang是亞馬遜語音識別系統(tǒng)的早期機(jī)器學(xué)習(xí)工程師之一。他獲得計算機(jī)科學(xué)博士學(xué)位，主攻計算機(jī)視覺領(lǐng)域。

Xiaobing Liu：字節(jié)跳動高級技術(shù)總監(jiān)和杰出科學(xué)家

演講議題：大規(guī)模深度學(xué)習(xí)和序列模型的研究及應(yīng)用

Xiaobing Liu，自2014年起擔(dān)任Google Brain Staff軟件工程師和機(jī)器學(xué)習(xí)研究員。工作中，他專注于TensorFlow以及一些可以應(yīng)用深度學(xué)習(xí)來改進(jìn)Google產(chǎn)品的關(guān)鍵應(yīng)用，如Google Ads、Google Play推薦、Google翻譯、醫(yī)學(xué)大腦等。他的研究興趣從系統(tǒng)到應(yīng)用機(jī)器學(xué)習(xí)如ASR、機(jī)器翻譯、醫(yī)學(xué)HER建模、推薦建模。他的研究成果已成功應(yīng)用于雅虎、騰訊、Google的各類商業(yè)產(chǎn)品。他曾擔(dān)任2017年ACL計劃委員會和2017年AAAI會議主席，負(fù)責(zé)包括一些頂級會議的部分出版物。

孫 健：阿里巴巴智能服務(wù)事業(yè)部北京團(tuán)隊(duì)負(fù)責(zé)人

演講議題：關(guān)于人機(jī)對話交互的反思、實(shí)踐和未來展望

孫健，阿里巴巴智能服務(wù)事業(yè)部北京團(tuán)隊(duì)負(fù)責(zé)人。他主導(dǎo)的自然語言處理基礎(chǔ)平臺有力支撐和服務(wù)了淘寶搜索、阿里媽媽廣告等核心業(yè)務(wù)，主導(dǎo)了阿里巴巴自然交互平臺（Natural User Interface, NUI）的設(shè)計開發(fā)，NUI平臺廣泛應(yīng)用于天貓魔盒、互聯(lián)網(wǎng)汽車等各種設(shè)備中。目前他正帶領(lǐng)團(tuán)隊(duì)打造面向全行業(yè)的企業(yè)智能服務(wù)對話機(jī)器人(云小蜜)，從而讓每一家企業(yè)/組織能夠及時響應(yīng)用戶的需求，與用戶進(jìn)行7*24的自然交互。

陳一寧：微軟（亞洲）互聯(lián)網(wǎng)工程院資深應(yīng)用科學(xué)研發(fā)總監(jiān)

演講議題：搜索中的自然語言先驗(yàn)知識

陳一寧是清華大學(xué)博士，主要研發(fā)方向涵蓋語音識別與合成、自然語言處理、人工智能、大數(shù)據(jù)等方向，并在相關(guān)領(lǐng)域發(fā)表多篇論文并取得多項(xiàng)專利。2004年，陳一寧博士加入微軟亞洲研究院，從事語音合成方面的研究。2009年加入阿里巴巴，負(fù)責(zé)多項(xiàng)算法工作，是神馬搜索的共同創(chuàng)始人，并曾負(fù)責(zé)iDST智能語音方向的商業(yè)化。2017年加入微軟互聯(lián)網(wǎng)工程院，從事自然語言處理相關(guān)的研發(fā)工作。

除了語音技術(shù)專題之外，我們還為大家準(zhǔn)備了“語音技術(shù)”、“機(jī)器學(xué)習(xí)工具”、“數(shù)據(jù)分析”、“機(jī)器學(xué)習(xí)”、“計算機(jī)視覺”、“知識圖譜”等技術(shù)專題，以及“智慧金融”、“智能駕駛”、“智慧醫(yī)療”等行業(yè)峰會。大會完整日程以及嘉賓議題請查看下方海報。