企業(yè)級(jí)生成式AI應(yīng)用，如何克服“幻覺(jué)”問(wèn)題

“最近我被問(wèn)到最多的一個(gè)問(wèn)題，是 IBM 現(xiàn)在還在做 AI 嗎？我想告訴大家的是，IBM 是一家混合云與 AI 公司，我們一直在做 AI，并且專門(mén)做企業(yè)級(jí) AI?！盜BM 大中華區(qū)首席技術(shù)官、研發(fā)中心總經(jīng)理謝東在日前接受媒體采訪時(shí)強(qiáng)調(diào)。

面對(duì)今年以來(lái)熱度一路狂飆的生成式 AI，作為 AI 發(fā)展史上的重要參與者，IBM 并沒(méi)有“閑著”。今年 5 月，IBM 發(fā)布了企業(yè)級(jí) AI 和數(shù)據(jù)平臺(tái) watsonx；自 7 月份以來(lái)，各個(gè)模塊陸續(xù)上市；預(yù)計(jì)在今年年底到明年初，全部功能模塊將會(huì)上市。其中，watsonx.data 的 premise 版本現(xiàn)在已經(jīng)可以提供給中國(guó)客戶。

如謝東強(qiáng)調(diào)，IBM 在其中錨定的依舊是“企業(yè)級(jí)”市場(chǎng)，延續(xù)長(zhǎng)期以來(lái)的產(chǎn)品和生態(tài)定位。

然而，企業(yè)級(jí) AI 應(yīng)用與個(gè)人 AI 應(yīng)用需求之間存在巨大差異，對(duì)技術(shù)本身的要求也不在一個(gè)量級(jí)。僅拿當(dāng)下生成式 AI 應(yīng)用最讓人詬病的“AI 幻覺(jué)”問(wèn)題來(lái)說(shuō)，放在企業(yè)級(jí)生產(chǎn)環(huán)境，對(duì)此幾乎是“零容忍”。

根據(jù) IBM 商業(yè)價(jià)值研究院最近發(fā)布的面向全球超過(guò) 30 個(gè)國(guó)家和地區(qū)、超過(guò) 3000 名 CEO 的調(diào)研報(bào)告顯示，61% 的受訪 CEO 表達(dá)了對(duì)生成式 AI 中所使用的數(shù)據(jù)來(lái)源的擔(dān)憂。

“這一擔(dān)憂側(cè)面反映了企業(yè) AI 應(yīng)用之路面臨著重重挑戰(zhàn)：首先是技術(shù)挑戰(zhàn)，尤其是數(shù)據(jù)的準(zhǔn)備、應(yīng)用和治理；第二是人才挑戰(zhàn)，企業(yè)需要快速實(shí)現(xiàn)人員技能的轉(zhuǎn)型和提升，來(lái)?yè)肀?AI 浪潮；第三是文化挑戰(zhàn)，技能的轉(zhuǎn)型往往伴隨組織文化的更新，如何讓二者互相成就、帶來(lái)生產(chǎn)力的提高，這需要優(yōu)秀的管理智慧?！盜BM 大中華區(qū)董事長(zhǎng)、總經(jīng)理陳旭東指出。

據(jù)此，在 IBM 看來(lái)，在企業(yè)落地 AI 應(yīng)用有三個(gè)關(guān)鍵點(diǎn)：聚焦自身的業(yè)務(wù)需求、使用企業(yè)自己的數(shù)據(jù)、量身定制生成式 AI 解決方案和模型。那么，IBM watsonx 究竟是什么？又如何滿足企業(yè)級(jí) AI 應(yīng)用的如上需求？本文將為大家揭曉。

企業(yè)使用 AI，關(guān)注的是它“不能做什么”和“不允許做什么”

從“AI 幻覺(jué)”問(wèn)題說(shuō)起。

企業(yè)使用 AI，不只是關(guān)心它“能做什么”，更要關(guān)注的是它“不能做什么”，以及“不允許它做什么”。AI 的可信性、可解釋性非常關(guān)鍵。因?yàn)槠髽I(yè)決策與經(jīng)營(yíng)直接相關(guān)，企業(yè)使用 AI，要避免給業(yè)務(wù)帶來(lái)技術(shù)風(fēng)險(xiǎn)，因此對(duì)智能分析的準(zhǔn)確率要求高，容錯(cuò)率低。

在謝東看來(lái)，消滅“幻覺(jué)”歸根結(jié)底要從最初的數(shù)據(jù)抓起。“想讓 AI 的回答是正確的，至少要保證訓(xùn)練的數(shù)據(jù)是干凈合規(guī)的，數(shù)據(jù)本身的完整性、信息量要合乎要求。”他告訴 InfoQ。

IBM watsonx 正在試圖解決這些問(wèn)題。根據(jù)官方釋義，它提供一個(gè)包括 AI 開(kāi)發(fā)平臺(tái) watsonx.ai、數(shù)據(jù)存儲(chǔ)平臺(tái) watsonx.data 和 AI 治理平臺(tái) watsonx.governance。

其中，watsonx.data 針對(duì)企業(yè)中海量且復(fù)雜的數(shù)據(jù)，可以通過(guò)集中治理和本地自動(dòng)化策略實(shí)施來(lái)確保數(shù)據(jù)的安全性和合規(guī)性；此外，watsonx.governance 還采用了軟件自動(dòng)化來(lái)幫助企業(yè)增強(qiáng)能力以降低風(fēng)險(xiǎn)、滿足監(jiān)管要求和應(yīng)對(duì) AI 倫理問(wèn)題，使得企業(yè)能夠自動(dòng)化和整合多個(gè)工具、應(yīng)用程序和平臺(tái)，同時(shí)可以記錄數(shù)據(jù)集、模型、相關(guān)元數(shù)據(jù)和管道的來(lái)源。

“另一方面，幻覺(jué)的產(chǎn)生是因?yàn)樵诖竽Ｐ椭腥笔Я讼鄳?yīng)的信息，克服的方法是使用企業(yè)自己的數(shù)據(jù)，把企業(yè)的數(shù)據(jù)輸入給它，這樣至少可以在特定業(yè)務(wù)領(lǐng)域減少幻覺(jué)的產(chǎn)生?！敝x東補(bǔ)充說(shuō)。

據(jù)了解，除了原始數(shù)據(jù)和專有數(shù)據(jù)，企業(yè)還可以帶入自己的數(shù)據(jù)來(lái)豐富和改進(jìn)他們的目標(biāo)模型，所有數(shù)據(jù)都存儲(chǔ)在 watsonx.data 中，其中包含有關(guān)每個(gè)文件或文檔的詳細(xì)元數(shù)據(jù)，以提供可追溯的治理。在數(shù)據(jù)的過(guò)濾和處理過(guò)程中，平臺(tái)首先會(huì)識(shí)別數(shù)據(jù)的來(lái)源和 ID，然后對(duì)數(shù)據(jù)進(jìn)行分類和過(guò)濾，對(duì)重復(fù)數(shù)據(jù)和不合規(guī)數(shù)據(jù)進(jìn)行分析和清除。并且，對(duì)數(shù)據(jù)進(jìn)行版本控制和標(biāo)記。在過(guò)濾和預(yù)處理后，每個(gè)數(shù)據(jù)集都會(huì)獲得一個(gè)數(shù)據(jù)名片。數(shù)據(jù)名片包含數(shù)據(jù)堆的名稱和版本，以及其內(nèi)容和已應(yīng)用的過(guò)濾器等其他相關(guān)內(nèi)容。

“換句話說(shuō)，IBM 非常清楚自己用于訓(xùn)練模型所有的數(shù)據(jù)及其版本，也會(huì)告訴用戶我們的模型是由哪些數(shù)據(jù)訓(xùn)練而來(lái)，并且后期還有很多調(diào)優(yōu)的工作，以此增強(qiáng)用戶對(duì)模型的信心?！敝x東進(jìn)一步解釋。

事實(shí)上，從現(xiàn)階段來(lái)看，幾乎所有生成式模型都可能產(chǎn)生幻覺(jué)，都會(huì)給出一些不相關(guān)或不準(zhǔn)確的答案。尤其典型的是，當(dāng)提示模型去處理一個(gè)它沒(méi)有接受過(guò)訓(xùn)練的題目或者用的訓(xùn)練集數(shù)據(jù)不足時(shí)，AI 幻覺(jué)很難不發(fā)生。

對(duì)此，據(jù) IBM 透露，其內(nèi)部還在研究一種降低 AI 幻覺(jué)風(fēng)險(xiǎn)的方法，名為“檢索增強(qiáng)生成”，意在使模型能夠在生成答案之前從知識(shí)庫(kù)中檢索相關(guān)數(shù)據(jù)。

IBM 大中華科技事業(yè)部數(shù)據(jù)人工智能、自動(dòng)化中國(guó)華南與華東大區(qū)總經(jīng)理許偉杰表示，IBM 正在通過(guò)模型融合進(jìn)一步解決這一問(wèn)題。“大語(yǔ)言模型所做的最重要的一件事是語(yǔ)義理解，目前我們正在通過(guò)語(yǔ)義識(shí)別，基于 IBM watsonx 能力做精準(zhǔn)答案確定。也就是說(shuō)，利用通用語(yǔ)言大模型的方式了解語(yǔ)義，幫助既有的模型實(shí)現(xiàn)既有答案的匹配，再回溯給語(yǔ)義大模型?！?/p>

基礎(chǔ)模型帶來(lái)拐點(diǎn)，數(shù)據(jù)無(wú)需再打標(biāo)簽

值得一提的是，IBM watsonx 平臺(tái)聚焦于特定業(yè)務(wù)領(lǐng)域的基礎(chǔ)模型?；A(chǔ)模型基于特定類型的 Transformer 神經(jīng)網(wǎng)絡(luò)架構(gòu)而構(gòu)建，為生成相關(guān)數(shù)據(jù)元素的序列（例如句子）而設(shè)。非常重要的一點(diǎn)在于，Transformer 架構(gòu)能夠幫助基礎(chǔ)模型理解未標(biāo)記數(shù)據(jù)，并將輸入轉(zhuǎn)換為輸出，從而生成新的內(nèi)容（ChatGPT 就是基于 Transformer 架構(gòu)開(kāi)發(fā)）。

“以前基于深度學(xué)習(xí)、機(jī)器學(xué)習(xí)的算法，通常要對(duì)海量數(shù)據(jù)打標(biāo)簽，再交給機(jī)器進(jìn)行學(xué)習(xí)。并且，經(jīng)過(guò)學(xué)習(xí)和部署，這個(gè)模型也只能做一個(gè)特定的事情，比如用于人臉識(shí)別或者下棋?！敝x東解釋道。

換言之，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的痛點(diǎn)在于，前期工作巨大，但最終輸出的算法模型能應(yīng)用的范圍非常局限，“性價(jià)比”不高。

有別于此，基礎(chǔ)模型允許在大量未標(biāo)記的數(shù)據(jù)上進(jìn)行訓(xùn)練，可以適應(yīng)新的場(chǎng)景和用例。盡管基礎(chǔ)模型也需要前期大量投資，但每次使用時(shí)，它都會(huì)攤銷 AI 模型構(gòu)建的初始工作，因?yàn)槲⒄{(diào)基于基礎(chǔ)模型構(gòu)建的其他模型的數(shù)據(jù)要求要比從頭開(kāi)始構(gòu)建低得多。這既可以大幅提高投資回報(bào)率（ROI），又可以大大縮短上市時(shí)間。

因此，在 IBM 看來(lái)，基礎(chǔ)模型把 AI 技術(shù)發(fā)展帶到一個(gè)拐點(diǎn)——使企業(yè)級(jí) AI 的加速和擴(kuò)展成為可能。

“我們認(rèn)為，相較于通用大語(yǔ)言模型，企業(yè)應(yīng)該更加關(guān)注基礎(chǔ)模型?！敝x東解釋道，“在企業(yè)應(yīng)用 AI 的時(shí)候，除了大語(yǔ)言模型，還會(huì)有不同的應(yīng)用場(chǎng)景，包括 IT 自動(dòng)化模型、數(shù)字勞動(dòng)力的模型、網(wǎng)絡(luò)安全模型等等，這些不同的專業(yè)模型支撐了這些企業(yè)級(jí)應(yīng)用。”

據(jù)了解，IBM 目前正在構(gòu)建一系列針對(duì)多種類型的業(yè)務(wù)數(shù)據(jù)進(jìn)行訓(xùn)練的特定領(lǐng)域的基礎(chǔ)模型，包括代碼、時(shí)間序列數(shù)據(jù)、表格數(shù)據(jù)、地理空間數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和混合模態(tài)數(shù)據(jù)（如文本與圖像的組合）。IBM 認(rèn)為，這些基礎(chǔ)模型的靈活性和可擴(kuò)展性將顯著加速企業(yè)對(duì) AI 的采用。

在今年 7 月舉辦的 2023 溫網(wǎng)錦標(biāo)賽上，IBM 已經(jīng)利用 watsonx 為大賽所有視頻集錦提供生成式 AI 解說(shuō)，并且，基于 IBM AI Draw Analysis 提供的一套全新的統(tǒng)計(jì)數(shù)據(jù)，還可以使用 AI 來(lái)預(yù)測(cè)單打抽簽中每個(gè)球員進(jìn)入決賽的可能性。

大模型不一定越“大”越好

有了基礎(chǔ)模型，下一個(gè)解決的問(wèn)題是，企業(yè)如何根據(jù)自身的業(yè)務(wù)需求，選擇適用的模型。謝東強(qiáng)調(diào)，所謂“適用”，意味著模型不一定越“大”越好。因?yàn)?，企業(yè)在任何技術(shù)領(lǐng)域的投入都是以驅(qū)動(dòng)經(jīng)營(yíng)為目的，更在乎其中的投入產(chǎn)出比。

一方面，雖然模型越“大”，其知識(shí)和能力也越強(qiáng)，但是成本投入也是巨大的。對(duì)于企業(yè)而言，很多應(yīng)用場(chǎng)景的落地并不在于模型本身大小，而在于多大程度符合企業(yè)特定要求，能不能很好地完成任務(wù)，匹配業(yè)務(wù)目標(biāo)；

另一方面，支持一個(gè)大模型的訓(xùn)練和運(yùn)行非常消耗算力，模型上線之后，企業(yè)業(yè)務(wù)本身仍然在不斷變化，這要求模型具備適應(yīng)性和可擴(kuò)展性，系統(tǒng)能力也要不斷學(xué)習(xí)和進(jìn)化。而出于運(yùn)維成本的考慮，“小”模型反而比“大”模型更加節(jié)約且靈活。

“在這個(gè)過(guò)程中，基礎(chǔ)模型要演化出各種不同應(yīng)用，還需要有新的自動(dòng)化工具和項(xiàng)目管理方法，實(shí)現(xiàn)持續(xù)的訓(xùn)練、調(diào)試、部署等工作?！敝x東舉例，IBM watsonx 就是這樣一個(gè)平臺(tái)工具，IBM 希望借此減輕企業(yè)的 AI 負(fù)擔(dān)，讓企業(yè)可以更輕松地實(shí)現(xiàn)大規(guī)模開(kāi)發(fā)、調(diào)整和部署企業(yè)級(jí) AI。

舉例來(lái)說(shuō)，基于 watsonx.ai，AI 開(kāi)發(fā)者就可以利用 IBM 自有的模型和 Hugging Face 的模型來(lái)完成一系列 AI 開(kāi)發(fā)任務(wù)。這些模型經(jīng)過(guò)預(yù)訓(xùn)練，可以支持一系列自然語(yǔ)言處理 （NLP） 類型的任務(wù)，包括問(wèn)答、內(nèi)容生成和摘要、文本分類和提取。據(jù)了解，未來(lái)的版本還將提供更多由 IBM 訓(xùn)練的針對(duì)提升相關(guān)領(lǐng)域效率和任務(wù)專業(yè)化的專有基礎(chǔ)模型的訪問(wèn)。

事實(shí)上，多年來(lái)，IBM 一直在幫助企業(yè)把 AI 部署到核心應(yīng)用中，從而增強(qiáng)企業(yè)生產(chǎn)力。據(jù)菜鳥(niǎo)科技首席科學(xué)家、菜鳥(niǎo)物流科技部算法總監(jiān)王子豪介紹，菜鳥(niǎo)與 IBM 在 AI 開(kāi)放和賦能方面有很多共性，菜鳥(niǎo)物流最早在快遞行業(yè)提出了神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的大規(guī)模地址分單技術(shù)，并且陸續(xù)在倉(cāng)儲(chǔ)、客服、供應(yīng)鏈等環(huán)節(jié)實(shí)現(xiàn)了廣泛的智能化升級(jí)，包括在倉(cāng)儲(chǔ)場(chǎng)景應(yīng)用機(jī)器視覺(jué)、推出物流智能客服和快遞末端地理大模型、基于決策智能技術(shù)構(gòu)建菜鳥(niǎo)全球供應(yīng)鏈網(wǎng)絡(luò)等等。并且，菜鳥(niǎo)還在無(wú)錫構(gòu)建了亞洲最大規(guī)模的智能調(diào)度現(xiàn)場(chǎng)，最高峰期可以調(diào)度同時(shí) 1000 臺(tái)飛機(jī)。

但是，隨著基礎(chǔ)模型的演進(jìn)，以及生成式 AI 的興起，的的確確給各行業(yè) AI 的規(guī)模化廣泛應(yīng)用帶來(lái)了新的變化。

謝東強(qiáng)調(diào)：“我們需要從以前數(shù)據(jù)為先的‘+AI’時(shí)代邁入 AI 為先的‘AI+’時(shí)代。這個(gè)說(shuō)法不光是一個(gè)加號(hào)在前在后，當(dāng)我們說(shuō) +AI 的時(shí)候，注重的是以數(shù)據(jù)為中心，企業(yè)是在數(shù)據(jù)應(yīng)用的層面上附加一些 AI 的能力。而當(dāng)我們走到 AI+ 的階段，意味著企業(yè)需要建立起 AI 的基礎(chǔ)能力，在這基礎(chǔ)上，我們需要進(jìn)一步結(jié)合企業(yè)自身的數(shù)據(jù)和不同的業(yè)務(wù)目標(biāo)，構(gòu)建新的核心應(yīng)用?！?/p>

寫(xiě)在最后

對(duì)于企業(yè)而言，IBM watsonx 是一個(gè)全新的 AI 和數(shù)據(jù)平臺(tái)工具，那么，如何才能讓這個(gè)工具“物盡其用”？

除了搞定數(shù)據(jù)質(zhì)量、數(shù)據(jù)共享的問(wèn)題之外，IBM Consulting 大中華區(qū)總裁陳科典表示，企業(yè)中還必須具備相應(yīng)的文化、人才和制度?！捌髽I(yè)需要去提升內(nèi)部人才的能力，培養(yǎng)新的文化，如此以來(lái)，才能讓內(nèi)部對(duì)生成式 AI 的信心越來(lái)越充足，那么，更多的場(chǎng)景才會(huì)被創(chuàng)造出來(lái)?！?/p>

具體而言，IBM 認(rèn)為在生成式 AI 的技術(shù)背景下，相關(guān)技術(shù)人員需要至少具備兩類能力：一是理解業(yè)務(wù)場(chǎng)景，能夠針對(duì)業(yè)務(wù)目標(biāo)，對(duì)模型進(jìn)行訓(xùn)練和調(diào)整；二是理解企業(yè)自己的數(shù)據(jù)，知道數(shù)據(jù)分布在哪里，使用過(guò)程中的標(biāo)準(zhǔn)和規(guī)則等等。

IBM 大中華區(qū)客戶成功管理部總經(jīng)理朱輝強(qiáng)調(diào)，“生成式 AI 的應(yīng)用現(xiàn)在基本還處于‘打開(kāi)腦洞’的階段，所以我們特別強(qiáng)調(diào)共創(chuàng)。因?yàn)橛袠?gòu)建大模型能力的人，不一定擁有業(yè)務(wù)場(chǎng)景的支持，而擁有業(yè)務(wù)場(chǎng)景的企業(yè)，也不一定具有建設(shè)大模型的能力。這也是 IBM 一直以來(lái)的戰(zhàn)略定位，熱衷于提供基礎(chǔ)能力，與合作伙伴和客戶共創(chuàng)解決方案，從而解決客戶的問(wèn)題。而不是拿出一個(gè)現(xiàn)成方案，告訴別人這就是你應(yīng)該要的東西。