聊聊AI研發(fā)的七大支柱

在技術(shù)飛速發(fā)展、信息消費(fèi)呈指數(shù)級(jí)增長的時(shí)代，企業(yè)在管理、檢索和利用知識(shí)方面有許多新的機(jī)會(huì)。生成式 AI（AIGC）和知識(shí)檢索機(jī)制的集成正在徹底改變知識(shí)管理，使其更具動(dòng)態(tài)性和易用性。生成式 AI 為企業(yè)提供了更有效的方式來捕獲和檢索機(jī)構(gòu)知識(shí)，通過減少查找信息所花費(fèi)的時(shí)間來提高用戶生產(chǎn)力 副駕駛（copilots）將數(shù)據(jù)注入大型語言模型 （LLM） 以改進(jìn)響應(yīng)生成過程。這個(gè)過程可以描述如下：系統(tǒng)接收一個(gè)查詢（例如，一個(gè)提問），然后在響應(yīng)之前，從與查詢相關(guān)的指定數(shù)據(jù)源中獲取相關(guān)信息，并使用組合的內(nèi)容和查詢來指導(dǎo)LLM生成適當(dāng)?shù)捻憫?yīng)。

副駕駛的力量在于它們的適應(yīng)性，特別是其能無縫、安全地利用內(nèi)部和外部數(shù)據(jù)源的無與倫比的能力。這種動(dòng)態(tài)的、不斷更新的集成不僅提高了企業(yè)知識(shí)的可訪問性和可用性，還提高了企業(yè)對(duì)不斷變化的需求的效率和響應(yīng)能力。 盡管基于副駕駛模式的解決方案令人興奮，但對(duì)于企業(yè)來說，仔細(xì)考慮設(shè)計(jì)元素以設(shè)計(jì)長久的、適應(yīng)性強(qiáng)且有效的方法非常重要。AI 開發(fā)人員如何確保其解決方案不僅能吸引注意力，還能提高客戶參與度？以下是在構(gòu)建自定義副駕駛（custom copilots）時(shí)需要考慮的七大支柱。 ? ?

1.?檢索：大規(guī)模數(shù)據(jù)引入 數(shù)據(jù)連接器（Data connectors）對(duì)于旨在使用副駕駛跨多個(gè)專家系統(tǒng)利用其數(shù)據(jù)的深度和廣度的企業(yè)至關(guān)重要。這些連接器充當(dāng)不同數(shù)據(jù)孤島之間的網(wǎng)關(guān)，連接有價(jià)值的信息，在統(tǒng)一的搜索體驗(yàn)中提供可訪問性和可操作性。開發(fā)人員可以在其企業(yè)數(shù)據(jù)的基礎(chǔ)上建立模型，并使用 Microsoft Fabric 無縫集成結(jié)構(gòu)化、非結(jié)構(gòu)化和實(shí)時(shí)數(shù)據(jù)。 對(duì)于副駕駛來說，數(shù)據(jù)連接器不再只是工具。它們是不可或缺的資產(chǎn)，使企業(yè)實(shí)時(shí)、全面的知識(shí)管理成為切實(shí)的現(xiàn)實(shí)。

2. 擴(kuò)充：元數(shù)據(jù)和基于角色的身份驗(yàn)證 擴(kuò)充（enrichment）是增強(qiáng)、優(yōu)化和評(píng)估原始數(shù)據(jù)的過程。在 LLM 的上下文中，擴(kuò)充通常圍繞著添加上下文層、優(yōu)化數(shù)據(jù)以實(shí)現(xiàn)更精確的 AI 交互以及數(shù)據(jù)完整性。這有助于將原始數(shù)據(jù)轉(zhuǎn)化為有價(jià)值的資源。 在構(gòu)建自定義副駕駛時(shí)，擴(kuò)充有助于數(shù)據(jù)在應(yīng)用程序之間更容易交換和更好的準(zhǔn)確性。

通過豐富數(shù)據(jù)，生成式 AI 應(yīng)用程序可以提供上下文感知交互。 LLM 驅(qū)動(dòng)的功能通常依賴于特定的專有數(shù)據(jù)。簡化從多個(gè)來源引入數(shù)據(jù)對(duì)于創(chuàng)建平滑有效的模型至關(guān)重要。為了使擴(kuò)充更加動(dòng)態(tài)，引入模板可能是有益的。模板化意味著制作一個(gè)基本的提示結(jié)構(gòu)，可以實(shí)時(shí)填充必要的數(shù)據(jù)，從而保護(hù)和定制人工智能交互。 數(shù)據(jù)擴(kuò)充和分塊的綜合優(yōu)勢可提高 AI 質(zhì)量，尤其是在處理大型數(shù)據(jù)集時(shí)。使用豐富的數(shù)據(jù)，檢索機(jī)制可以掌握不同文化、語言和特定領(lǐng)域的細(xì)微差別。這導(dǎo)致了更準(zhǔn)確、多樣化和適應(yīng)性更強(qiáng)的響應(yīng)，彌合了機(jī)器理解和人類交互之間的差距。

3. 搜索：在數(shù)據(jù)迷宮中導(dǎo)航 高級(jí)嵌入模型正在改變我們理解搜索的方式。通過將單詞或文檔轉(zhuǎn)換為向量，這些模型可以捕獲它們之間的內(nèi)在含義和關(guān)系。Azure AI 搜索通過矢量搜索功能進(jìn)行了增強(qiáng)，是這一轉(zhuǎn)變的領(lǐng)導(dǎo)者。將 Azure AI 搜索與語義重新排名功能結(jié)合使用，無論用戶的確切搜索關(guān)鍵字如何，都可以為用戶提供上下文相關(guān)的結(jié)果。

借助副駕駛，搜索過程可以利用內(nèi)部和外部資源，無需進(jìn)行大量模型訓(xùn)練即可吸收新信息。通過不斷整合最新的可用知識(shí)，響應(yīng)不僅準(zhǔn)確，而且具有深刻的背景信息，為搜索解決方案的競爭優(yōu)勢奠定了基礎(chǔ)。 搜索的基礎(chǔ)涉及廣泛的數(shù)據(jù)引入，包括源文檔檢索、數(shù)據(jù)分段、嵌入生成、矢量化和索引加載，以確保結(jié)果在用戶輸入查詢時(shí)與用戶的意圖緊密一致，在獲取搜索檢索最相關(guān)的結(jié)果之前進(jìn)行矢量化。

不斷創(chuàng)新以完善搜索功能，催生了混合搜索的新概念。這種創(chuàng)新方法融合了基于關(guān)鍵字的搜索的熟悉性與矢量搜索技術(shù)的精確性。關(guān)鍵字、向量和語義排名的融合進(jìn)一步改善了搜索體驗(yàn)，為最終用戶提供了更具洞察力和準(zhǔn)確性的結(jié)果。

? 4. 提示工程：打造高效和負(fù)責(zé)任的互動(dòng)

在AI的世界里，提示工程（prompt engineering）提供了具體的指令來指導(dǎo)LLM的行為并產(chǎn)生所需的輸出。給出正確的提示對(duì)于獲得準(zhǔn)確且安全且相關(guān)的響應(yīng)以滿足用戶期望至關(guān)重要。 快速的效率需要清晰的上下文。為了最大限度地提高 AI 響應(yīng)的相關(guān)性，請(qǐng)務(wù)必明確說明。例如，如果需要簡明的數(shù)據(jù)，請(qǐng)指定我們想要一個(gè)簡短的答案。上下文也起著核心作用。與其只詢問市場趨勢，不如指定電子商務(wù)中的當(dāng)前數(shù)字營銷趨勢，甚至為模型提供演示預(yù)期行為的示例也會(huì)有所幫助。 Azure AI 提示流使用戶能夠在使用開源模型時(shí)添加內(nèi)容安全篩選器，以檢測和緩解輸入和輸出中的有害內(nèi)容，例如越獄或暴力語言?；蛘撸脩艨梢赃x擇使用通過 Azure OpenAI 服務(wù)提供的模型，這些模型內(nèi)置了內(nèi)容篩選器。通過將這些安全系統(tǒng)與快速的工程和數(shù)據(jù)檢索相結(jié)合，客戶可以提高其應(yīng)用的準(zhǔn)確性、相關(guān)性和安全性。 實(shí)現(xiàn)高質(zhì)量的 AI 響應(yīng)通常涉及工具和策略的混合。定期評(píng)估和更新提示有助于使響應(yīng)與業(yè)務(wù)趨勢保持一致。有意識(shí)地為關(guān)鍵決策制作提示，對(duì)單個(gè)提示生成多個(gè) AI 響應(yīng)，然后為用例選擇最佳響應(yīng)是一種謹(jǐn)慎的策略。使用多方面的方法有助于 AI 成為用戶可靠且高效的工具，推動(dòng)明智的決策和策略。

5. 用戶界面 （UI）：AI 與用戶之間的橋梁
有效的 UI 提供有意義的交互來引導(dǎo)用戶完成他們的體驗(yàn)。在不斷變化的副駕駛環(huán)境中，提供準(zhǔn)確且相關(guān)的結(jié)果始終是我們的目標(biāo)。但是，在某些情況下，AI 系統(tǒng)可能會(huì)生成不相關(guān)、不準(zhǔn)確或不接地氣的響應(yīng)。UX 團(tuán)隊(duì)?wèi)?yīng)該實(shí)施人機(jī)交互最佳實(shí)踐來減輕這些潛在的危害，例如通過提供輸出引用、在輸入和輸出的結(jié)構(gòu)上設(shè)置護(hù)欄，以及提供有關(guān)應(yīng)用程序功能和限制的大量文檔。

為了緩解有害內(nèi)容生成等潛在問題，應(yīng)考慮各種工具。例如，分類器可用于檢測和標(biāo)記可能有害的內(nèi)容，指導(dǎo)系統(tǒng)的后續(xù)操作，無論是更改主題還是恢復(fù)到傳統(tǒng)搜索。Azure AI 內(nèi)容安全是實(shí)現(xiàn)此目的的絕佳工具。

基于檢索增強(qiáng)生成 （RAG） 的搜索體驗(yàn)的核心原則是以用戶為中心的設(shè)計(jì)，強(qiáng)調(diào)直觀和負(fù)責(zé)任的用戶體驗(yàn)。初次使用者的旅程應(yīng)結(jié)構(gòu)化，以確保他們理解系統(tǒng)的功能，了解其人工智能驅(qū)動(dòng)的本質(zhì)，并了解任何限制。聊天建議、對(duì)約束的清晰解釋、反饋機(jī)制和易于訪問的參考資料等功能增強(qiáng)了用戶體驗(yàn)，促進(jìn)了信任并最大限度地減少了對(duì)人工智能系統(tǒng)的過度依賴。

6. 持續(xù)改進(jìn)：AI演進(jìn)的心跳

AI模型的真正潛力是通過不斷的評(píng)估和改進(jìn)來實(shí)現(xiàn)的。僅僅部署模型是不夠的;它需要持續(xù)的反饋、定期迭代和一致的監(jiān)控，以確保它滿足不斷變化的需求。AI 開發(fā)人員需要強(qiáng)大的工具來支持 LLM 的整個(gè)生命周期，包括不斷審查和提高 AI 質(zhì)量。這不僅將持續(xù)改進(jìn)的想法帶入生活，而且確保它對(duì)開發(fā)人員來說是一個(gè)實(shí)用、高效的過程。 確定和解決需要改進(jìn)的領(lǐng)域是不斷完善 AI 解決方案的基本步驟。它涉及分析系統(tǒng)的輸出，例如確保檢索到正確的文檔，并檢查提示和模型參數(shù)的所有細(xì)節(jié)。這種級(jí)別的分析有助于識(shí)別潛在的差距，以及需要改進(jìn)的領(lǐng)域，以優(yōu)化解決方案。 Azure AI Studio 中的提示流是為 LLM 量身定制的，可轉(zhuǎn)換 LLM 開發(fā)生命周期?？梢暬?LLM 工作流以及測試和比較各種提示版本性能的能力等功能使開發(fā)人員能夠敏捷和清晰地工作。因此，從概念化 AI 應(yīng)用程序到部署它的過程變得更加連貫和高效，從而確保了強(qiáng)大的企業(yè)級(jí)解決方案。

? 7. 統(tǒng)一開發(fā)

AI的未來不僅僅是算法和數(shù)據(jù)。它涉及我們?nèi)绾螜z索和豐富數(shù)據(jù)、創(chuàng)建強(qiáng)大的搜索機(jī)制、提示工程、注入負(fù)責(zé)任的 AI 最佳實(shí)踐、與我們的系統(tǒng)交互并不斷完善我們的系統(tǒng)。 AI 開發(fā)人員需要集成預(yù)構(gòu)建的服務(wù)和模型、及時(shí)的編排和評(píng)估、內(nèi)容安全以及負(fù)責(zé)任的 AI 工具，以實(shí)現(xiàn)隱私、安全性和合規(guī)性。Azure AI Studio 提供全面的模型目錄，包括最新的多模式模型（如即將在 Azure OpenAI 服務(wù)中推出的 GPT-4 Turbo with Vision）以及 Falcon、Stable Diffusion 和 Llama 2 托管 API 等開放模型。Azure AI Studio 是面向 AI 開發(fā)人員的統(tǒng)一平臺(tái)。它開創(chuàng)了生成式 AI 開發(fā)的新時(shí)代，使開發(fā)人員能夠大規(guī)模探索、構(gòu)建、測試和部署其 AI 創(chuàng)新。VS Code、GitHub Codespaces、語義內(nèi)核和 LangChain 集成支持以代碼為中心的體驗(yàn)。 無論是創(chuàng)建自定義副駕駛、增強(qiáng)搜索、提供呼叫中心解決方案、開發(fā)機(jī)器人和定制應(yīng)用程序，還是這些的組合，Azure AI Studio 都能提供必要的支持。

隨著人工智能的不斷發(fā)展，必須牢記這七大支柱，以幫助構(gòu)建高效、負(fù)責(zé)任且始終處于創(chuàng)新前沿的系統(tǒng)。

? 審核編輯：黃飛