技術(shù)革新日新月異，大模型的興起更是顛覆了千行百業(yè)。自ChatGPT問世以來，大模型的應(yīng)用前景充滿了無限的機(jī)遇與挑戰(zhàn)。12月16日，在2023開放原子開發(fā)者大會的“大模型應(yīng)用開發(fā)之道”分論壇上，眾多人工智能領(lǐng)域的從業(yè)者和技術(shù)專家齊聚一堂，圍繞大模型應(yīng)用開發(fā)的現(xiàn)狀和未來發(fā)展等相關(guān)話題，碰撞出了諸多思想的火花。業(yè)內(nèi)專家齊聚
探討大模型開發(fā)之路
論壇由開放原子開源基金會TOC主席譚中意擔(dān)任出品人，在CSDN內(nèi)容生態(tài)總監(jiān)董世曉的主持下，5位行業(yè)專家聚焦于開發(fā)者在大模型開發(fā)過程中所面臨的工程挑戰(zhàn)，共同探討大模型開發(fā)之路。通過分享成功的案例經(jīng)驗(yàn)，以及深入剖析大模型開發(fā)的多個方面，幫助開發(fā)者對大模型開發(fā)的全貌有更深入的理解，便于應(yīng)對實(shí)際應(yīng)用中的挑戰(zhàn)。阿里巴巴通義實(shí)驗(yàn)室研發(fā)總監(jiān) 周文猛周文猛在《魔搭社區(qū)及其應(yīng)用生態(tài)》的主題演講上，以魔搭社區(qū)為例，闡述了模型社區(qū)發(fā)展需要關(guān)注的五個方面，一是模型社區(qū)的生態(tài)是核心，需要持續(xù)更新和優(yōu)化大模型，并分享最佳實(shí)踐，讓更多人了解和使用最新的模型和技術(shù)。二是數(shù)據(jù)集在AI應(yīng)用生態(tài)中非常重要，魔搭的數(shù)據(jù)集覆蓋了不同領(lǐng)域的不同場景，便于大家更好地使用LIM和其他大模型。三是通過開源版GPTs AgentFabric，用戶可以輕松在魔搭上創(chuàng)建和分享自己的應(yīng)用和想法，促進(jìn)交流和碰撞。四是云上算力支持，幫助用戶可以利用資源進(jìn)行應(yīng)用開發(fā)和相關(guān)體驗(yàn)。五是為開發(fā)者提供ModelScope。六是在云上的環(huán)境優(yōu)化中，云上Notebook開發(fā)的下載速度達(dá)到400兆以上，可以提高大模型的體驗(yàn)。Byzer社區(qū)PMC、Kyligence技術(shù)合伙人 祝海林祝海林在《基于Ray和Byzer，快速構(gòu)建以大模型為核心的生產(chǎn)級應(yīng)用》的主題演講上，闡述了Ray是支持傳統(tǒng)語言分布式編程的分布式框架，基于 Ray 之上開源的一套幫助企業(yè)開發(fā)大模型應(yīng)用開發(fā)套件，例如為大模型而生的檢索系統(tǒng)的Byzer-Retrieval、大模型全生命周期管理的Byzer-LLM、應(yīng)用開發(fā)框架Byzer-Agent。其中，相較于缺點(diǎn)較多的傳統(tǒng)的基于大模型的開發(fā)模式，Byzer-Agent框架的開發(fā)模式呈現(xiàn)出諸多優(yōu)勢，一是Agent可以充分激活大模型在各領(lǐng)域的潛力，從開發(fā)角度也可以更好地進(jìn)行Prompt管理；二是提供了Agent之間的通訊和存儲，可以方便Agent之間的協(xié)作完成用戶需求，并且保留對話信息；三是相比其他Agent框架，Byzer-Agent支持以Agent或者Agent組為粒度實(shí)現(xiàn)分布式，并且每個Agent可以支持不同的模型。Zilliz開發(fā)者生態(tài)布道師 李成龍李成龍在《走進(jìn)向量數(shù)據(jù)庫，讓LLMs停止幻覺》的主題演講上表示，針對大語言模型在缺乏領(lǐng)域特定信息、容易產(chǎn)生幻覺、無法獲取最新信息、不變的預(yù)訓(xùn)練數(shù)據(jù)上的局限性，李成龍?zhí)峁┝怂膫€方面的改進(jìn)思路，一是建立知識庫以拓展認(rèn)知邊界，通過Fine-tuning針對專業(yè)領(lǐng)域進(jìn)行訓(xùn)練；二是使用提示詞工程規(guī)定限制，確保模型提供的信息準(zhǔn)確可靠；三是利用向量數(shù)據(jù)庫為大模型建立記憶，及時更新，確保與現(xiàn)實(shí)世界保持同步；四是通過RLHF人工糾正再次微調(diào)，從知識庫中剔除無效信息，提高模型的準(zhǔn)確性和可靠性。同時，李成龍還分享了Zilliz企業(yè)級產(chǎn)品Zilliz Cloud的功能架構(gòu)，核心亮點(diǎn)以及典型應(yīng)用案例。中軟國際AIGC研究院平臺部總經(jīng)理 黃偉聰黃偉聰在《構(gòu)建企業(yè)級AIGC應(yīng)用的典型模式和實(shí)踐》的主題演講上表示，企業(yè)級AIGC應(yīng)用的結(jié)果可信和應(yīng)用可運(yùn)營是其成功的關(guān)鍵。為了達(dá)成這一目標(biāo)，黃偉聰以一個實(shí)際項(xiàng)目為例，闡述了其中的3個步驟，一是采用大模型+PBC這種新的AIGC應(yīng)用生成范式，通過編排來構(gòu)建堅(jiān)實(shí)的可運(yùn)營基礎(chǔ)，降低大模型的不穩(wěn)定性；二是提升大模型在NL2SQL上的基礎(chǔ)能力，達(dá)到基本可用的狀態(tài)；三是通過AIGC應(yīng)用的交互增強(qiáng)，實(shí)現(xiàn)用戶可以干預(yù)并追蹤整個過程以及生成過程可完整回溯，從而進(jìn)一步提高應(yīng)用的可信度。一切都旨在確保AIGC應(yīng)用不僅高效可靠，還能在實(shí)際應(yīng)用中贏得用戶的信任。螞蟻集團(tuán)AI Infra團(tuán)隊(duì)負(fù)責(zé)人 張科張科在《螞蟻AI工程實(shí)踐分享》的主題演講上表示，目前AI工程的現(xiàn)狀包括模型參數(shù)量大、智能算力需求大以及開源框架多樣化。這些特點(diǎn)為AI工程帶來了巨大的潛力和機(jī)遇，同時帶來了新的挑戰(zhàn)，例如模型訓(xùn)練實(shí)驗(yàn)成本、訓(xùn)練算力效率、訓(xùn)練穩(wěn)定性、推理成本、AI工程技術(shù)選型和人力投入等問題。對此，螞蟻AI在工程實(shí)踐上做出了四個舉措，一是通過開源大規(guī)模智能分布式訓(xùn)練系統(tǒng)DLRover，優(yōu)化整個訓(xùn)練流程，提升了系統(tǒng)的效率。二是采用了分布式推理技術(shù)，以應(yīng)對大規(guī)模模型的推理需求。三是使用GLake對訓(xùn)練推理過程中的顯存和傳輸進(jìn)行了優(yōu)化。四是推出了“優(yōu)化器三部曲”系列，能夠?qū)崿F(xiàn)AI訓(xùn)練節(jié)約資源、提升泛化、加速收斂等目標(biāo)。圓桌對話：
大模型應(yīng)用開發(fā)啟示錄
在圓桌環(huán)節(jié)，幾位業(yè)界翹楚就“大模型應(yīng)用開發(fā)”這一議題，展開了深入而富有洞見的圓桌對話。主持人：首先，請各位分享一下從自己的經(jīng)歷或?qū)嵺`中出發(fā)，感受到大模型為開發(fā)者帶來了哪些“變”與“不變”？周文猛：我認(rèn)為，用戶的根本需求和具體應(yīng)用場景的問題是始終不變的。然而，變化的是大模型技術(shù)的發(fā)展速度正在不斷加快，應(yīng)用開發(fā)和創(chuàng)建的節(jié)奏也在同步提升。這就要求我們必須具備更加敏捷的思維和行為方式，以適應(yīng)這種變化。祝海林：隨著大模型的引入，軟件開發(fā)模式經(jīng)歷了革命性的轉(zhuǎn)變，從傳統(tǒng)的編程范式演進(jìn)到與智能體互動的編程，需要思維方式上的革新。盡管目前大模型的能力尚在成長之中，但我對其未來的發(fā)展前景持樂觀態(tài)度。在這一切變化之中，唯一不變的真理是軟件決定整個世界。李成龍：在我看來，數(shù)據(jù)的核心地位是永恒不變的。無論是傳統(tǒng)軟件開發(fā)還是大模型開發(fā)，數(shù)據(jù)都扮演著至關(guān)重要的角色。變化主要體現(xiàn)在兩個方面：一是開發(fā)方式的轉(zhuǎn)變，相較于傳統(tǒng)軟件開發(fā)，大模型開發(fā)的時間周期顯著縮短；二是數(shù)據(jù)管理的變革，向量數(shù)據(jù)庫等工具可能變得越來越重要，因?yàn)樾枰崛『屠梦谋?、圖片等更多信息。黃偉聰：盡管技術(shù)不斷演進(jìn)，但始終不變的是對客戶價值和實(shí)際應(yīng)用場景的深刻理解，以及數(shù)據(jù)的重要性。變化的方面主要體現(xiàn)在軟件生成的方式上，新一代的軟件生成方式可能與傳統(tǒng)的編碼方法有顯著差異，這要求我們持續(xù)探索和創(chuàng)新。張科：我觀察到三個關(guān)鍵方面的變化。一是數(shù)據(jù)驅(qū)動思維，在大模型的應(yīng)用背景下，開發(fā)者必須更加專注于如何為應(yīng)用產(chǎn)品持續(xù)提供高質(zhì)量的數(shù)據(jù)，以實(shí)現(xiàn)更高級別的智能化。二是智能思維，開發(fā)者需要采用更智能化的設(shè)計(jì)理念和方法，以創(chuàng)造出更加智能和高效的產(chǎn)品或系統(tǒng)。三是合規(guī)性，在大模型使用大量數(shù)據(jù)的情況下，開發(fā)者需要更加注重合規(guī)性。祝海林：我們需要擁抱新鮮事物，無論AI、大數(shù)據(jù)浪潮或移動互聯(lián)網(wǎng)浪潮如何發(fā)展，保持擁抱新鮮事物的態(tài)度對開發(fā)者很重要。周文猛：跟上時代變革，最核心的是需要保持較強(qiáng)的學(xué)習(xí)能力。其次，大模型可以提高工作效率，大家有更多精力關(guān)注工作之外的事情。黃偉聰：首先，以開放的心態(tài)擁抱新鮮事物，并整合到日常工作流程中。其次，還需要面向客戶實(shí)際需求場景，利用新技術(shù)幫助工作。李成龍：我堅(jiān)信，大模型具備重塑業(yè)務(wù)流程的潛力，能夠在提升工作效率和精確度方面發(fā)揮關(guān)鍵作用。展望未來，我們應(yīng)該探索如何將傳統(tǒng)工作與大模型相結(jié)合，利用大模型來增強(qiáng)業(yè)務(wù)成效。主持人：在各位所在的企業(yè)中，使用或重新設(shè)計(jì)基于大模型的應(yīng)用是否是為主流情況？對于直接在大模型上開發(fā)AI原生應(yīng)用，未來何時可能出現(xiàn)有代表性的突破？周文猛：魔搭社區(qū)采用了基于大模型的Agent技術(shù)，這一創(chuàng)新技術(shù)已經(jīng)轉(zhuǎn)變了人機(jī)交互的方式，允許用戶通過自然語言與機(jī)器進(jìn)行溝通，并執(zhí)行相應(yīng)的任務(wù)。我們已經(jīng)嘗試將這一技術(shù)與商業(yè)應(yīng)用及阿里云產(chǎn)品結(jié)合，并在Demo中展示了如何通過對話來管理、檢索和分享文件，極大地簡化了人機(jī)交互過程，并提供了卓越的用戶體驗(yàn)。我認(rèn)為這項(xiàng)技術(shù)的成熟度已經(jīng)達(dá)到了80%，而剩余的20%問題，包括提高大模型的準(zhǔn)確度和推理能力，有望在未來一年內(nèi)得到解決。祝海林：開發(fā)一個AI應(yīng)用是一個復(fù)雜且龐大的工程，目前我們?nèi)杂性S多改進(jìn)空間。我們正在積極研究Agent技術(shù)，這一領(lǐng)域未來有望得到更廣泛的應(yīng)用，盡管目前還處于起步階段。我對于大模型技術(shù)的突破抱有高度期待，這將極大地減少對人工定義流程的依賴。我相信智能體代表了技術(shù)發(fā)展的未來趨勢，因此在技術(shù)路線的選擇上，我們應(yīng)保持獨(dú)立思考，不應(yīng)完全依賴OpenAI的理念。黃偉聰：盡管我們嘗試了包括GPT-4在內(nèi)的多種模型，我們依然認(rèn)為OpenAI的模型在技術(shù)上處于領(lǐng)先地位。模型能力的提升對于上層應(yīng)用的發(fā)展?jié)摿τ兄钸h(yuǎn)的影響。在討論Agent的應(yīng)用時，我們必須從實(shí)際落地的角度出發(fā)。如果模型的能力足夠強(qiáng)大，那么產(chǎn)品和工程所需的工作量可以相應(yīng)減少；反之，我們就必須投入更多的工作來彌補(bǔ)這一差距。主持人：各位對于正進(jìn)行或未來計(jì)劃從事大模型相關(guān)工作的開發(fā)者，有什么經(jīng)驗(yàn)分享？張科：我鼓勵大家敢于想象、創(chuàng)新，共同建立AI和AI Infra的開源生態(tài)。黃偉聰：我覺得可以從三方面出發(fā)，一是開發(fā)者應(yīng)勇于嘗試最新技術(shù)，積極擁抱GPT等先進(jìn)模型。二是不斷探索模型能力的邊界，以開放心態(tài)適應(yīng)技術(shù)變革。三是提升自身技能，以適應(yīng)不斷變化的開發(fā)環(huán)境。李成龍：我鼓勵大家走出技術(shù)舒適區(qū)，勇敢地探索和嘗試大模型等前沿技術(shù)。同時，我們應(yīng)當(dāng)擁抱創(chuàng)新精神，淘汰那些已經(jīng)過時的技術(shù)，積極發(fā)掘和利用大模型所帶來的巨大潛力。最后，我希望開發(fā)者們能夠勇于實(shí)驗(yàn)新技術(shù)，不斷拓寬我們的技術(shù)視野和認(rèn)知邊界。祝海林：在大模型領(lǐng)域，競爭異常激烈，開發(fā)者必須尋找獨(dú)特的差異化路徑以脫穎而出。Meta和Google已經(jīng)通過差異化策略取得了顯著的成功，開發(fā)者可以從中吸取寶貴的經(jīng)驗(yàn)。例如，開發(fā)者可以在開源社區(qū)中尋求合作伙伴，共同推動技術(shù)創(chuàng)新。在大模型領(lǐng)域，合作與差異化是開發(fā)者成功的關(guān)鍵。周文猛：我熱切希望更多的年輕開發(fā)者能夠加入魔搭社區(qū)，親身體驗(yàn)最新技術(shù)和創(chuàng)意的魅力。中國的開源社區(qū)應(yīng)當(dāng)堅(jiān)持合作共贏和差異化的發(fā)展理念，我誠摯呼吁開發(fā)者們保持開放的心態(tài)，與其他開發(fā)者攜手合作，共同為技術(shù)創(chuàng)新貢獻(xiàn)力量。大模型應(yīng)用開發(fā)的未來
值得翹首以盼
如今，大模型時代已悄然來臨，其顛覆傳統(tǒng)開發(fā)范式的趨勢日益明顯。雖然應(yīng)用前景廣闊，但尚未完全挖掘其潛力。要真正實(shí)現(xiàn)大模型應(yīng)用開發(fā)落地，還需要大量的實(shí)踐和探索。展望未來，2024年將是大模型應(yīng)用開發(fā)繼續(xù)嶄露頭角的一年。我們翹首以盼它在各個領(lǐng)域中不斷推陳出新，開拓進(jìn)取，為人工智能領(lǐng)域注入新的活力和動力。在這個充滿變革的時代，我們將攜手見證大模型應(yīng)用開發(fā)的輝煌成就，共同開創(chuàng)人工智能的新篇章。點(diǎn)擊“閱讀原文”訪問AtomGit
下載經(jīng)嘉賓授權(quán)的演講材料
原文標(biāo)題：大模型應(yīng)用開發(fā)之道圓滿舉辦
文章出處：【微信公眾號：開放原子】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報(bào)投訴
原文標(biāo)題：大模型應(yīng)用開發(fā)之道圓滿舉辦
文章出處：【微信號：開放原子，微信公眾號：開放原子】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
相關(guān)推薦
2024年7月25日，達(dá)實(shí)智能主辦的“共創(chuàng)可體驗(yàn)的智慧空間”學(xué)習(xí)研討會在江蘇南京圓滿舉辦?；顒蝇F(xiàn)場，來自江蘇南京及周邊110多家單位的140多位企業(yè)負(fù)責(zé)人、智能物聯(lián)網(wǎng)行業(yè)專家共聚一堂，圍繞智能化與物聯(lián)網(wǎng)的創(chuàng)新之道交流共創(chuàng)。
![的頭像]()
發(fā)表于 07-27 09:49
?686次閱讀
大模型在不同行業(yè)領(lǐng)域的應(yīng)用前景;7月19日， “依圖科技多模態(tài)大模型伙伴CTO精研班”在杭州圓滿舉辦，讓更多的伙伴們深度體驗(yàn)了依圖多模態(tài)大模型
![的頭像]()
發(fā)表于 07-23 15:16
?295次閱讀
佰向新，贏勝勢。近日，Biwin消費(fèi)級品牌渠道戰(zhàn)略合作伙伴峰會圓滿舉辦，佰維存儲董事長孫成思、國通集團(tuán)董事長王剛、佰維存儲副總經(jīng)理徐騫、國通集團(tuán)總經(jīng)理金昌煥以及眾多優(yōu)秀的渠道合作伙伴出席峰會。
![的頭像]()
發(fā)表于 05-28 10:40
?547次閱讀
大連理工大學(xué)開發(fā)區(qū)校區(qū)圖書館報(bào)告廳圓滿舉辦。本次技術(shù)論壇從“終端操作系統(tǒng)十大技術(shù)挑戰(zhàn)”出發(fā)，以“邊緣智能”為主題，聚焦于邊緣智能系統(tǒng)設(shè)計(jì)、高效模型推理與通信協(xié)議、數(shù)據(jù)分發(fā)加速和網(wǎng)絡(luò)安全
![的頭像]()
發(fā)表于 01-16 21:15
?704次閱讀
）于華中科技大學(xué)梧桐語問學(xué)中心明德報(bào)告廳圓滿舉辦。本次技術(shù)論壇從“終端操作系統(tǒng)十大技術(shù)挑戰(zhàn)”出發(fā)，將主題聚焦在“大模型時代的系統(tǒng)軟件”，從學(xué)術(shù)界和工業(yè)界交叉融合的維度，討論AI系統(tǒng)軟件基礎(chǔ)設(shè)施、邊緣智能系統(tǒng)、大
![的頭像]()
發(fā)表于 12-26 21:20
?629次閱讀
2023年12月23日下午，OpenHarmony城市技術(shù)論壇（以下簡稱“技術(shù)論壇”）——第6期（武漢站）于華中科技大學(xué)梧桐語問學(xué)中心明德報(bào)告廳圓滿舉辦。本次技術(shù)論壇從“終端操作系統(tǒng)十大技術(shù)挑戰(zhàn)
![的頭像]()
發(fā)表于 12-25 08:42
?561次閱讀
? ? 12 月 17 日，2023 開放原子開發(fā)者大會 openEuler Code Camp 在無錫成功舉辦。此次盛會吸引了眾多行業(yè)領(lǐng)袖、前沿開發(fā)者和用戶共襄盛舉，共同聆聽 openEuler
![的頭像]()
發(fā)表于 12-22 10:41
?564次閱讀
日益受到廣泛關(guān)注。 為深度探討全球開源治理所面對的挑戰(zhàn)，12 月 16 日，2023 開放原子開發(fā)者大會【開源治理與開發(fā)者運(yùn)營論壇】成功舉辦，論壇聚焦開源項(xiàng)目管理和社區(qū)協(xié)作的關(guān)鍵議題，分享開源項(xiàng)目的最佳實(shí)踐、成功案例和前瞻性
![的頭像]()
發(fā)表于 12-22 09:59
?376次閱讀
隨著人工智能技術(shù)的飛速發(fā)展，各行各業(yè)正在經(jīng)歷前所未有的變革。在這個過程中，前端開發(fā)者作為技術(shù)革新的前沿力量，正面臨著前所未有的發(fā)展機(jī)遇和挑戰(zhàn)。 12月17日，2023開放原子開發(fā)者大會的“AI時代
![的頭像]()
發(fā)表于 12-20 19:15
?444次閱讀
12月17日，2023開放原子開發(fā)者大會openEuler Code Camp在無錫成功舉辦。此次盛會吸引了眾多行 業(yè)領(lǐng)袖、前沿開發(fā)者和用戶共襄盛舉，共同聆聽openEuler在推動生態(tài)系統(tǒng)迅速發(fā)展
![的頭像]()
發(fā)表于 12-20 09:45
?225次閱讀
2023開放原子開發(fā)者大會 . OPEN ATOM DEVELOPERS CONFERENCE 大模型分論壇 2023.12.16 自從ChatGPT問世以來，大模型的應(yīng)用前景面臨著前所未有的機(jī)遇
![的頭像]()
發(fā)表于 12-04 21:15
?381次閱讀
Meetup 2023 城市巡回北京站活動，在中國科學(xué)院軟件園區(qū)隆重舉辦，現(xiàn)場吸引了北京本地開發(fā)者、高校師生和多位軟件企業(yè)家的廣泛參與。
OpenHarmony Meetup 2023 北京站簽到現(xiàn)場
發(fā)表于 11-29 09:51
2023年11月9日，以“創(chuàng)新驅(qū)動·擎領(lǐng)未來”為主題的2023(第五屆)領(lǐng)芯微中國電機(jī)智造與創(chuàng)新應(yīng)用峰會暨電機(jī)產(chǎn)業(yè)鏈交流會在深圳圓滿舉辦，進(jìn)一步加強(qiáng)了電機(jī)產(chǎn)業(yè)鏈間的深度鏈接，以共同推動電機(jī)行業(yè)的智造
![的頭像]()
發(fā)表于 11-13 16:17
?587次閱讀
，開發(fā)者們將目光轉(zhuǎn)向了各種開發(fā)工具和輔助軟件上。在2023年11月4日舉辦的第二屆開放原子開源基金會OpenHarmony技術(shù)大會開發(fā)者工具分論壇上，9位技術(shù)專家齊聚一堂，共同探討
![的頭像]()
發(fā)表于 11-11 21:10
?711次閱讀
大模型
腦極體
發(fā)布于 :2023年10月17日 23:02:52
大模型應(yīng)用開發(fā)之道圓滿舉辦
工商網(wǎng)監(jiān)
評論