華為云AI峰會揭示大模型實踐難題

12月23日，在云南麗江舉辦的2023華為云AI院長峰會上，華為云大數(shù)據(jù)與人工智能領(lǐng)域總裁尤鵬指出大模型實踐面臨的十大挑戰(zhàn)：首先是訓(xùn)練難題，需要面對大規(guī)模計算和可信度的困境；其次是推理挑戰(zhàn)，包括如何有效對LLM長文進行解碼；再次就是如何充分利用碎片化的AI資源和全局規(guī)劃效率；以及如何實現(xiàn)高質(zhì)量的模型壓縮，包括量化方法及測評標準等問題。

除此之外，還存在行業(yè)訓(xùn)練數(shù)據(jù)安全控制、大模型幻覺緩解消除及可解釋性、構(gòu)建具有強大邏輯推理規(guī)劃能力的大模型、基于圖數(shù)據(jù)的知識增強技術(shù)、通用結(jié)構(gòu)化數(shù)據(jù)特性對齊和預(yù)訓(xùn)練，以及視覺領(lǐng)域下一個token預(yù)測任務(wù)建模等挑戰(zhàn)。

針對這些問題，尤鵬給出了相應(yīng)對策，將相關(guān)技術(shù)問題劃分為大模型基礎(chǔ)性能和工程化能力、L0基礎(chǔ)大模型能力以及L1行業(yè)/領(lǐng)域大模型能力提升三部分，以期攜手學(xué)術(shù)界共同攻破關(guān)鍵技術(shù)，加速大模型技術(shù)的落地應(yīng)用。