近日,Dify全面接入了Perf XCloud,借助Perf XCloud提供的大模型調(diào)用服務(wù),用戶可在Dify中構(gòu)建出更加經(jīng)濟(jì)、高效的LLM應(yīng)用。
PerfXCloud 介紹
Perf XCloud是澎峰科技為開發(fā)者和企業(yè)量身打造的AI開發(fā)和部署平臺。專注于滿足大模型的微調(diào)和推理需求,為用戶提供極致便捷的一鍵部署體驗(yàn):
?平臺提供Open AI API兼容的模型調(diào)用服務(wù),開發(fā)者可實(shí)現(xiàn)已有應(yīng)用的快速遷移。
?借助澎峰科技自研推理框架PerfXLM,Perf XCloud實(shí)現(xiàn)了主流模型在國產(chǎn)算力上的廣泛適配和高效推理。
?目前已支持Qwen2系列、llama3系列、bge-m3等模型,更多模型即將上線。
同時,Perf XCloud為算力中心提供大模型AI科學(xué)與工程計(jì)算的整體運(yùn)營解決方案,助力算力中心升級成為“AI超級工廠”。
Dify介紹
Dify是一個開源的LLM應(yīng)用開發(fā)平臺。其直觀的界面結(jié)合了AI工作流、RAG Pipeline、Agent、模型管理、可觀測性功能等,讓您可以快速從原型到生產(chǎn):
?工作流:在畫布上構(gòu)建和測試功能強(qiáng)大的AI工作流程。
?RAG Pipeline:廣泛的RAG功能,涵蓋從文檔攝入到檢索的所有內(nèi)容,支持從PDF、PPT和其他常見文檔格式中提取文本的開箱即用的支持。
?Agent智能體:您可以基于LLM函數(shù)調(diào)用或ReAct定義Agent,并為 Agent添加預(yù)構(gòu)建或自定義工具。
?LLMOps:隨時間監(jiān)視和分析應(yīng)用程序日志和性能。您可以根據(jù)生產(chǎn)數(shù)據(jù)和標(biāo)注持續(xù)改進(jìn)提示、數(shù)據(jù)集和模型。
注冊使用PerfXCloud
Perf XCloud注冊地址:www.perfxcloud.net
現(xiàn)在注冊,即可深度體驗(yàn)主流大模型,提供大量示范案例,手把手視頻教學(xué)。并可參與向基石用戶贈送∞億Token的激勵計(jì)劃。
在Dify中使用PerfXCloud大模型推理服務(wù)
1.首先進(jìn)入Dify設(shè)置頁面,選擇Perf XCloud作為模型供應(yīng)商:
2.然后填入從Perf XCloud中申請的API Key和endpoint地址:
3.保存后,即可使用Perf XCloud模型,現(xiàn)階段我們接入了Qwen系列模型和BAAI/ bge-m 3模型,后續(xù)將接入更多模型,敬請期待。
應(yīng)用案例1:
Dify結(jié)合PerfXCloud構(gòu)建翻譯助手
本案例構(gòu)建于Dify Cloud,基于Perf XCloud中的Qwen2模型實(shí)現(xiàn)中英文翻譯助手,用戶輸入信息,翻譯助手將其翻譯成另一種語言。
1.登錄Dify Cloud( https://cloud.dify.ai/apps)
2.創(chuàng)建空白應(yīng)用→選擇聊天助手、基礎(chǔ)編排,創(chuàng)建應(yīng)用
3.在編排頁面輸入提示詞:“你是一名翻譯專家,如果用戶給你發(fā)中文你將翻譯為英文,如果用戶給你發(fā)英文你將翻譯為中文,你只負(fù)責(zé)翻譯,不要回答任何問題:”
4.默認(rèn)模型為gpt-3.5,切換為Perf XCloud模型,這里設(shè)置為“ Qwen2-72B-Instruct-GPTQ-Int 4”,然后點(diǎn)擊發(fā)布
完成發(fā)布后, 即可運(yùn)行使用。
應(yīng)用案例2:
Dify結(jié)合PerfXCloud構(gòu)建郵編查詢助手
本案例構(gòu)建與Dify Cloud,使用Dify中的知識庫和工作流功能,結(jié)合Perf XCloud中的bge-m 3模型與Qwen2-72B-Instruct-GPTQ-Int 4模型,郵編查詢助手基于上傳的郵編信息構(gòu)建知識庫,并從中檢索信息作為大模型回答問題的上下文,提高模型回答的準(zhǔn)確性。
1.在Dify Cloud( https://cloud.dify.ai/datasets)中創(chuàng)建知識庫,上傳本地準(zhǔn)備好的中國郵政編碼數(shù)據(jù)文件。
2.知識庫默認(rèn)使用經(jīng)濟(jì)模式創(chuàng)建索引,該模式是基于關(guān)鍵詞的檢索,這里我們使用Perf XCloud中的bge-m3向量模型創(chuàng)建索引,提高檢索精度。在知識庫側(cè)邊欄選擇“設(shè)置”,設(shè)置“高質(zhì)量”索引模式,同時Embedding模型選擇“BAAI/bge-m 3”,使用“向量檢索”
3.返回Dify工作室→創(chuàng)建空白應(yīng)用→ 聊天助手→工作流編排,將工作流初始化成如下形式
4.配置“知識檢索”模塊,將知識庫設(shè)置為步驟2中創(chuàng)建的“郵政編碼知識庫”
5.配置“LLM”模塊,將模型設(shè)置為Perf XCloud中Qwen2-72B-Instruct-GPTQ-Int 4,并設(shè)置prompt:
你是一個問答機(jī)器人。
你的任務(wù)是根據(jù)下述給定的已知信息回答用戶問題。
確保你的回復(fù)完全依據(jù)下述已知信息。不要編造答案。
如果下述已知信息不足以回答用戶的問題,請直接回復(fù)"我無法回答您的問題"。
6.配置“直接回復(fù)” 模塊,直接輸出LLM的生成結(jié)果
7.完成上述步驟后,運(yùn)行查看效果,模型會根據(jù)知識庫中檢索出的信息進(jìn)行回答,若檢索結(jié)果為空,則直接輸出“我無法回答您的問題”
-
AI
+關(guān)注
關(guān)注
87文章
28877瀏覽量
266239 -
澎峰科技
+關(guān)注
關(guān)注
0文章
40瀏覽量
3129 -
大模型
+關(guān)注
關(guān)注
2文章
2136瀏覽量
1981 -
LLM
+關(guān)注
關(guān)注
0文章
247瀏覽量
279
原文標(biāo)題:借助PerfXCloud和Dify,低成本構(gòu)建大模型應(yīng)用
文章出處:【微信號:perfxlab,微信公眾號:perfxlab】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論