跑大語(yǔ)言模型的門(mén)檻,已經(jīng)降低到一部iPhone了。
當(dāng)然安卓版本也有,只要手機(jī)RAM夠6G,聽(tīng)上去是不是比用2060還要震撼?
而且這次還是開(kāi)箱即用的版本!
這個(gè)項(xiàng)目名為MLC LLM,與之前的WebLLM同出自知名學(xué)者陳天奇團(tuán)隊(duì)。
截止目前已在GitHub上斬獲超6800星。
目前可以測(cè)試的模型有羊駝家族(基于LLaMA)的RedPajama和Vicuna。
可選模型參數(shù)分別為30億和70億,與很多在線Demo規(guī)模也相當(dāng)了。
RedPajama團(tuán)隊(duì)表示,這一成果打開(kāi)了大模型私有化部署的可能性。
話不多說(shuō),快來(lái)看看體驗(yàn)如何。
文字功底尚可,但理科是短板
我們選擇了其中的Vicuna模型進(jìn)行測(cè)試。
首先測(cè)試一下它的文學(xué)造詣,于是讓它為四個(gè)季節(jié)分別寫(xiě)了一首詩(shī)。
韻律嗎,基本上是兩三句一押。
除了詩(shī)歌,故事也能創(chuàng)作,甚至還能寫(xiě)出內(nèi)心戲來(lái)。
不只是愛(ài)情,其他類型的故事也難不倒它。
除了文學(xué)上的應(yīng)用,我們不妨再來(lái)試試它的實(shí)用功能。
我們讓它生成了一道夏威夷披薩的菜譜,看上去還蠻不錯(cuò)。
旅游計(jì)劃也可以讓它來(lái)安排。
我們?cè)賮?lái)看看它在理工科上的表現(xiàn)怎么樣。
首當(dāng)其沖的是代碼,我們讓它嘗試用Python寫(xiě)了一段尋找最大數(shù)的代碼。
想不到上來(lái)就是一通枚舉……不過(guò)結(jié)果倒也是符合要求。
defmax_of_three(num1,num2,num3):
ifnum1>num2andnum1>num3:
returnnum1
elifnum2>num1andnum2>num3:
returnnum2
elifnum3>num1andnum3>num2:
returnnum3
returnNone
num1=11
num2=45
num3=14
max_value=max_of_three(num1,num2,num3)
print("Themaximumvalueis:",max_value)
不過(guò)遇到稍難的問(wèn)題,它的編程能力就有些捉襟見(jiàn)肘了。
至于數(shù)學(xué)和邏輯推理則一言難盡,不過(guò)畢竟為適配手機(jī)參數(shù)有限,倒也情有可原。
我們還試了試用中文進(jìn)行提問(wèn),但發(fā)現(xiàn)目前對(duì)中文的適配還有些問(wèn)題。
另外,移動(dòng)APP目前還不具有保存聊天記錄功能,切出界面時(shí)一定要小心小心再小心。
雖然目前能在手機(jī)上跑的大模型能力還有限,但團(tuán)隊(duì)也展示了未來(lái)更多發(fā)展方向。
比如為用戶定制模型并與云端公共基礎(chǔ)模型交互、提供離線支持、App嵌入、去中心化等等。
如何安裝
這款大模型支持iOS、安卓移動(dòng)設(shè)備,以及Windows和Mac
iOS用戶可以先安裝好TestFlight,然后從下面的傳送門(mén)申請(qǐng)測(cè)試:
傳送門(mén):https://testflight.apple.com/join/57zd7oxa
如果名額已滿,也可以用GitHub上的代碼自行編譯安裝
傳送門(mén):https://github.com/mlc-ai/mlc-llm
安卓用戶直接下載apk安裝即可,第一次運(yùn)行時(shí)需聯(lián)網(wǎng)下載數(shù)據(jù)包。
傳送門(mén):https://github.com/mlc-ai/binary-mlc-llm-libs/raw/main/mlc-chat.apk
桌面用戶請(qǐng)參閱官方教程:
傳送門(mén):https://mlc.ai/mlc-llm/
-
iPhone
+關(guān)注
關(guān)注
28文章
13390瀏覽量
200902 -
大模型
+關(guān)注
關(guān)注
2文章
2146瀏覽量
1995
原文標(biāo)題:我在iPhone上裝了70億參數(shù)大模型,來(lái)自陳天奇團(tuán)隊(duì)最新成果
文章出處:【微信號(hào):玩轉(zhuǎn)VS Code,微信公眾號(hào):玩轉(zhuǎn)VS Code】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論