AMD發(fā)布首款小語(yǔ)言AI模型Llama-135m
近日，AMD在Huggingface平臺(tái)上正式推出了自家首款“小語(yǔ)言模型”——AMD-Llama-135m。這款模型以其獨(dú)特的推測(cè)解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個(gè)token，并采用了Apache 2.0開(kāi)源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測(cè)解碼”能力，這一功能的基本原理是通過(guò)使用一個(gè)小型草稿模型來(lái)生成一組候選token，然后由更大的目標(biāo)模型對(duì)這些候選token進(jìn)行驗(yàn)證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個(gè)token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測(cè)解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實(shí)現(xiàn)了更加高效的計(jì)算和存儲(chǔ)資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來(lái)，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
amd
+關(guān)注
關(guān)注
25文章
5417瀏覽量
133786 -
AI
+關(guān)注
關(guān)注
87文章
29707瀏覽量
268024 -
模型
+關(guān)注
關(guān)注
1文章
3105瀏覽量
48643
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
Llama 3 與開(kāi)源AI模型的關(guān)系
在人工智能（AI）的快速發(fā)展中，開(kāi)源AI模型扮演著越來(lái)越重要的角色。它們不僅推動(dòng)了技術(shù)的創(chuàng)新，還促進(jìn)了全球開(kāi)發(fā)者社區(qū)的合作。Llama 3，作為一個(gè)新興的
Llama 3 模型與其他AI工具對(duì)比
Llama 3模型與其他AI工具的對(duì)比可以從多個(gè)維度進(jìn)行，包括但不限于技術(shù)架構(gòu)、性能表現(xiàn)、應(yīng)用場(chǎng)景、定制化能力、開(kāi)源與成本等方面。以下是對(duì)Llama 3
Llama 3 語(yǔ)言模型應(yīng)用
在人工智能領(lǐng)域，語(yǔ)言模型的發(fā)展一直是研究的熱點(diǎn)。隨著技術(shù)的不斷進(jìn)步，我們見(jiàn)證了從簡(jiǎn)單的關(guān)鍵詞匹配到復(fù)雜的上下文理解的轉(zhuǎn)變。 一、Llama 3 語(yǔ)言
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日，Meta又發(fā)布了Llama3.2：一個(gè)多語(yǔ)言大型語(yǔ)言
亞馬遜云科技上線Meta Llama 3.2模型
亞馬遜云科技近日宣布，Meta公司的新一代模型Llama 3.2已在其平臺(tái)上正式上線。該模型包括Meta首款多模態(tài)
亞馬遜云科技正式上線Meta Llama 3.2模型
亞馬遜云科技宣布，Meta的新一代模型Llama 3.2，包括其首款多模態(tài)模型，現(xiàn)已在Amazon Bedrock和Amazon SageM
英偉達(dá)發(fā)布AI模型 Llama-3.1-Nemotron-51B AI模型
英偉達(dá)公司宣布推出 Llama-3.1-Nemotron-51B AI 模型，這個(gè)AI大模型是源自 Meta 公司的
Meta發(fā)布全新開(kāi)源大模型Llama 3.1
科技巨頭Meta近期震撼發(fā)布了其最新的開(kāi)源人工智能（AI）模型——Llama 3.1，這一舉措標(biāo)志著Meta在AI領(lǐng)域的又一重大突破。Met
NVIDIA AI Foundry 為全球企業(yè)打造自定義 Llama 3.1 生成式 AI 模型
借助 NVIDIA AI Foundry，企業(yè)和各國(guó)現(xiàn)在能夠使用自有數(shù)據(jù)與 Llama 3.1 405B 和 NVIDIA Nemotron 模型配對(duì)，來(lái)構(gòu)建“超級(jí)模型” NVIDIA
發(fā)表于 07-24 09:39
?669次閱讀
中控流程工業(yè)首款AI時(shí)序大模型TPT發(fā)布
點(diǎn)燃AI引擎，打造工業(yè)應(yīng)用新范式? 杭州2024年6月7日?/美通社/ --?6月5日，由中控技術(shù)傾力打造的流程工業(yè)首款AI時(shí)序大模型TPT
Meta Llama 3基礎(chǔ)模型現(xiàn)已在亞馬遜云科技正式可用
亞馬遜云科技近日宣布，Meta公司最新發(fā)布的兩款Llama 3基礎(chǔ)模型——Llama 3 8B和Llam
英特爾AI產(chǎn)品助力其運(yùn)行Meta新一代大語(yǔ)言模型Meta Llama 3
英特爾豐富的AI產(chǎn)品——面向數(shù)據(jù)中心的至強(qiáng)處理器，邊緣處理器及AI PC等產(chǎn)品為開(kāi)發(fā)者提供最新的優(yōu)化，助力其運(yùn)行Meta新一代大語(yǔ)言模型Meta L
LLaMA 2是什么？LLaMA 2背后的研究工作
Meta 發(fā)布的 LLaMA 2，是新的 sota 開(kāi)源大型語(yǔ)言模型 (LLM)。LLaMA 2 代表著
【飛騰派4G版免費(fèi)試用】仙女姐姐的嵌入式實(shí)驗(yàn)室之五~LLaMA.cpp及3B“小模型”O(jiān)penBuddy-StableLM-3B
和語(yǔ)法規(guī)則，將這些詞匯串聯(lián)起來(lái)，形成一個(gè)完整的回答
關(guān)于LLaMA及LLaMA.cpp
LLaMA全稱是Large Language Model Meta AI，是由Meta
發(fā)表于 12-22 10:18
大語(yǔ)言模型簡(jiǎn)介：基于大語(yǔ)言模型模型全家桶Amazon Bedrock
本文基于亞馬遜云科技推出的大語(yǔ)言模型與生成式AI的全家桶：Bedrock對(duì)大語(yǔ)言模型進(jìn)行介紹。大語(yǔ)言
工商網(wǎng)監(jiān)
評(píng)論