千億參數(shù)多模態(tài)大模型，“紫東太初”規(guī)模化應(yīng)用加速

電子發(fā)燒友網(wǎng)報道（文/李彎彎）過去近一年時間，國內(nèi)外大模型技術(shù)越來越成熟，并逐步在不同場景中實現(xiàn)實現(xiàn)應(yīng)用。在國內(nèi)，作為早早布局多模態(tài)大模型的科研機構(gòu)，中國科學(xué)院自動化研究所自2019年開始在語音、文本、圖像等單模態(tài)大模型研究和應(yīng)用的基礎(chǔ)上，向多模態(tài)大模型攻關(guān)，并于2021年7月正式發(fā)布了全球首個千億參數(shù)多模態(tài)大模型紫東太初。

2023年6月16日，中國科學(xué)院自動化研究所和武漢人工智能研究院發(fā)布紫東太初2.0。2023年8月，中科院旗下紫東太初的大模型位列首批通過《生成式人工智能服務(wù)管理暫行辦法》備案的名單，可正式上線面向公眾提供服務(wù)。如今，紫東太初已經(jīng)在不同領(lǐng)域?qū)崿F(xiàn)應(yīng)用。

紫東太初多模態(tài)大模型的技術(shù)進展

紫東太初是全球首個圖文音（視覺-文本-語音）三模態(tài)預(yù)訓(xùn)練模型（OPT-Omni-Perception pre-Trainer），同時具備跨模態(tài)理解與跨模態(tài)生成能力。

紫東太初2.0在文本、圖像、語音三模態(tài)的基礎(chǔ)上，融入3D點云、視頻、信號等更多模態(tài)數(shù)據(jù)，現(xiàn)已支持多輪問答、文本創(chuàng)作、圖像生成、3D 理解、信號分析等全面問答任務(wù)，擁有更強的認知、理解、創(chuàng)作能力，帶來全新互動體驗。

紫東太初多模態(tài)大模型擁有三大關(guān)鍵技術(shù)和六大核心能力。三大關(guān)鍵技術(shù)：多模態(tài)理解與生成多任務(wù)統(tǒng)一建模；面向國產(chǎn)化軟硬件的高效訓(xùn)練與部署；多模態(tài)預(yù)訓(xùn)練模型架構(gòu)設(shè)計與優(yōu)化。六大核心能力：多模態(tài)統(tǒng)一表示與語義關(guān)聯(lián)；預(yù)訓(xùn)練模型網(wǎng)絡(luò)架構(gòu)合計；模型適配與分布式訓(xùn)練；跨模態(tài)內(nèi)容轉(zhuǎn)化與生成；標注受限自監(jiān)督模型學(xué)習(xí)；模型輕量化與推理加速。

近期，為推動數(shù)字技術(shù)與行業(yè)應(yīng)用深度融合，提供更加先進的新一代人工智能解決方案，助力產(chǎn)業(yè)升級和發(fā)展，武漢人工智能研究院基于“紫東太初”全模態(tài)大模型，搭建全棧國產(chǎn)化“紫東太初”大模型開放服務(wù)平臺?！白蠔|太初”跨模態(tài)通用人工智能平臺以多模態(tài)大模型為核心，基于全棧國產(chǎn)化基礎(chǔ)軟硬件平臺，可支撐全場景AI應(yīng)用。

武漢人工智能研究院院長王金橋不久前表示，武漢人工智能研究院是以科技創(chuàng)新與成果轉(zhuǎn)化雙輪驅(qū)動的新型研發(fā)機構(gòu)，作為湖北省人工智能產(chǎn)業(yè)鏈“鏈創(chuàng)”平臺，基于“紫東太初”多模態(tài)大模型，在智能制造、智慧醫(yī)療等多個領(lǐng)域打造了典型示范應(yīng)用，并搭建全棧國產(chǎn)化自主可控的紫東太初大模型開放服務(wù)平臺，全力打造湖北省數(shù)字經(jīng)濟智能底座。

“紫東太初”大模型正在賦能千行百業(yè)

據(jù)介紹，目前紫東太初已經(jīng)在各行各業(yè)中實現(xiàn)應(yīng)用。據(jù)武漢人工智能研究院官網(wǎng)介紹，該機構(gòu)基于“紫東太初”多模態(tài)大模型攜手長安歐尚，共同引入了元宇宙的概念，創(chuàng)造出YYDS虛擬數(shù)字人，可以通過復(fù)刻自己或者親人的形象和聲音，捏出專屬的語音助手。

攜手杭州市文廣旅游局、杭州移動，基于“紫東太初”多模態(tài)大模型打造文旅場景首個多模態(tài)AI數(shù)字人“杭小憶”，為杭州文化旅游提供具有親和力、感染力、吸引力的代言人形象。利用AR/VR技術(shù)還原南宋御街歷史風(fēng)貌，包含陶瓷燒制釉變、活字印刷、特色小吃等場景。

在紡織制造領(lǐng)域，該機構(gòu)與魏橋集團合作了布匹缺陷檢測設(shè)備，該設(shè)備通過接入“紫東太初”大模型的質(zhì)檢攝像頭識別70多種布匹瑕疵，能夠在較短時間內(nèi)就滿足生產(chǎn)的精度要求，在驗布檢驗環(huán)節(jié)相比人工實現(xiàn)了質(zhì)的突破，瑕疵識別檢出率高達95%。還能夠基于聲音發(fā)現(xiàn)瑕疵，提升紡織行業(yè)織布、驗布效率，助力紡織工業(yè)質(zhì)檢。

在醫(yī)療領(lǐng)域，“紫東太初-火石數(shù)智燧石醫(yī)療大模型”最新應(yīng)用成果于近期正式發(fā)布，九州通醫(yī)療器械集團項目總監(jiān)徐琳介紹，對于骨科疾病治療場景來說，按照監(jiān)管要求，目前很多醫(yī)院設(shè)備科的工作人員，是拿著放大鏡一顆一顆地去數(shù)骨釘?shù)群牟?，統(tǒng)計使用數(shù)量、類型，驗收器械的批號和實物是否一致，這種核驗過程不夠高效快捷。

她透露，今年3月起，九州通與武漢人工智能研究院聯(lián)合進行技術(shù)研發(fā)，歷經(jīng)半年，完成骨科內(nèi)植入耗材系統(tǒng)“骨科嫦娥”智慧系統(tǒng)研發(fā)。系統(tǒng)利用人工智能、深度神經(jīng)卷積以及大模型等技術(shù)，在一個完整手術(shù)治療周期內(nèi)，對骨科復(fù)雜植入物和工具進行智慧識別、全程追蹤、報表統(tǒng)計、能效分析、數(shù)據(jù)查詢、共享協(xié)同等閉環(huán)式、智慧化高效管理，試行效果良好。

“江城洛神”是基于“紫東太初”大模型打造的人工智能內(nèi)容創(chuàng)作平臺，通過多模態(tài)技術(shù)實現(xiàn)圖像編輯與生成，輔助內(nèi)容生產(chǎn)，用戶無需任何專業(yè)技能，只需輕輕一點，便可輕松創(chuàng)造出屬于自己的藝術(shù)作品，可廣泛運用于設(shè)計、影視、游戲等多個領(lǐng)域。

以室內(nèi)裝修設(shè)計領(lǐng)域為例，只需提供一張戶型圖，“江城洛神”就可自動生成多種裝修設(shè)計樣式，提示詞越多、越精細，生成質(zhì)量就越高，還能根據(jù)不同提示自動對結(jié)果進行編輯。

王金橋表示，“紫東太初”大模型正在賦能千行百業(yè)，推動數(shù)字經(jīng)濟全面發(fā)展?！白蠔|太初”人工智能開放服務(wù)平臺目前已成功應(yīng)用于汽車制造質(zhì)檢、媒體信息服務(wù)、文化旅游、手語教育、紡織生產(chǎn)質(zhì)檢、醫(yī)療器械等10余個領(lǐng)域，形成規(guī)?；瘧?yīng)用落地。

小結(jié)

人工智能未來的10年將是生成式人工智能的10年，如今國內(nèi)外各大科技巨頭及AI企業(yè)已經(jīng)從初期招兵買馬啟動大模型產(chǎn)品的技術(shù)研發(fā)，進入到拓展應(yīng)用場景的階段。如今市面上已經(jīng)發(fā)布的大模型有幾百款。然而，通用大模型就如早期的操作系統(tǒng)一樣，最終只會需要一兩個或者兩三個。未來，就看誰能夠真正了解市場需求，最終脫穎而出了。