實(shí)操: 如何在AirBox上跑Stable Diffusion 3

以下文章來(lái)源于Radxa ，作者瑞莎

Stable Diffusion 3 Medium 是一種多模態(tài)擴(kuò)散變換器 (MMDiT) 文本到圖像模型，在圖像質(zhì)量、排版、復(fù)雜提示理解和資源效率方面具有顯著提升的性能。

目前瑞莎團(tuán)隊(duì)使用 Stable Diffusion 3 Medium 開(kāi)源模型，通過(guò) SOPHON SDK 移植到 SG2300X 處理器系列產(chǎn)品上進(jìn)行本地 TPU 硬件加速推理，實(shí)現(xiàn)在 radxa Airbox 上離線快速生成特色風(fēng)格且?guī)逦谋镜膱D片。

有關(guān) Stable Diffusion 3 Medium 更多技術(shù)細(xì)節(jié)，請(qǐng)參閱官方網(wǎng)站和研究論文。

Stable diffusion 3 模型架構(gòu)

環(huán)境準(zhǔn)備

硬件準(zhǔn)備

• Airbox + 65W的配套電源
• 網(wǎng)線
• 在局域網(wǎng)內(nèi)可使用瀏覽器訪問(wèn)PC
• Type-C 數(shù)據(jù)線（可選）

將網(wǎng)線根據(jù)您的網(wǎng)絡(luò)環(huán)境選擇插入 WAN 口（推薦接入廣域網(wǎng)）或者 LAN 口（接入局域網(wǎng)），根據(jù)您的使用習(xí)慣可選將 Type-C 數(shù)據(jù)線 C 口端插入 Airbox Debug 口， A 口端插入至您的 PC，最后插入電源上電自動(dòng)開(kāi)機(jī)，更多詳細(xì)關(guān)于硬件準(zhǔn)備工作請(qǐng)參考這里

軟件環(huán)境準(zhǔn)備

針對(duì)熟練度不同的 Linux 開(kāi)發(fā)者，可以選擇兩種方式進(jìn)行環(huán)境準(zhǔn)備。因 Airbox 鏡像已經(jīng)預(yù)裝 CasaOS，所以本文以 CasaOS 命令行模式為例子進(jìn)行部署 Stable Diffusion 3

• 終端命令行模式
• CasaOS 命令行模式（新手推薦）

開(kāi)啟終端

待 Airbox 開(kāi)機(jī)后，通過(guò)您的 PC 瀏覽器訪問(wèn) Airbox 的 IP 地址的 81 端口便可登錄 CasaOS，如何獲取 Airbox IP 地址？請(qǐng)參考這里

CasaOS 用戶名和密碼

Username:radxaPassword: radxa

Airbox 系統(tǒng)終端用戶名和密碼

Username: linaroPassword: linaro

點(diǎn)擊 CasaOS 左上角第三個(gè)圖標(biāo)登陸 Airbox 系統(tǒng)終端

CasaOS 終端登陸界面

代碼環(huán)境準(zhǔn)備

終端打開(kāi)后，接下來(lái)就直接復(fù)制提供的命令就好

克隆 SD3-Medium-TPU 代碼倉(cāng)庫(kù)

cd /datagit clone https://github.com/zifeng-radxa/SD3-Medium-TPU.git && cd SD3-Medium-TPU

配置運(yùn)行環(huán)境（僅需運(yùn)行一次） 此腳本會(huì)自動(dòng)配置所需運(yùn)行依賴的庫(kù)，請(qǐng)耐心等待安裝

source env.sh

下載 radxa 提供好的 Stable Diffusion 3 bmodel 格式模型

如果您可以流暢訪問(wèn) github, 可直接運(yùn)行 run.sh 腳本, 這會(huì)自動(dòng)從 github 上下載模型后并啟動(dòng)程序

bash run.sh

如果你出現(xiàn)下載的壓縮包 md5 比對(duì)不過(guò)可以通過(guò)模型下載腳本重新下載

bash tar_downloader.sh

如果您無(wú)法使用 github 下載，radxa 提供百度云鏈接，請(qǐng)將下載好的 models 文件夾拷貝到 Airbox 上 SD-Medium-TPU/python_demo 文件夾中，您可以直接通過(guò) CasaOS 文件管理器中直接上傳至 Airbox

啟動(dòng) Stable Diffusion 3 Gradio 服務(wù)確保下載好模型好啟動(dòng)服務(wù)

bash run.sh

啟動(dòng)后在您的 PC 瀏覽器訪問(wèn) Airbox IP 的 8999 端口即可訪問(wèn) Stable Diffusion3 Gradio 服務(wù)

Stable Diffusion3 Gradio 服務(wù)界面

使用示例

點(diǎn)擊右上角 Load Model 加載模型

因?yàn)槟Ｐ徒咏?10G 如果您的模型存放在 emmc 中，加載速度會(huì)比較慢，可以選擇存放在 SSD 中

在 CasaOS 終端中可以看到各個(gè)模型的加載細(xì)節(jié), SSD 中加載模型需要 37 秒

read file models/mmdit.bmodel, size 100000, duration 0.000318, speed 0.292869 GB/s[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/mmdit.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 26[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/clip_g.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 14[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/clip_l.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 34[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/t5.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 26[BMRT][bmcpu_setup:406] INFO:cpu_lib 'libcpuop.so' is loaded.bmcpu init: skip cpu_user_definedopen usercpu.so, init user_cpu_init [BMRT][load_bmodel:1084] INFO:Loading bmodel from [models/vae_decoder.bmodel]. Thanks for your patience...[BMRT][load_bmodel:1023] INFO:pre net num: 0, load net num: 1Youset`add_prefix_space`.Thetokenizerneedstobeconvertedfromtheslowtokenizers

填入Prompt信息

• 在 Prompt 填入英文提示詞，比如

A cat with a sign text Welcome to radxa!

• 可選填入 Negative Prompt 反向提示詞（輸入不想出現(xiàn)的物體）

deformed, lowres, bad anatomy, error, extra digit, fewer digits, cropped, worst quality, low quality, jpeg artifacts, signature, watermark, username, blurry, artist name

選擇合理的步數(shù)和 CFG值，可選 clip skip（跳過(guò)模型推理的最后層數(shù)，建議為0）和隨機(jī)種子，最后點(diǎn)擊 Submit 按鈕開(kāi)始生成任務(wù)，生成的圖片結(jié)果會(huì)直接顯示在右邊，點(diǎn)擊下載圖標(biāo)可自行下載

終端中會(huì)打印運(yùn)行進(jìn)度，可見(jiàn)平均每個(gè) step 需要 2.93s

set seed to: 15>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>100%|████████████████████████████████████████████████████████████████████|28/28[01:22<00:00,??2.93s/it]