樹莓派能跑Stable Diffusion了？

Stable Diffusion是一種文本到圖像生成的大型深度學習模型，它可以根據(jù)文本的描述生成詳細的圖像，也可以用于其他任務，如圖像修復、圖像擴展、圖像翻譯等。

它是基于潛在擴散模型（Latent Diffusion Model）的一種變體，通過對圖像添加和去除噪聲來訓練和生成圖像。

該模型由Stability AI和LAION聯(lián)合開發(fā)，目前是一個開源的AI平臺，有很多用戶和開發(fā)者貢獻了不同的預訓練模型和插件。

一般情況下，跑Stable Diffusion需要的配置：

英偉達（Nvidia）的獨立顯卡，顯存不少于4GB，推薦8GB以上；內(nèi)存8GB以上，推薦16GB或以上；硬盤40GB以上的可用空間，最好是固態(tài)硬盤；操作系統(tǒng)支持Windows 10/11，macOS（僅限Apple Silicon或更新版本），Linux等。

但最近有人在樹莓派Zero 2上運行Stable Diffusion了，而樹莓派Zero 2 只是內(nèi)存512MB 的單板計算機。

它的配置和規(guī)格如下：

處理器：Broadcom BCM2710A1，四核64位SoC（Arm Cortex-A53 @ 1GHz）

內(nèi)存：512MB LPDDR2

通訊：2.4GHz IEEE 802.11b/g/n無線局域網(wǎng)，藍牙4.2，BLE，帶天線的屏蔽罩

接口：1 × USB 2.0 OTG接口

HAT兼容的40針I(yè)/O頭插座（未焊接）

microSD卡插槽

Mini HDMI端口

CSI-2攝像頭連接器

視頻：HDMI接口

復合的視頻和復位引腳焊點

多媒體：H.264, MPEG-4解碼（1080p30）

H.264編碼（1080p30）

OpenGL ES 1.1, 2.0圖形

輸入電源：5V DC 2.5A

工作溫度：-20°C to +70°C

Raspberry Pi Zero 2 W的尺寸是65mm × 30mm，與原來的Raspberry Pi Zero一樣。它的性能比原來的單核Raspberry Pi Zero提高了五倍。一般用于智能家居、物聯(lián)網(wǎng)等項目。

為了讓更多低配置的計算機也能用Stable Diffusion出圖。

一個名為vitoplantamura的開發(fā)者決定寫一個超小的推理庫，讓260MB內(nèi)存的單板機也能將Stable Diffusion跑起來。終于，他成功了。

他用C++開發(fā)的OnnxStream，是一個能夠在低內(nèi)存設備上運行 Stable Diffusion 的推理庫，它通過分離推理引擎和權重提供器，以及量化等技術，完成了在樹莓派 Zero 2 上生成圖像的挑戰(zhàn)。

與微軟的OnnxStream相比，vitoplantamura的OnnxStream只需要 1/55 的內(nèi)存就可以達到同樣的效果，但（在 CPU 上的）速度只比前者慢 0.5-2 倍。

雖然運行速度較慢，但它卻是大模型在更小、更有限的設備上部署的嶄新嘗試。

審核編輯：劉清