什么是stable diffusion模型?
Stable Diffusion是stability.ai開源的AI圖像生成模型,實(shí)現(xiàn)輸入文字,生成圖像的功能。Stable Diffusion將AI圖像生成提升到了全新高度,將引發(fā)媒體創(chuàng)作領(lǐng)域的革命。
引用自:https://github.com/Stability-AI/StableDiffusion
什么是算力魔方?
算力魔方一款可以DIY的迷你主機(jī),采用了抽屜式設(shè)計(jì),后續(xù)組裝、升級(jí)、維護(hù)只需要拔插模塊。通過選擇計(jì)算模塊的版本,再搭配不同額IO模塊可以組成豐富的配置,適應(yīng)不同場(chǎng)景。性能不夠時(shí),可以升級(jí)計(jì)算模塊提升算力,IO接口不匹配時(shí),可以更換IO模塊調(diào)整功能,而無需重構(gòu)整個(gè)系統(tǒng)
基于OpenVINO在算力魔方上實(shí)現(xiàn)Stable Diffusion模型的推理加速,獲得了14.9秒出圖(不含模型初始化)的性能。
在圖像生成過程中:CPU占用16%,內(nèi)存占用7.5GB,GPU占用100%,顯存利用率98.5%。
?測(cè)試代碼如下所示,方便讀者在算力魔方上復(fù)現(xiàn):https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image。
那么接下來,我們就為大家劃劃重點(diǎn),一起來看看有哪些重要的步驟、以及生成的畫作效果如何吧。在這個(gè)代碼示例中,我們采用了Stable Diffusion模型,將模型轉(zhuǎn)換為 OpenVINO 中間表示 (IR) 格式,以便它在英特爾 GPU 上獲得高效運(yùn)行。另外,通過將 FP32 模型壓縮到 FP16,我們將模型大小減少了一半(接近一半),而且運(yùn)行所需的 RAM/VRAM 現(xiàn)在也少了很多。最重要的是,由于加入了英特爾 Xe 矩陣擴(kuò)展(XMX),GPU 處理速度也獲得了顯著提升。以下是我運(yùn)行這個(gè) Notebook 得到的一些結(jié)果,非常有趣。借助英特爾銳炫 A380獨(dú)立顯卡,我可以實(shí)現(xiàn)大約每秒 6.0 次的迭代(未使用調(diào)試模式)。這意味著生成一幅下面的高質(zhì)量圖像通常只需不到 10 秒鐘。
圖1在基于 OpenVINO Notebooks 和算力魔方(英特爾銳炫 A380)的平臺(tái)上,通過“Stable Diffusion”模型文本轉(zhuǎn)圖像功能生成的結(jié)果。看完了以上的AI作畫的結(jié)果,你有沒有心動(dòng)、想自己動(dòng)手試試呢?接下來,我們來看看你需要哪些主要步驟,就能在自己的機(jī)器上運(yùn)行我們這個(gè)Stable Diffusion的notebook代碼示例了。
首先,這是 OpenVINO Notebooks的倉(cāng)庫。它具有您今天完成演示所需要的一切。
openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooksStable Diffusion位于 225-stable-diffusion-text-to-image 文件夾下,在notebook代碼示例 中,我們不僅介紹了著名的文本轉(zhuǎn)圖像管道,還加入了圖像轉(zhuǎn)圖像生成管道。但它的真正意義是什么?我們?nèi)绾芜\(yùn)行它?
管道
如何安裝
如需安裝 OpenVINO Notebooks,您可參照此處的說明(適用于 Windows):https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows
如果您是 Linux 用戶,可點(diǎn)擊此鏈接:https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu
總體而言,您可實(shí)施以下幾步:
安裝 Python 3.10.x。(或下方內(nèi)容)并創(chuàng)建一個(gè)虛擬環(huán)境
運(yùn)行所有單元格并等待 =)
現(xiàn)在,查看代碼。我們切實(shí)地優(yōu)化 PyTorch 管道,并使用 OpenVINO 執(zhí)行代碼。
?首次下載和轉(zhuǎn)換可能需要一點(diǎn)時(shí)間。完成之后,您將得到一組 IR 文件。為了方便,我已在這里將這些預(yù)訓(xùn)練的優(yōu)化模型更新到 huggingface(https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino),大家可以直接下載使用
現(xiàn)在,如果您有幸使用英特爾銳炫獨(dú)立顯卡,您便可將下圖中設(shè)備名稱的代碼改為“GPU”。默認(rèn)情況下,它使用“ AUTO”,并會(huì)自動(dòng)切換至檢測(cè)到的 GPU。
?讓它在 GPU 上運(yùn)行
?自動(dòng)插件。它先使用 CPU,然后自動(dòng)切換至 GPU。
結(jié) 論
算力魔方是一款小巧而強(qiáng)大的計(jì)算設(shè)備,它們外形小巧、功耗低、接口豐富、可拓展性高,廣泛用于教育、醫(yī)療保健、機(jī)器人、自動(dòng)化和物聯(lián)網(wǎng)等行業(yè)。
通過將算力魔方與OpenVINO相結(jié)合,可以實(shí)現(xiàn)各種復(fù)雜AI應(yīng)用,包括加速AI模型的推理計(jì)算,實(shí)時(shí)圖像和視頻處理以及設(shè)備之間的低延遲通信等。
在算力魔方上評(píng)估OpenVINO的AI加速效果,OpenVINO Notebooks 無疑是首選。歡迎在算力魔方上下載并安裝OpenVINO Notebooks! 祝您編碼快樂。https://github.com/openvinotoolkit/openvino_notebooks
引用自:https://github.com/Stability-AI/StableDiffusion
什么是算力魔方?
算力魔方一款可以DIY的迷你主機(jī),采用了抽屜式設(shè)計(jì),后續(xù)組裝、升級(jí)、維護(hù)只需要拔插模塊。通過選擇計(jì)算模塊的版本,再搭配不同額IO模塊可以組成豐富的配置,適應(yīng)不同場(chǎng)景。性能不夠時(shí),可以升級(jí)計(jì)算模塊提升算力,IO接口不匹配時(shí),可以更換IO模塊調(diào)整功能,而無需重構(gòu)整個(gè)系統(tǒng)
基于OpenVINO在算力魔方上實(shí)現(xiàn)Stable Diffusion模型的推理加速,獲得了14.9秒出圖(不含模型初始化)的性能。
在圖像生成過程中:CPU占用16%,內(nèi)存占用7.5GB,GPU占用100%,顯存利用率98.5%。
?測(cè)試代碼如下所示,方便讀者在算力魔方上復(fù)現(xiàn):https://github.com/openvinotoolkit/openvino_notebooks/tree/main/notebooks/225-stable-diffusion-text-to-image。
那么接下來,我們就為大家劃劃重點(diǎn),一起來看看有哪些重要的步驟、以及生成的畫作效果如何吧。在這個(gè)代碼示例中,我們采用了Stable Diffusion模型,將模型轉(zhuǎn)換為 OpenVINO 中間表示 (IR) 格式,以便它在英特爾 GPU 上獲得高效運(yùn)行。另外,通過將 FP32 模型壓縮到 FP16,我們將模型大小減少了一半(接近一半),而且運(yùn)行所需的 RAM/VRAM 現(xiàn)在也少了很多。最重要的是,由于加入了英特爾 Xe 矩陣擴(kuò)展(XMX),GPU 處理速度也獲得了顯著提升。以下是我運(yùn)行這個(gè) Notebook 得到的一些結(jié)果,非常有趣。借助英特爾銳炫 A380獨(dú)立顯卡,我可以實(shí)現(xiàn)大約每秒 6.0 次的迭代(未使用調(diào)試模式)。這意味著生成一幅下面的高質(zhì)量圖像通常只需不到 10 秒鐘。
圖1在基于 OpenVINO Notebooks 和算力魔方(英特爾銳炫 A380)的平臺(tái)上,通過“Stable Diffusion”模型文本轉(zhuǎn)圖像功能生成的結(jié)果。看完了以上的AI作畫的結(jié)果,你有沒有心動(dòng)、想自己動(dòng)手試試呢?接下來,我們來看看你需要哪些主要步驟,就能在自己的機(jī)器上運(yùn)行我們這個(gè)Stable Diffusion的notebook代碼示例了。
首先,這是 OpenVINO Notebooks的倉(cāng)庫。它具有您今天完成演示所需要的一切。
openvino_notebooks/notebooks at main · openvinotoolkit/openvino_notebooksStable Diffusion位于 225-stable-diffusion-text-to-image 文件夾下,在notebook代碼示例 中,我們不僅介紹了著名的文本轉(zhuǎn)圖像管道,還加入了圖像轉(zhuǎn)圖像生成管道。但它的真正意義是什么?我們?nèi)绾芜\(yùn)行它?
管道
如何安裝
如需安裝 OpenVINO Notebooks,您可參照此處的說明(適用于 Windows):https://github.com/openvinotoolkit/openvino_notebooks/wiki/Windows
如果您是 Linux 用戶,可點(diǎn)擊此鏈接:https://github.com/openvinotoolkit/openvino_notebooks/wiki/Ubuntu
總體而言,您可實(shí)施以下幾步:
安裝 Python 3.10.x。(或下方內(nèi)容)并創(chuàng)建一個(gè)虛擬環(huán)境
python3 -m venv openvino_env
sourceopenvino_env/bin/activate #for linux
git clone--depth=1 https://github.com/openvinotoolkit/openvino_notebooks.git
cdopenvino_notebooks
pip install -r requirements.txt
運(yùn)行 Jupyter Notebookjupyter lab notebooks
運(yùn)行所有單元格并等待 =)
現(xiàn)在,查看代碼。我們切實(shí)地優(yōu)化 PyTorch 管道,并使用 OpenVINO 執(zhí)行代碼。
?首次下載和轉(zhuǎn)換可能需要一點(diǎn)時(shí)間。完成之后,您將得到一組 IR 文件。為了方便,我已在這里將這些預(yù)訓(xùn)練的優(yōu)化模型更新到 huggingface(https://huggingface.co/bes-dev/stable-diffusion-v1-4-openvino),大家可以直接下載使用
現(xiàn)在,如果您有幸使用英特爾銳炫獨(dú)立顯卡,您便可將下圖中設(shè)備名稱的代碼改為“GPU”。默認(rèn)情況下,它使用“ AUTO”,并會(huì)自動(dòng)切換至檢測(cè)到的 GPU。
?讓它在 GPU 上運(yùn)行
?自動(dòng)插件。它先使用 CPU,然后自動(dòng)切換至 GPU。
結(jié) 論
算力魔方是一款小巧而強(qiáng)大的計(jì)算設(shè)備,它們外形小巧、功耗低、接口豐富、可拓展性高,廣泛用于教育、醫(yī)療保健、機(jī)器人、自動(dòng)化和物聯(lián)網(wǎng)等行業(yè)。
通過將算力魔方與OpenVINO相結(jié)合,可以實(shí)現(xiàn)各種復(fù)雜AI應(yīng)用,包括加速AI模型的推理計(jì)算,實(shí)時(shí)圖像和視頻處理以及設(shè)備之間的低延遲通信等。
在算力魔方上評(píng)估OpenVINO的AI加速效果,OpenVINO Notebooks 無疑是首選。歡迎在算力魔方上下載并安裝OpenVINO Notebooks! 祝您編碼快樂。https://github.com/openvinotoolkit/openvino_notebooks
審核編輯 :李倩
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2950文章
48147瀏覽量
418842 -
AI
+關(guān)注
關(guān)注
91文章
41315瀏覽量
302691 -
模型
+關(guān)注
關(guān)注
1文章
3831瀏覽量
52287
原文標(biāo)題:使用OpenVINO?在算力魔方上加速stable diffusion模型
文章出處:【微信號(hào):SDNLAB,微信公眾號(hào):SDNLAB】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
在AI愛克斯開發(fā)板上用OpenVINO?加速YOLOv8目標(biāo)檢測(cè)模型
《在 AI 愛克斯開發(fā)板上用 OpenVINO 加速 YOLOv8 分類模型》介紹了在 AI 愛
使用OpenVINO?在算力魔方上加速stable diffusion模型
Stable Diffusion 是 stability.ai 開源的 AI 圖像生成模型,實(shí)現(xiàn)輸入文字,生成圖像的功能。Stable Diffus
AI愛克斯開發(fā)板上使用OpenVINO加速YOLOv8目標(biāo)檢測(cè)模型
《在AI愛克斯開發(fā)板上用OpenVINO加速YOLOv8分類模型》介紹了在AI愛克斯開發(fā)板
優(yōu)化 Stable Diffusion 在 GKE 上的啟動(dòng)體驗(yàn)
Diffusion 等應(yīng)運(yùn)而生。Stable Diffusion 是一個(gè)文字生成圖像的 Diffusion 模型,它能夠根據(jù)給定任何文本輸
在AI愛克斯開發(fā)板上用OpenVINO?加速YOLOv8-seg實(shí)例分割模型
《在 AI 愛克斯開發(fā)板上用 OpenVINO 加速 YOLOv8 目標(biāo)檢測(cè)模型》介紹了在 AI
iPhone兩秒出圖,目前已知的最快移動(dòng)端Stable Diffusion模型來了
近日,Snap 研究院推出最新高性能 Stable Diffusion 模型,通過對(duì)網(wǎng)絡(luò)結(jié)構(gòu)、訓(xùn)練流程、損失函數(shù)全方位進(jìn)行優(yōu)化,在 iPhone 14 Pro
在AI愛克斯開發(fā)板上用OpenVINO?加速YOLOv8-seg實(shí)例分割模型
《在 AI 愛克斯開發(fā)板上用 OpenVINO 加速 YOLOv8 目標(biāo)檢測(cè)模型》介紹了在 AI
美格智能高算力AI模組成功運(yùn)行Stable Diffusion大模型
研發(fā)團(tuán)隊(duì)成功在自研高算力模組上運(yùn)行文生圖大模型Stable
使用OpenVINO在Stable Diffusion V2.1上實(shí)現(xiàn)AI硬件加速的方法
隨著 AIGC 模型越來越強(qiáng)大,并取得了更驚人的結(jié)果,任意運(yùn)行 AIGC 模型, 比如 Stable Diffusion,對(duì)于開發(fā)人員來說仍然面臨一些挑戰(zhàn)。首先,GPU 的安裝設(shè)置需要
美格智能團(tuán)隊(duì)成功在高算力AI模組上運(yùn)行大模型Stable Diffusion
研發(fā)團(tuán)隊(duì)成功在自研高算力模組上運(yùn)行文生圖大模型StableDiffusion,而這僅僅是我們將思索變?yōu)閷?shí)際行動(dòng)的第一步,AIGC的大時(shí)代,才
OpenVINO賦能BLIP實(shí)現(xiàn)視覺語言AI邊緣部署
人類通過視覺和語言感知世界。人工智能的一個(gè)長(zhǎng)期目標(biāo)是構(gòu)建智能體,通過視覺和語言輸入來理解世界,并通過自然語言與人類交流。比如,在《幾行代碼加速 Stable Diffusion
使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型
前面我們分享了《三步完成Llama3在算力魔方的本地量化和部署》。2024年9月25日,Meta又發(fā)布了Llama3.2:一個(gè)多語言大型語言模型
在算力魔方上本地部署Phi-4模型
?作者:算力魔方創(chuàng)始人/英特爾邊緣計(jì)算創(chuàng)新大使 劉力 前面我們分享了《Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑》,
基于算力魔方與PP-OCRv5的OpenVINO智能文檔識(shí)別方案
)團(tuán)隊(duì)最新推出的PP-OCRv5模型在精度和效率上實(shí)現(xiàn)了顯著突破,結(jié)合Intel OpenVINO工具套件的硬件加速能力,能夠?yàn)楦黝愇臋n處理
使用OpenVINO?在算力魔方上加速stable diffusion模型
評(píng)論