《 Stable Diffusion XL 1.0》是Stability AI 最新的旗艦圖像模型，也是當(dāng)前圖像生成領(lǐng)域最好的開源模型。它能夠根據(jù)用戶輸入的文字描述，快速生成高質(zhì)量的圖像。使用非常靈活，可以用于創(chuàng)建各種類型和風(fēng)格的圖像，包括藝術(shù)繪畫、照片、動(dòng)漫等。由于其高效快速生成圖像的能力，Stable Diffusion已經(jīng)成為許多設(shè)計(jì)師、插畫師等創(chuàng)意工作者的得力助手。

【Stable Diffusion XL 1.0介紹】

Stable Diffusion XL 1.0 閃亮登場(chǎng)，給你不一樣的色彩體驗(yàn)。

在大模型開啟的 AIGC 時(shí)代，由明星 AI 初創(chuàng)公司 Stability AI 打造的文本到圖像生成模型 Stable Diffusion 可謂風(fēng)靡全球。

雖然從文本到圖像的生成模型并不少，但 Stable Diffusion 是最受歡迎的開源模型。各路開發(fā)者也基于 Stable Diffusion 模型進(jìn)行二創(chuàng)，推出各種各樣、花式繁多的 AIGC 應(yīng)用。

剛剛，Stability AI 正式推出了 Stable Diffusion XL（SDXL）1.0。文本到圖像生成模型，又完成了進(jìn)化過程中的一次重要迭代。

這是 Stability AI 最新的旗艦圖像模型，也是當(dāng)前圖像生成領(lǐng)域最好的開源模型。

【Stable Diffusion XL 1.0主要功能】

生成速度更快、質(zhì)量更高： 該引擎可以更快、更可靠地生成文本，內(nèi)存消耗更低，錯(cuò)誤處理效果更好。該引擎還可以處理更長(zhǎng)、更復(fù)雜的輸入和輸出，而不會(huì)影響質(zhì)量或多樣性。

更多控制元素，增強(qiáng)自定義： 用戶可以根據(jù)自己的喜好和需求調(diào)整生成文本的語氣、樣式、長(zhǎng)度和格式。用戶在輸出過程中還可以指定關(guān)鍵字、短語或句子來指導(dǎo)生成過程。

更多反饋和指導(dǎo)： 該引擎為用戶提供有關(guān)生成的文本的更多信息和反饋，例如進(jìn)度、置信度和相關(guān)性分?jǐn)?shù)。引擎還會(huì)建議輸出的可能改進(jìn)或替代方案，例如重寫、釋義或總結(jié)。

更多的集成和兼容性： 該引擎可以與用戶可能用于內(nèi)容創(chuàng)建或數(shù)據(jù)分析的其他平臺(tái)和工具配合使用，例如 Discord，Google Docs，WordPress 等。該引擎還可以從各種來源和格式導(dǎo)入和導(dǎo)出數(shù)據(jù)，例如文本文件、CSV 文件、JSON 文件等

【如何馬上體驗(yàn)到 SDXL 1.0？目前有幾種渠道】

在 SDXL 1.0 版本發(fā)布之前，Stability AI 在六月份推出的 SDXL 0.9 僅作研究用途。但從今天起，SDXL 1.0 將通過 Stability AI 的 API 開源開放給開發(fā)者，普通人也可以通過消費(fèi)級(jí)應(yīng)用 Clipdrop 和 DreamStudio 訪問。

Clipdrop：https://clipdrop.co/stable-diffusion

DreamStudio：https://dreamstudio.ai/generate

Stability AI Platform：https://platform.stability.ai/

Github：https://github.com/Stability-AI/generative-models

此外，鑒于與亞馬遜的密切合作關(guān)系，SDXL 1.0 已經(jīng)登陸亞馬遜云科技的基礎(chǔ)模型托管服務(wù) Amazon Bedrock，而且還會(huì)登陸 Amazon SageMaker JumpStart。

【SDXL 1.0，什么進(jìn)化了？】

1. 生成概念與風(fēng)格更具挑戰(zhàn)的作品

SDXL 1.0 幾乎能夠生成任何藝術(shù)風(fēng)格的高質(zhì)量圖像，并且是實(shí)現(xiàn)逼真效果的最佳開源模型。用戶可以在沒有任何特定的「靈感」的情況下進(jìn)行提示，確保風(fēng)格的絕對(duì)自由，生成各具特色的圖像。SDXL 1.0 在色彩的鮮艷度和準(zhǔn)確度方面做了很好的調(diào)整，對(duì)比度、光線和陰影都比上一代更好，并全部采用原生 1024x1024 分辨率。

除此之外，SDXL 1.0 可以生成圖像模型難以渲染的概念，例如手、文本以及空間的排列。

圖源：Stability AI 官網(wǎng)

圖源：Stability AI 官網(wǎng)

2. 語言更簡(jiǎn)潔、更智能

SDXL 1.0 只需幾句話就能創(chuàng)建復(fù)雜、細(xì)致、美觀的圖像。用戶不再需要用華麗的辭藻進(jìn)行修飾就能夠獲得想要的高質(zhì)量圖像。

它甚至能夠區(qū)分「The Red Square」（紅場(chǎng)，一個(gè)著名景點(diǎn)）和「red square」（紅色正方形）。

3. 微調(diào)和高級(jí)控制

有了 SDXL 1.0 ，根據(jù)自定義數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)比以往任何時(shí)候都要容易。可生成自定義 LoRA 或檢查點(diǎn)，減少數(shù)據(jù)處理的需要。Stability AI 正在利用專門用于 SDXL 的 T2I / ControlNet 構(gòu)建下一代任務(wù)特定結(jié)構(gòu)、樣式和組成控制。這些功能目前處于測(cè)試預(yù)覽階段，可以隨時(shí)關(guān)注微調(diào)的更新。SDXL 1.0 上的圖像控制也即將推出。

自 4 月 13 日發(fā)布 SDXL beta 版本以來，ClipDrop 用戶已經(jīng)使用該模型生成超過 3500 萬張圖片，而 Stability AI 的 Discord 社區(qū)平均每天生成 2 萬張圖片。

看看用戶使用 SDXL 1.0 的效果吧。

推特：@pratzlowcode

從網(wǎng)友的圖片生成效果來看，SDXL 1.0 在光線上把握更加精準(zhǔn)，光線效果、色彩對(duì)比更加真實(shí)。

推特：@foxtrotfrog

可以看到，在色彩的運(yùn)用上，SDXL 1.0 更加大膽，飽和度較高的情況下光線與陰影的細(xì)節(jié)依然在線。

推特：@ai_for_success

在這張圖片中可以看到，景深較為合適，主體突出，色彩之間的過渡，甚至真實(shí)度都十分優(yōu)秀。

推特：@sizubito

網(wǎng)友制作了 SDXL 0.9 與 SDXL 1.0 的對(duì)比圖，左邊為 SDXL 0.9 生成圖像，右邊為 SDXL 1.0 生成圖像。可以明顯看出二者對(duì)于色彩運(yùn)用的差距。SDXL 1.0 的色彩更加豐富且真實(shí)，光效表現(xiàn)也更加出色。

也有網(wǎng)友在 SDXL 1.0 中使用 Midjourney 中的舊 prompt，評(píng)論中紛紛感嘆，它的效果不比 Midjourney 差，甚至有些出乎意料的優(yōu)秀。

SDXL 1.0 細(xì)節(jié)：Base 和 Refiner 模型

Stability AI 將 SDXL 1.0 與各種模型進(jìn)行了對(duì)比測(cè)試：與 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比，人們更喜歡由 SDXL 1.0 生成的圖像。

SDXL 1.0 也是所有開放式圖像模型中參數(shù)量最多的模型之一，它建立在一個(gè)創(chuàng)新的新架構(gòu)上，由一個(gè) 35 億參數(shù)的基礎(chǔ)模型和一個(gè) 66 億參數(shù)的細(xì)化模型組成。

完整模型包括一個(gè)用于潛在擴(kuò)散的專家混合管道：第一步，基礎(chǔ)模型生成（噪聲）潛在變量，然后用專門用于最終去噪步驟的細(xì)化模型對(duì)其進(jìn)行進(jìn)一步處理。

基礎(chǔ)模型也可以作為獨(dú)立模塊使用。細(xì)化模型為基礎(chǔ)模型的輸出添加更精確的顏色、更高的對(duì)比度和更精細(xì)的細(xì)節(jié)。

這種兩階段架構(gòu)可確保圖像生成的穩(wěn)健性，而且不會(huì)影響速度或需要過多的計(jì)算資源。SDXL 1.0 可在配備 8GB VRAM 的消費(fèi)級(jí) GPU 或隨時(shí)可用的云實(shí)例上有效運(yùn)行。

論文地址：https://arxiv.org/pdf/2307.01952.pdf

代碼地址：https://github.com/Stability-AI/generative-models

參考鏈接：https://stability.ai/blog/stable-diffusion-sdxl-1-announcement

【編輯點(diǎn)評(píng)】

Stable Diffusion XL 1.0可以通過文本直接生成風(fēng)景、肖像、動(dòng)物、物品等多種類型圖片，與之前相比更快、更穩(wěn)定，自由可控。無需顯卡電腦手機(jī)都可以免費(fèi)使用。