Diffusion(擴散)模型的原理可以分為兩個主要過程:前向過程和逆向過程。
前向過程:
這是一個逐步加噪的過程,每一步都加入隨機的高斯噪聲。
假設加噪過程符合馬爾科夫過程,即當前圖像只依賴於前一個時刻的圖像和新加的噪聲。
每一次加噪聲都可以用數學公式表示,最終可以推導出用初始圖像表示的公式。
逆向過程:
逆向過程是對正向過程中生成的噪聲圖像進行減噪,以生成不帶噪聲的清晰圖像。
逆向過程也是一個馬爾科夫過程,且減去的噪聲是特定的,符合一定條件的噪聲,而不是隨機的。
逆向過程的噪聲分布與前向過程的分布有關,可以通過網路訓練來估計這個機率分布。
工作原理總結:
Diffusion模型首先通過前向過程逐步對圖像施加噪點,直至圖像被破壞變成完全的噪點。
然後通過逆向過程學習從全噪點還原為原始圖像的過程。
AI模型通過觀察全是噪點的畫面如何一點點變清晰直到變成一幅畫,通過這個逆向過程來學習如何作畫。
通過這種方式,Diffusion模型能夠在生成新的數據樣本(如圖像)時,學習到數據分布的複雜性和多樣性。