확산 모델: 노이즈에서 그림 만들기

텔레비전의 지지직거리는 화면 같은 노이즈(noise)에서 출발해, 노이즈를 조금씩 걷어 내면 그림이 나옵니다. 확산 모델이 그림을 만드는 방법입니다. 그림 대신 평면 위의 점 무리로, 망가뜨리는 길과 되살리는 길을 직접 움직여 봅니다.

한 줄 답. 확산 모델은 그림에 노이즈를 조금씩 섞어 완전히 노이즈가 될 때까지 망가뜨리는 과정을 식으로 정해 두고, 그 반대인 「노이즈를 조금 걷어 내는 법」을 신경망에 학습시킵니다. 그러면 순수한 노이즈에서 출발해 노이즈를 여러 번 걷어 내며 새 그림을 만들 수 있습니다.

작게 줄인 본보기. 진짜 그림은 점 하나가 아니라 수십만 개의 숫자(픽셀)이고, 노이즈를 걷어 내는 방향은 큰 신경망이 어림합니다. 여기서는 그림 한 장 대신 평면 위의 점 하나를 쓰고(진짜 자료는 점 300개), 자료가 작아서 그 방향을 식으로 정확히 계산합니다.

① 망가뜨리기(순방향): 자료에 노이즈 섞기

② 되살리기(역방향): 노이즈에서 점 만들기
단계 수

연한 초록 점은 진짜 자료, 진한 초록 점은 노이즈가 섞인 자료, 파란 점은 노이즈에서 만드는 점입니다. 주황 선은 고른 점 하나가 지나온 길이고, 오른쪽 그림에서 파란 점을 누르면 그 점을 고릅니다. 보라 화살표는 그 자리에서 노이즈를 걷어 내는 방향입니다. 회색 작은 화살표는 이번 단계에 점이 옮겨 간 길입니다(스무 점에 하나). 오른쪽 그림 위쪽 띠는 t = 50 에서 t = 0 으로 가는 시간 줄입니다. 검은 화살표가 지금 단계를, 왼쪽을 향한 초록 화살표가 「노이즈 더하기」(그림 ①), 오른쪽을 향한 파란 화살표가 「노이즈 걷어 내기」(그림 ②)를 가리킵니다. 아래 그래프의 초록 곡선은 남은 원래 몫 ᾱ, 주황 점선은 단계마다 섞는 노이즈 β 입니다. 방식이나 단계 수를 바꾸면 같은 노이즈에서 다시 출발합니다.

1. 두 과정: 망가뜨리기와 되살리기

확산 모델에는 과정이 둘 있습니다. 하나는 그림을 노이즈로 망가뜨리는 순방향 과정(forward process), 다른 하나는 노이즈에서 그림을 되살리는 역방향 과정(reverse process)입니다.

순방향(망가뜨리기)역방향(되살리기)
하는 일그림에 노이즈를 조금씩 섞는다. 끝에는 노이즈만 남는다노이즈를 조금씩 걷어 낸다. 끝에는 그림이 남는다
누가 정하나사람이 식으로 정해 둔다. 배울 것이 없다신경망이 배운다
언제 쓰나학습할 때. 배울 문제와 답을 만든다그림을 만들 때
실험에서왼쪽 그림 ①오른쪽 그림 ②

물에 잉크 한 방울을 떨어뜨리면 퍼져서 고르게 흐려집니다. 물리에서 이것을 확산이라고 합니다. 퍼지는 일은 저절로 일어나지만, 퍼진 물이 저절로 잉크 방울로 돌아오지는 않습니다. 확산 모델은 이 되돌리는 일을 아주 작은 걸음으로 나누어 배웁니다. 이 생각을 처음 낸 Sohl-Dickstein 등(2015)의 논문도 열역학에서 생각을 빌려 왔습니다.

왜 굳이 망가뜨릴까요? 「그림을 만들어라」는 너무 큰 문제입니다. 「노이즈가 조금 섞인 그림에서 노이즈를 조금 걷어 내라」는 작은 문제입니다. 순방향 과정은 이 작은 문제를, 답까지 붙여서, 얼마든지 만들어 줍니다.

해 볼 것. ① 왼쪽 그림의 t 막대를 0 에서 오른쪽으로 끌거나 「재생」을 누르세요. 고리가 흐려지다가 둥근 노이즈 구름이 됩니다. ② t = 10 이면 설명 줄이 x_t = 0.82 × x₀ + 0.57 × 노이즈 이고 아직 고리가 보입니다. t = 25 면 0.26 × x₀ + 0.96 × 노이즈 이고 고리가 거의 보이지 않습니다. ③ t = 50 이면 x₀ 에 곱하는 수가 0.003 뿐이고, 점들의 평균은 (−0.01, −0.03), 표준편차는 (0.98, 1.02) 입니다. 평균 0, 표준편차 1 인 정규분포와 거의 같습니다. 다른 모양을 골라도 t = 50 의 구름은 같은 숫자가 나옵니다. 어떤 그림이었는지 흔적이 남지 않습니다.

2. 순방향: 노이즈를 섞는 식

순방향 과정은 t = 0(원래 그림)에서 t = T(노이즈만)까지 T 단계(타임스텝, timestep)입니다. 이 실험은 T = 50 이고, DDPM 논문(Ho 등 2020)은 T = 1000 입니다. 단계 s 마다 노이즈를 βs 만큼 섞습니다.

x_s = √(1 − β_s) × x_(s−1) + √β_s × 새 노이즈

노이즈는 정규분포(평균 0, 표준편차 1)에서 뽑습니다. 그림 전체에 하나가 아니라 숫자(픽셀) 하나하나에 따로 뽑아 더합니다. 원래 그림을 √(1 − β) 만큼 줄이는 까닭은, 더하기만 하면 값이 점점 커지기 때문입니다. 줄이고 더하면 전체 퍼짐(분산)이 1 근처에 머뭅니다. 분산이 1 이던 값은 (1 − β) × 1 + β = 1 이 됩니다.

이 단계를 여러 번 밟아도, 식 하나로 t 까지 한 번에 갈 수 있습니다.

x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈
ᾱ_t = (1 − β₁) × (1 − β₂) × … × (1 − β_t)

ᾱt(알파 바)는 t 단계 뒤에 원래 그림이 얼마나 남았나입니다. 정규분포 노이즈 여러 개를 더하면 또 하나의 정규분포가 되므로 이렇게 한 줄로 모입니다. 한 걸음씩 모여 이 식이 되는 과정은 이 절 뒤의 식이 만들어지는 과정에서 그림으로 봅니다. 학습할 때 단계를 하나씩 밟지 않고 아무 t 로나 바로 갈 수 있어서 빠릅니다. 실험의 왼쪽 그림도 이 식을 씁니다. 점마다 노이즈를 한 번 뽑아 두고 t 만 바꿉니다.

β 를 어떻게 늘릴지를 노이즈 스케줄(noise schedule)이라고 합니다. 이 실험은 DDPM 논문처럼 β 를 곧게(선형으로) 늘립니다. 논문은 1000 단계에서 0.0001 부터 0.02 까지이고, 여기서는 50 단계라서 20배 한 0.002 부터 0.4 까지입니다(그래프의 주황 점선). 그러면 ᾱ 는 1 에서 출발해 0 쪽으로 내려갑니다(초록 곡선).

t0510203050
남은 몫 ᾱt10.910.670.190.020.00001
x₀ 에 곱하는 수 √ᾱt10.950.820.430.140.003
노이즈에 곱하는 수 √(1 − ᾱt)00.30.570.90.991

식이 만들어지는 과정: 한 걸음씩 섞다가 한 번에 가기까지

2절의 x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈 은 처음부터 정해 둔 식이 아닙니다. 노이즈를 조금 섞는 한 걸음에서 출발해, 걸음을 이어 붙이면 나옵니다. 아래 그림은 위 실험과 같은 고리 300점, 같은 노이즈 스케줄(β 0.002 → 0.4)으로 한 단계씩 보여 줍니다. 식의 ε(엡실론)은 평균 0, 표준편차 1 인 정규분포에서 뽑은 노이즈이고, ε₁ 과 ε₂ 처럼 번호가 다르면 따로 뽑은 노이즈입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 점들이 그만큼 옮겨 가고, 아래에 까닭이 나옵니다. 연한 초록 점은 처음 자료 x₀, 진한 초록 점은 한 걸음씩 노이즈를 섞은 점, 파란 점은 식으로 한 번에 간 점, 보라 점은 x₀ 몫 √ᾱ × x₀ 입니다. 주황 화살표는 지금 구름의 가로·세로 표준편차 σ 이고, 점선 원은 반지름 1 입니다. 노이즈는 고정 시드(seed)로 뽑아 쪽을 열 때마다 같습니다.

  1. 처음: x₀. 고리 300점의 분산은 가로·세로 모두 1.28(표준편차 1.13) 입니다. 순방향 과정이 할 일은 t = 50 에서 어떤 자료든 평균 0, 표준편차 1 인 노이즈 구름으로 만드는 것입니다.
  2. 노이즈를 더하기만: x_t = x_(t−1) + √β_t × ε. 서로 상관없는 두 값을 더하면 분산도 더해집니다. 그래서 50걸음 뒤 분산은 1.28 + (β₁ + β₂ + … + β₅₀) = 1.28 + 10.05 = 11.33, 표준편차는 3.37 입니다. 그림에서 300점 가운데 103점이 그림 밖으로 나갑니다. 까닭: 이대로는 걸음을 늘릴수록 퍼짐이 끝없이 커지고, 처음 자료의 분산 1.28 도 끝까지 남아 자료마다 끝 모습이 다릅니다.
  3. 줄이고 더하기: x_t = √(1 − β_t) × x_(t−1) + √β_t × ε. 더하기 전에 지난 값을 조금 줄입니다. 값에 c 를 곱하면 분산은 c² 배가 되므로 분산 v 가 (1 − β) × v + β 가 됩니다. 까닭: v = 1 이면 (1 − β) + β = 1 이라 퍼짐이 1 에 머뭅니다. 1 이 아니어도 (1 − β) × v + β − 1 = (1 − β) × (v − 1) 이라 1 과의 차이가 걸음마다 (1 − β) 배로 줄고, 고리의 차이 0.28 이 50걸음 뒤 0.000002 가 됩니다. 같은 노이즈, 같은 50걸음인데 이번에는 표준편차 (0.98, 0.97) 인 둥근 구름이 됩니다.
  4. 두 걸음 이어 붙이기: x₂ = √(α₁ × α₂) × x₀ + √(1 − α₁ × α₂) × ε. αt = 1 − βt 라고 쓰면 한 걸음은 x_t = √α_t × x_(t−1) + √β_t × ε_t 입니다. 첫 걸음을 둘째 걸음에 넣으면 x₂ = √α₂ × (√α₁ × x₀ + √β₁ × ε₁) + √β₂ × ε₂ = √(α₁ × α₂) × x₀ + √(α₂ × β₁) × ε₁ + √β₂ × ε₂ 입니다. 까닭: 노이즈가 둘 남지만, 서로 상관없는 정규분포 둘의 합은 분산을 더한 정규분포 하나입니다. 분산은 α₂ × β₁ + β₂ = α₂ × (1 − α₁) + (1 − α₂) = 1 − α₁ × α₂ 이므로 노이즈 하나 √(1 − α₁ × α₂) × ε 로 바꿔 쓸 수 있습니다. 이 쪽의 스케줄로는 0.0020 + 0.0101 = 0.0121 입니다. 그림은 이 이어 붙이기를 10걸음까지 한 것입니다. 보라 고리가 x₀ 몫 √ᾱ₁₀ × x₀ 이고, 회색 선이 노이즈 10개가 모인 몫입니다. 그 분산을 재면 (0.36, 0.37) 이고 식으로는 1 − ᾱ₁₀ = 0.33 입니다. 300점으로 잰 값이라 조금 흔들립니다.
  5. t 걸음을 한 번에: x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × ε, ᾱ_t = α₁ × α₂ × … × α_t. 셋째 걸음을 붙여도 같은 계산이 되풀이됩니다. x₀ 에 곱하는 수에는 α 가 하나씩 더 곱해지고, 노이즈는 늘 하나로 모입니다. 2절의 ᾱ 가 바로 이 곱입니다. t = 10 이면 x₁₀ = 0.82 × x₀ + 0.57 × ε 입니다. 파란 점은 이 식으로 노이즈를 한 번만 뽑아 간 것이고, 위 실험 ① 의 t = 10 과 같은 그림입니다. 초록 점은 10걸음을 걸은 것입니다. 점 하나하나의 자리는 다르지만 같은 분포의 구름입니다. 표준편차는 (1.04, 1.09) 와 (1.12, 1.1) 이고, 식으로는 √(0.67 × 1.28 + 0.33) = 1.09 입니다. 까닭: 학습할 때마다 t 걸음을 걷지 않고 아무 t 로나 바로 갈 수 있습니다.
  6. t 가 커지면: ᾱ_t → 0. β 가 0 보다 크면 α 는 1 보다 작아서, α 를 곱할수록 ᾱ 는 0 으로 갑니다. t = 50 이면 ᾱ = 0.00001, x₀ 에 곱하는 수는 0.003 뿐입니다. 그래서 x₅₀ 은 거의 ε 하나, 평균 (−0.01, −0.03), 표준편차 (0.98, 1.02) 인 노이즈입니다. 1절의 「해 볼 것」 ③ 과 같은 숫자입니다. 까닭: 끝이 어떤 자료에서 출발했든 같은 노이즈여야, 그림을 만들 때 그 노이즈에서 출발할 수 있습니다.

여기서는 증명하지 않는 것. 「서로 상관없는 정규분포 둘의 합은 정규분포이고 분산이 더해진다」는 성질은 증명 없이 썼습니다. DDPM 논문(출처)도 αt = 1 − βt 라고 쓰고 이 식을 식 (4) 로 적습니다. 역방향 과정의 한 걸음(3절의 a, b, σ)과 학습 목표가 「섞어 넣은 노이즈 맞히기」가 되는 까닭(4절)도 이 식에서 출발하지만, 거기까지 가는 단계가 많아 여기서는 증명하지 않습니다. 같은 논문에 그 유도가 있습니다.

3. 역방향: 노이즈를 걷어 내는 식

되살리기는 t = T 의 순수한 노이즈에서 출발합니다. 단계마다 두 가지를 합니다.

  1. 원래 그림을 어림한다. 지금의 xt 를 보고 x₀ 이 무엇이었을지 어림합니다. 이 어림을 x̂₀(엑스 영 햇)이라고 적습니다. 진짜 모델은 신경망으로 섞여 있는 노이즈 ε̂ 을 맞히고, 순방향 과정의 식을 거꾸로 풀어 x̂₀ = (x_t − √(1 − ᾱ_t) × ε̂) ÷ √ᾱ_t 를 구합니다.
  2. 그 어림 쪽으로 한 걸음 간다. 조금 덜 시끄러운 xt−1 로 갑니다.

처음의 어림은 아주 흐립니다. t 가 클 때 xt 에는 원래 그림이 거의 남아 있지 않아서, 가장 좋은 어림이 「자료 전체의 평균」 쯤입니다. 한 걸음 가서 노이즈가 줄면 어림이 조금 또렷해지고, 이것을 끝까지 되풀이합니다.

한 걸음 가는 방법은 두 가지가 널리 쓰입니다.

DDPM(Ho 등 2020)DDIM(Song 등 2020)
한 걸음x̂₀ 과 지금 자리를 섞은 곳으로 가고, 새 노이즈를 조금 더한다어림한 노이즈 ε̂ 을 그대로 두고 노이즈의 몫만 줄인다. 새 노이즈가 없다
식x_(t−1) = a × x̂₀ + b × x_t + σ × 새 노이즈x_(t−1) = √ᾱ_(t−1) × x̂₀ + √(1 − ᾱ_(t−1)) × ε̂
같은 출발 노이즈이면더하는 새 노이즈에 따라 끝이 달라진다늘 같은 끝에 닿는다(결정적)
단계 건너뛰기원래는 T 단계를 하나씩 밟는다단계를 건너뛰어 적은 단계로 뽑도록 만든 방법이다

DDPM 식의 a, b, σ 는 그 단계의 ᾱ 와 β 로 정해지는 수입니다. 이 실험의 lab.js 에 있는 reverseStep 함수에 식 그대로 적혀 있습니다. 실험은 단계 수를 줄일 때 50 에서 0 까지를 고르게 건너뜁니다(10단계면 50, 45, 40, …, 5, 0).

해 볼 것. ① 처음 설정(고리, DDPM, 50단계)에서 「자동」을 누르세요. 파란 노이즈 구름이 가운데로 모였다가 고리 모양으로 갈라집니다. 가장 가까운 자료 점까지의 평균 거리가 0.52 에서 0.02 로 줍니다. ② 1번 점은 (1.4, 1.22) 에서 출발합니다. DDPM 으로 끝까지 가면 (−1.31, 0.89) 에, DDIM 으로 가면 (1.26, 1.02) 에 닿습니다. DDIM 의 주황 자취는 매끄럽고, DDPM 의 자취는 새 노이즈 때문에 흔들립니다. ③ 「새 노이즈로 다시」를 누르면 다른 노이즈에서 출발해 다른 점들이 나오지만, 모두 고리 위에 모입니다.

4. 학습: 섞어 넣은 노이즈를 맞히기(노이즈 예측, noise prediction)

신경망은 「노이즈를 걷어 내는 법」을 어떻게 배울까요? DDPM 의 방법은 단순합니다. 섞어 넣은 노이즈를 맞히게 합니다.

  1. 학습 자료에서 그림 x₀ 하나를 고른다.
  2. 단계 t 를 1 부터 T 사이에서 아무거나 고른다.
  3. 정규분포에서 노이즈 ε 을 뽑는다. 그림과 같은 크기다.
  4. 순방향 과정의 식으로 x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × ε 를 만든다.
  5. 신경망에 xt 와 t 를 넣어 노이즈의 어림 ε̂ 을 받는다.
  6. 틀린 정도를 잰다. (ε − ε̂)² 를 모든 숫자(픽셀)에 대해 평균 낸 것이다(평균 제곱 오차).
  7. 틀린 정도가 줄어드는 쪽으로 신경망의 가중치를 조금 고친다. 1 로 돌아간다.

정답 ε 은 우리가 직접 섞어 넣었으니 언제나 압니다. 사람이 답을 달아 줄 필요가 없습니다. 그림만 있으면 문제와 답이 끝없이 나옵니다. 제곱해서 평균 내는 오차는 최소제곱에서 줄이는 것과 같은 꼴이고, 가중치를 고치는 방법은 경사 하강법, 고칠 방향(기울기, 그래디언트)을 구하는 방법은 역전파입니다.

신경망은 그림을 받아 같은 크기의 그림(노이즈의 어림)을 내놓아야 합니다. DDPM 은 그림을 점점 작게 줄였다가 다시 키우는 U-Net 이라는 꼴의 신경망을 씁니다. 그 안에서는 합성곱이 주로 일하고, 중간에 어텐션 층도 들어갑니다. 단계 t 도 숫자로 바꿔 같이 넣습니다. 노이즈가 얼마나 섞였는지에 따라 걷어 낼 양이 다르기 때문입니다.

노이즈 대신 x₀ 을 바로 맞히게 해도 됩니다. 둘은 위의 식 하나로 서로 바뀝니다. DDPM 논문에서는 노이즈를 맞히게 했을 때 그림이 더 좋았습니다.

5. 이 실험에 신경망이 없어도 되는 까닭: 정확한 식

진짜 그림은 종류가 끝없이 많아서 x̂₀ 을 식으로 구할 수 없습니다. 그래서 신경망이 어림합니다. 이 실험의 자료는 점 300개뿐입니다. 그러면 x̂₀ 을 정확히 계산할 수 있습니다.

xt 는 자료 점 300개 가운데 하나(μi)를 √ᾱ 만큼 줄이고 정규분포 노이즈를 더한 것입니다. 그러니 xt 가 점 μi 에서 왔을 가능성은 xt 와 √ᾱ × μ_i 가 가까울수록 큽니다. 정규분포의 높이 식에서 그 가능성(가중치)이 나옵니다.

가중치_i ∝ e^(−|x_t − √ᾱ × μ_i|² ÷ (2 × (1 − ᾱ)))
x̂₀ = Σ 가중치_i × μ_i (가중치는 합이 1 이 되게 나눈다)

∝ 는 「비례한다」, Σ 는 「모두 더한다」는 기호입니다. e 의 거듭제곱을 해서 합이 1 이 되게 나누는 일은 어텐션의 소프트맥스와 같은 계산입니다. 그래서 x̂₀ 은 자료 점들의 가중 평균이고, 자료가 이루는 범위(볼록 껍질) 밖으로 나가지 않습니다. 이것은 베이즈 정리로 구한 「x₀ 의 기댓값」이기도 합니다. 노이즈가 많을 때(1 − ᾱ 이 클 때)는 가중치가 고르게 퍼져 x̂₀ 이 자료 전체의 평균 근처에 있고, 노이즈가 적을 때는 가까운 몇 점에 가중치가 몰립니다.

방향 보기. 「방향 보기」를 켜면 격자의 자리마다 √ᾱ × x̂₀ − x 쪽으로 화살표를 그립니다. 이 방향은 노이즈 섞인 점들의 밀도가 가장 빨리 높아지는 쪽(로그 밀도의 기울기)과 같고, 책에서는 점수 함수(score)라고 부릅니다. 신경망이 노이즈 ε̂ 을 맞히는 것은 점수 함수를 맞히는 것과 같습니다. 둘은 점수 = −ε̂ ÷ √(1 − ᾱ) 로 이어집니다.

해 볼 것. ① 「방향 보기」를 켜면 처음(t = 50)에는 모든 화살표가 한가운데를 향합니다. 노이즈가 너무 많아 어디서 왔는지 모르니 일단 가운데로 모읍니다. ② 단계 수를 10 으로 두고 「한 단계」를 누르며 보세요. t = 15 까지는 고리 안쪽의 화살표도 가운데를 향합니다. t = 10 이 되면 고리 안쪽의 화살표가 바깥으로 돌아서서, 화살표가 고리 쪽으로 갈라집니다. ③ 끝 무렵에는 화살표가 가장 가까운 자료 점을 가리킵니다.

주의: 정확한 식은 자료를 외운다. t 가 0 에 가까우면 정확한 x̂₀ 은 가장 가까운 자료 점이 됩니다. 그래서 이 실험의 「새 점」은 사실 자료 점 가운데 하나를 거의 그대로 다시 낸 것입니다. 진짜 모델의 신경망은 이 식을 정확히 맞히지 못하고 비슷하게 어림합니다. 그 덕분에 자료 사이를 메워 학습 자료에 없던 그림을 만든다고 봅니다. 그래도 드물게 학습 그림과 거의 같은 그림을 내놓는 일이 보고되었습니다(Carlini 등 2023).

6. 손으로 따라 풀기: 숫자 하나짜리 자료

그림 대신 숫자 하나 x₀ = 2 를 자료로 씁니다. 계산하기 쉽게 ᾱ = 0.64 인 단계를 고릅니다. √0.64 = 0.8, √(1 − 0.64) = √0.36 = 0.6 입니다. 이 쪽의 노이즈 스케줄에서는 t = 10 과 11 사이입니다.

  1. 망가뜨리기. 노이즈 ε = −1 을 뽑았다고 합시다. x_t = 0.8 × 2 + 0.6 × (−1) = 1.6 − 0.6 = 1.0
  2. 노이즈를 맞히면. 신경망이 ε̂ = −1 이라고 맞혔다면 x̂₀ = (x_t − 0.6 × ε̂) ÷ 0.8 = (1.0 + 0.6) ÷ 0.8 = 2. 원래 값으로 돌아왔습니다.
  3. 틀리면. 신경망이 ε̂ = −0.5 라고 했다면 x̂₀ = (1.0 + 0.3) ÷ 0.8 = 1.625 입니다. 학습에서 잰 틀린 정도는 (ε − ε̂)² = (−1 − (−0.5))² = 0.25. 학습은 이 수가 줄어들게 가중치를 고칩니다.
  4. 자료가 둘이면. 이제 자료가 2 와 −2 두 개입니다. 같은 xt = 1.0 이 어디서 왔을지 5절의 식으로 셉니다. 2 에서 왔다면 e^(−(1.0 − 0.8 × 2)² ÷ (2 × 0.36)) = e^(−0.36 ÷ 0.72) = e^(−0.5) ≈ 0.607. −2 에서 왔다면 e^(−(1.0 + 1.6)² ÷ 0.72) = e^(−9.39) ≈ 0.00008. 합이 1 이 되게 나누면 가중치는 0.9999 와 0.0001 이라 x̂₀ ≈ 2 입니다. 거의 틀림없이 2 에서 왔습니다.
  5. 한가운데라면. xt = 0 이면 두 가중치가 0.5 로 같아서 x̂₀ = 0.5 × 2 + 0.5 × (−2) = 0 입니다. 2 도 −2 도 아닌, 둘의 평균입니다. 7절에서 이 문제를 봅니다.

7. 왜 한 번에 하지 않고 여러 단계로 나누나

6절의 마지막처럼, 노이즈가 많을 때 가장 좋은 어림은 「그럴 법한 것들의 평균」입니다. 평균은 흐립니다. 고리라면 고리의 한가운데이고, 그림이라면 여러 그림을 겹친 뿌연 그림입니다. 그래서 한 번에 x̂₀ 으로 뛰지 않고 그쪽으로 조금만 갑니다. 노이즈가 조금 줄면 「어느 쪽인지」가 조금 정해지고, 다음 어림은 그쪽의 평균으로 좁혀집니다. 이것을 되풀이하면 흐린 평균이 아니라 또렷한 하나에 닿습니다.

단계마다 할 일이 작아진다는 것도 까닭입니다. 노이즈를 조금 걷어 내는 일은 그림 전체를 한 번에 만드는 일보다 훨씬 쉬운 문제입니다. 대신 느립니다. 단계마다 신경망을 한 번씩 돌려야 합니다. 단계를 줄이면 빠르지만 한 걸음이 커져서 덜 또렷해집니다. 단계를 줄이면서도 또렷하게 뽑는 방법은 계속 연구되고 있고, DDIM 이 그 가운데 하나입니다.

단계 수(고리, 시드 1)5025105
DDPM: 가장 가까운 자료 점까지 평균 거리0.020.030.050.25
DDIM: 가장 가까운 자료 점까지 평균 거리0.020.030.040.22

해 볼 것. 단계 수를 5 로 두고 「끝까지」를 누르세요. 계산은 50단계의 10분의 1 이지만 평균 거리가 0.25 로 커지고, 점들이 고리 안쪽에 흩어져 흐릿합니다. 마지막 걸음이 t = 10 에서 0 으로 한 번에 뛰면서 그때의 흐린 어림(평균)에 그대로 앉기 때문입니다. 10 단계면 0.05, 25 단계면 0.03 입니다.

8. 글로 주문하기: 조건과 가이던스

글(프롬프트)로 그림을 주문하려면 신경망에 글도 같이 넣습니다. 노이즈의 어림이 「xt 와 t 를 보고」에서 「xt 와 t 와 글을 보고」가 됩니다. 글은 먼저 숫자 벡터로 바꾸고(임베딩), 신경망 안의 크로스 어텐션으로 그림의 각 부분이 글의 어느 낱말을 볼지 정합니다(어텐션). 학습할 때는 그림과 그 그림을 설명하는 글을 짝으로 씁니다.

가이던스(classifier-free guidance). Ho 와 Salimans(2022)의 방법입니다. 한 신경망을 글이 있을 때와 없을 때 둘 다 쓸 수 있게 가르칩니다. 학습할 때 가끔 글을 빈칸으로 바꿔 넣으면 됩니다. 그림을 만들 때는 두 어림을 다 구해서 이렇게 섞습니다.

ε̂ = ε̂(조건 없음) + s × (ε̂(글) − ε̂(조건 없음))

s 는 가이던스 스케일(guidance scale)입니다. s = 0 이면 글을 무시하고, s = 1 이면 글을 붙인 어림 그대로이고, s 가 1 보다 크면 「글이 없을 때와 다른 쪽」으로 더 밀어붙입니다. 글에 더 잘 맞는 대신 다양함이 줄어듭니다. 논문은 이 수를 w = s − 1 로 적습니다.

작게 줄인 본보기. 조건은 글 대신 라벨 하나(A 또는 B)입니다. 조건을 붙인 어림은 그 무리의 자료 점만으로 5절의 식을 써서 정확히 구합니다. DDPM 50단계로 300점을 만듭니다.

연한 초록 점은 A 무리, 연한 파랑 점은 B 무리의 진짜 자료이고, 검은 점이 만든 점입니다. 고리와 글자는 왼쪽 반이 A, 두 덩이와 나선은 덩이 하나, 팔 하나가 한 무리입니다. 「닿은 자료 점」은 만든 점마다 가장 가까운 자료 점을 찾아 서로 다른 것을 센 수입니다.

해 볼 것. ① 처음에는 고리에서 「A 만」, 가이던스 스케일 1 입니다. 만든 300점이 모두(100%) A 무리에 더 가깝습니다. 닿은 자료 점은 122곳입니다. ② 「전체」를 누르면 조건이 없어져 A 쪽 168점, B 쪽 132점이 나오고, 닿은 자료 점은 179곳입니다. ③ 「A 만」에서 가이던스 스케일을 0 으로 내리면 「전체」와 똑같은 그림이 됩니다. 0.5 면 274점(91%)만 A 쪽입니다. ④ 가이던스 스케일을 4 로 올리면 여전히 100% A 쪽이지만, 닿은 자료 점이 99곳으로 줄고 점들이 B 에서 가장 먼 왼쪽 끝에 몰립니다. 조건에는 더 잘 맞지만 덜 다양합니다.

이것이 「글로 그림을 주문하는 것」의 아주 단순한 꼴입니다. 진짜 모델에서는 조건이 라벨 하나가 아니라 긴 글이고, 두 어림을 모두 한 신경망이 냅니다.

9. 줄인 공간에서 하기: 잠재 확산

큰 그림을 바로 다루면 비쌉니다. 512×512 컬러 그림은 숫자가 512 × 512 × 3 = 786,432 개이고, 단계마다 이 크기로 신경망을 돌려야 합니다. 그런데 이 숫자들의 많은 부분은 눈에 잘 띄지 않는 잔무늬입니다.

잠재 확산(Rombach 등 2022)은 먼저 오토인코더(autoencoder)를 따로 학습시킵니다. 인코더는 그림을 작은 칸의 표로 줄이고, 디코더는 그 표를 다시 그림으로 펼칩니다. 이 작은 표가 사는 곳을 잠재 공간이라고 합니다. 예를 들어 한 변을 8분의 1 로 줄인 64×64 칸에 칸마다 숫자 4개를 둔다면 64 × 64 × 4 = 16,384 개로, 약 48분의 1 입니다. 확산은 이 작은 표 위에서 하고, 마지막에 디코더로 한 번만 그림으로 펼칩니다.

잔무늬는 디코더가 맡고, 확산 모델은 무엇이 어디에 있는지 같은 큰 짜임에 힘을 씁니다. 같은 논문이 글 같은 조건을 크로스 어텐션으로 넣는 방법도 함께 냈습니다. 아래 그림은 학습할 때와 만들 때의 흐름을 한데 모아 보입니다.

학습할 때: 한 번 지나감 섞은 노이즈 ε (정답) 그림 x₀ 학습 자료 인코더 그림을 줄임 잠재 작은 칸의 표 노이즈 섞기 단계 t 를 고름 U-Net 노이즈 ε̂ 맞히기 틀린 정도 (ε − ε̂)² 단계 t 를 숫자로 글 → 숫자 벡터 크로스 어텐션으로 만들 때: 단계 수만큼 되풀이 인코더 쓰지 않음 × 단계 수 순수한 노이즈 작은 표 크기 U-Net 노이즈 ε̂ 맞히기 조금 걷어 냄 x_t → x_(t−1) 디코더 한 번만 펼침 그림 새 그림
잠재 확산의 두 흐름. 위는 학습할 때입니다. 그림을 인코더로 작은 표로 줄이고, 단계 t 를 하나 골라 노이즈 ε 을 섞은 뒤, U-Net 이 맞힌 노이즈 ε̂ 과 섞은 노이즈 ε 의 틀린 정도(평균 제곱 오차)를 잽니다. 한 번 지나갑니다. 아래는 만들 때입니다. 작은 표 크기의 순수한 노이즈에서 출발해 「노이즈 맞히기 → 조금 걷어 냄」을 단계 수만큼 되풀이하고, 마지막에 디코더로 한 번만 그림으로 펼칩니다. 인코더는 쓰지 않습니다. 가운데의 단계 t 와 글은 두 흐름 모두에서 U-Net 에 들어갑니다. 글은 숫자 벡터로 바꾼 뒤 크로스 어텐션으로 그림의 각 부분이 볼 낱말을 정합니다. 4·8·9절의 글에 적힌 부품만 그렸습니다.

10. GAN, VAE 와 무엇이 다른가

그림을 만드는 신경망은 확산 모델 전에도 있었습니다. GAN(Goodfellow 등 2014)은 만드는 신경망과 가려내는 신경망이 서로 겨루며 배웁니다. 그림을 한 번에 만들어 빠르지만, 학습이 불안정해지기 쉽고 자료의 일부 모습만 되풀이해 만드는 일(모드 붕괴)이 생깁니다. VAE(Kingma, Welling 2013)는 그림을 작은 잠재 공간으로 줄였다가 펼치는 법을 배우고, 잠재 공간에서 뽑아 펼쳐서 만듭니다. 학습이 안정적이고 빠르지만 그림이 흐릿해지기 쉽습니다. 확산 모델은 노이즈를 걷어 내는 신경망 하나를 여러 번 돌립니다. 배우는 일이 「노이즈 맞히기」 하나라 학습이 안정적이고 다양한 그림을 잘 만들지만, 여러 번 돌려야 해서 느립니다.

GANVAE확산 모델
배우는 일만드는 쪽과 가려내는 쪽이 겨룬다줄였다 펼쳐서 원래대로섞어 넣은 노이즈 맞히기
만들 때 신경망을 돌리는 횟수한 번한 번여러 번(단계 수만큼)
흔한 약점학습이 불안정, 모드 붕괴흐릿함느림

11. 꼭 알아야 할 성질

성질쉬운 말
순방향 과정에는 배울 것이 없다식으로 정해 둔다. 배우는 것은 역방향 과정뿐이다
x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈아무 t 로나 한 번에 간다. 그래서 학습이 빠르다
학습 목표는 섞어 넣은 노이즈 맞히기평균 제곱 오차로 잰다. 답을 사람이 달 필요가 없다
노이즈 ε̂, 원래 그림 x̂₀, 점수 함수는 한 묶음하나를 알면 식 하나로 나머지를 구한다
단계 수와 질을 맞바꾼다단계를 줄이면 빠르지만 거칠어진다

12. 한계

어디에 쓰나

자주 묻는 것

확산 모델이 뭔가요?

그림에 노이즈를 조금씩 섞어 완전히 노이즈가 될 때까지 망가뜨리는 과정을 정해 두고, 그 반대로 노이즈를 조금씩 걷어 내는 법을 신경망에 가르친 모델입니다. 순수한 노이즈에서 출발해 노이즈를 여러 번 걷어 내면 새 그림이 나옵니다.

왜 「확산」이라고 부르나요?

물에 떨어뜨린 잉크가 퍼져 고르게 흐려지듯, 그림이 노이즈 속으로 퍼져 흐려지는 순방향 과정을 물리의 확산에 빗댄 이름입니다. 모델이 배우는 것은 그 반대인, 퍼진 것을 되돌리는 일입니다.

신경망은 무엇을 배우나요?

노이즈 섞인 그림과 단계 t 를 받아, 그 그림에 섞여 들어간 노이즈를 맞히도록 배웁니다. 정답 노이즈는 학습할 때 직접 섞어 넣었으니 늘 압니다. 틀린 정도는 평균 제곱 오차로 잽니다.

같은 글을 넣어도 매번 다른 그림이 나오는 까닭은 무엇인가요?

출발하는 노이즈가 매번 다르기 때문입니다. DDPM 처럼 단계마다 새 노이즈를 더하는 방식이면 그 노이즈도 매번 다릅니다. 출발 노이즈의 시드를 고정하고 DDIM 처럼 새 노이즈를 더하지 않는 방식으로 뽑으면 같은 그림이 나옵니다.

단계 수를 줄이면 어떻게 되나요?

빨라지지만 한 걸음이 커져 덜 또렷해집니다. 이 쪽의 실험에서 같은 노이즈로 고리를 만들면, 50단계일 때 만든 점에서 가장 가까운 자료 점까지 평균 거리가 0.02 이고 5단계일 때는 0.25 입니다.

낱말

여기서 쓴 말책에서 부르는 말
확산 모델diffusion model, 디노이징 확산 확률 모델(denoising diffusion probabilistic model, DDPM)
망가뜨리기순방향 과정(forward process), 확산 과정(diffusion process), 노이즈 추가(noising)
되살리기역방향 과정(reverse process), 디노이징(denoising)
섞는 무작위 값가우시안 노이즈(Gaussian noise), ε(엡실론)
단계타임스텝(timestep), t. 전체 단계 수는 T
단계마다 섞는 노이즈의 양 / 그 늘리는 방법βt, 분산 스케줄(variance schedule), 노이즈 스케줄(noise schedule). 곧게 늘리면 선형 스케줄(linear schedule)
남은 원래 몫ᾱt(알파 바). (1 − β) 들의 누적 곱
원래 그림의 어림x̂₀, 사후 평균(posterior mean), 디노이저(denoiser)의 출력
노이즈 맞히기노이즈 예측(ε-prediction, noise prediction)
제곱해서 평균 낸 틀린 정도평균 제곱 오차(mean squared error, MSE), 손실(loss)
밀도가 가장 빨리 높아지는 쪽점수 함수(score function), 로그 밀도의 기울기(∇ log p)
만들기, 뽑기샘플링(sampling), 생성(generation)
새 노이즈 없이 결정적으로 뽑기DDIM(denoising diffusion implicit model)
조건, 글로 주문하기조건부 생성(conditional generation), 프롬프트(prompt)
글 쪽으로 더 미는 방법, 그 세기 s분류기 없는 가이던스(classifier-free guidance, CFG), 가이던스 스케일(guidance scale)
줄인 공간, 작은 칸의 표잠재 공간(latent space), 잠재 표현(latent)
줄였다 펼치는 신경망오토인코더(autoencoder). 줄이는 쪽은 인코더, 펼치는 쪽은 디코더
줄인 공간에서 하는 확산잠재 확산 모델(latent diffusion model, LDM)
줄였다 키우는 신경망의 꼴U-Net
자료를 그대로 다시 내놓기암기(memorization)
자료가 이루는 범위볼록 껍질(convex hull)
난수의 처음 값시드(seed)

출처

← GAN3D 비전: 복셀, 포인트 클라우드, NeRF →