확산 모델: 노이즈에서 그림 만들기
텔레비전의 지지직거리는 화면 같은 노이즈(noise)에서 출발해, 노이즈를 조금씩 걷어 내면 그림이 나옵니다. 확산 모델이 그림을 만드는 방법입니다. 그림 대신 평면 위의 점 무리로, 망가뜨리는 길과 되살리는 길을 직접 움직여 봅니다.
한 줄 답. 확산 모델은 그림에 노이즈를 조금씩 섞어 완전히 노이즈가 될 때까지 망가뜨리는 과정을 식으로 정해 두고, 그 반대인 「노이즈를 조금 걷어 내는 법」을 신경망에 학습시킵니다. 그러면 순수한 노이즈에서 출발해 노이즈를 여러 번 걷어 내며 새 그림을 만들 수 있습니다.
작게 줄인 본보기. 진짜 그림은 점 하나가 아니라 수십만 개의 숫자(픽셀)이고, 노이즈를 걷어 내는 방향은 큰 신경망이 어림합니다. 여기서는 그림 한 장 대신 평면 위의 점 하나를 쓰고(진짜 자료는 점 300개), 자료가 작아서 그 방향을 식으로 정확히 계산합니다.
연한 초록 점은 진짜 자료, 진한 초록 점은 노이즈가 섞인 자료, 파란 점은 노이즈에서 만드는 점입니다. 주황 선은 고른 점 하나가 지나온 길이고, 오른쪽 그림에서 파란 점을 누르면 그 점을 고릅니다. 보라 화살표는 그 자리에서 노이즈를 걷어 내는 방향입니다. 회색 작은 화살표는 이번 단계에 점이 옮겨 간 길입니다(스무 점에 하나). 오른쪽 그림 위쪽 띠는 t = 50 에서 t = 0 으로 가는 시간 줄입니다. 검은 화살표가 지금 단계를, 왼쪽을 향한 초록 화살표가 「노이즈 더하기」(그림 ①), 오른쪽을 향한 파란 화살표가 「노이즈 걷어 내기」(그림 ②)를 가리킵니다. 아래 그래프의 초록 곡선은 남은 원래 몫 ᾱ, 주황 점선은 단계마다 섞는 노이즈 β 입니다. 방식이나 단계 수를 바꾸면 같은 노이즈에서 다시 출발합니다.
1. 두 과정: 망가뜨리기와 되살리기
확산 모델에는 과정이 둘 있습니다. 하나는 그림을 노이즈로 망가뜨리는 순방향 과정(forward process), 다른 하나는 노이즈에서 그림을 되살리는 역방향 과정(reverse process)입니다.
| 순방향(망가뜨리기) | 역방향(되살리기) | |
|---|---|---|
| 하는 일 | 그림에 노이즈를 조금씩 섞는다. 끝에는 노이즈만 남는다 | 노이즈를 조금씩 걷어 낸다. 끝에는 그림이 남는다 |
| 누가 정하나 | 사람이 식으로 정해 둔다. 배울 것이 없다 | 신경망이 배운다 |
| 언제 쓰나 | 학습할 때. 배울 문제와 답을 만든다 | 그림을 만들 때 |
| 실험에서 | 왼쪽 그림 ① | 오른쪽 그림 ② |
물에 잉크 한 방울을 떨어뜨리면 퍼져서 고르게 흐려집니다. 물리에서 이것을 확산이라고 합니다. 퍼지는 일은 저절로 일어나지만, 퍼진 물이 저절로 잉크 방울로 돌아오지는 않습니다. 확산 모델은 이 되돌리는 일을 아주 작은 걸음으로 나누어 배웁니다. 이 생각을 처음 낸 Sohl-Dickstein 등(2015)의 논문도 열역학에서 생각을 빌려 왔습니다.
왜 굳이 망가뜨릴까요? 「그림을 만들어라」는 너무 큰 문제입니다. 「노이즈가 조금 섞인 그림에서 노이즈를 조금 걷어 내라」는 작은 문제입니다. 순방향 과정은 이 작은 문제를, 답까지 붙여서, 얼마든지 만들어 줍니다.
해 볼 것. ① 왼쪽 그림의 t 막대를 0 에서 오른쪽으로 끌거나 「재생」을 누르세요. 고리가 흐려지다가 둥근 노이즈 구름이 됩니다. ② t = 10 이면 설명 줄이 x_t = 0.82 × x₀ + 0.57 × 노이즈 이고 아직 고리가 보입니다. t = 25 면 0.26 × x₀ + 0.96 × 노이즈 이고 고리가 거의 보이지 않습니다. ③ t = 50 이면 x₀ 에 곱하는 수가 0.003 뿐이고, 점들의 평균은 (−0.01, −0.03), 표준편차는 (0.98, 1.02) 입니다. 평균 0, 표준편차 1 인 정규분포와 거의 같습니다. 다른 모양을 골라도 t = 50 의 구름은 같은 숫자가 나옵니다. 어떤 그림이었는지 흔적이 남지 않습니다.
2. 순방향: 노이즈를 섞는 식
순방향 과정은 t = 0(원래 그림)에서 t = T(노이즈만)까지 T 단계(타임스텝, timestep)입니다. 이 실험은 T = 50 이고, DDPM 논문(Ho 등 2020)은 T = 1000 입니다. 단계 s 마다 노이즈를 βs 만큼 섞습니다.
x_s = √(1 − β_s) × x_(s−1) + √β_s × 새 노이즈
노이즈는 정규분포(평균 0, 표준편차 1)에서 뽑습니다. 그림 전체에 하나가 아니라 숫자(픽셀) 하나하나에 따로 뽑아 더합니다. 원래 그림을 √(1 − β) 만큼 줄이는 까닭은, 더하기만 하면 값이 점점 커지기 때문입니다. 줄이고 더하면 전체 퍼짐(분산)이 1 근처에 머뭅니다. 분산이 1 이던 값은 (1 − β) × 1 + β = 1 이 됩니다.
이 단계를 여러 번 밟아도, 식 하나로 t 까지 한 번에 갈 수 있습니다.
x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈ᾱ_t = (1 − β₁) × (1 − β₂) × … × (1 − β_t)
ᾱt(알파 바)는 t 단계 뒤에 원래 그림이 얼마나 남았나입니다. 정규분포 노이즈 여러 개를 더하면 또 하나의 정규분포가 되므로 이렇게 한 줄로 모입니다. 한 걸음씩 모여 이 식이 되는 과정은 이 절 뒤의 식이 만들어지는 과정에서 그림으로 봅니다. 학습할 때 단계를 하나씩 밟지 않고 아무 t 로나 바로 갈 수 있어서 빠릅니다. 실험의 왼쪽 그림도 이 식을 씁니다. 점마다 노이즈를 한 번 뽑아 두고 t 만 바꿉니다.
β 를 어떻게 늘릴지를 노이즈 스케줄(noise schedule)이라고 합니다. 이 실험은 DDPM 논문처럼 β 를 곧게(선형으로) 늘립니다. 논문은 1000 단계에서 0.0001 부터 0.02 까지이고, 여기서는 50 단계라서 20배 한 0.002 부터 0.4 까지입니다(그래프의 주황 점선). 그러면 ᾱ 는 1 에서 출발해 0 쪽으로 내려갑니다(초록 곡선).
| t | 0 | 5 | 10 | 20 | 30 | 50 |
|---|---|---|---|---|---|---|
| 남은 몫 ᾱt | 1 | 0.91 | 0.67 | 0.19 | 0.02 | 0.00001 |
| x₀ 에 곱하는 수 √ᾱt | 1 | 0.95 | 0.82 | 0.43 | 0.14 | 0.003 |
| 노이즈에 곱하는 수 √(1 − ᾱt) | 0 | 0.3 | 0.57 | 0.9 | 0.99 | 1 |
식이 만들어지는 과정: 한 걸음씩 섞다가 한 번에 가기까지
2절의 x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈 은 처음부터 정해 둔 식이 아닙니다. 노이즈를 조금 섞는 한 걸음에서 출발해, 걸음을 이어 붙이면 나옵니다. 아래 그림은 위 실험과 같은 고리 300점, 같은 노이즈 스케줄(β 0.002 → 0.4)으로 한 단계씩 보여 줍니다. 식의 ε(엡실론)은 평균 0, 표준편차 1 인 정규분포에서 뽑은 노이즈이고, ε₁ 과 ε₂ 처럼 번호가 다르면 따로 뽑은 노이즈입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위의 식에 조각이 하나씩 붙고(주황 바탕이 이번에 붙은 조각), 점들이 그만큼 옮겨 가고, 아래에 까닭이 나옵니다. 연한 초록 점은 처음 자료 x₀, 진한 초록 점은 한 걸음씩 노이즈를 섞은 점, 파란 점은 식으로 한 번에 간 점, 보라 점은 x₀ 몫 √ᾱ × x₀ 입니다. 주황 화살표는 지금 구름의 가로·세로 표준편차 σ 이고, 점선 원은 반지름 1 입니다. 노이즈는 고정 시드(seed)로 뽑아 쪽을 열 때마다 같습니다.
- 처음:
x₀. 고리 300점의 분산은 가로·세로 모두 1.28(표준편차 1.13) 입니다. 순방향 과정이 할 일은 t = 50 에서 어떤 자료든 평균 0, 표준편차 1 인 노이즈 구름으로 만드는 것입니다. - 노이즈를 더하기만:
x_t = x_(t−1) + √β_t × ε. 서로 상관없는 두 값을 더하면 분산도 더해집니다. 그래서 50걸음 뒤 분산은1.28 + (β₁ + β₂ + … + β₅₀) = 1.28 + 10.05 = 11.33, 표준편차는 3.37 입니다. 그림에서 300점 가운데 103점이 그림 밖으로 나갑니다. 까닭: 이대로는 걸음을 늘릴수록 퍼짐이 끝없이 커지고, 처음 자료의 분산 1.28 도 끝까지 남아 자료마다 끝 모습이 다릅니다. - 줄이고 더하기:
x_t = √(1 − β_t) × x_(t−1) + √β_t × ε. 더하기 전에 지난 값을 조금 줄입니다. 값에 c 를 곱하면 분산은 c² 배가 되므로 분산 v 가(1 − β) × v + β가 됩니다. 까닭: v = 1 이면(1 − β) + β = 1이라 퍼짐이 1 에 머뭅니다. 1 이 아니어도(1 − β) × v + β − 1 = (1 − β) × (v − 1)이라 1 과의 차이가 걸음마다 (1 − β) 배로 줄고, 고리의 차이 0.28 이 50걸음 뒤 0.000002 가 됩니다. 같은 노이즈, 같은 50걸음인데 이번에는 표준편차 (0.98, 0.97) 인 둥근 구름이 됩니다. - 두 걸음 이어 붙이기:
x₂ = √(α₁ × α₂) × x₀ + √(1 − α₁ × α₂) × ε. αt = 1 − βt 라고 쓰면 한 걸음은x_t = √α_t × x_(t−1) + √β_t × ε_t입니다. 첫 걸음을 둘째 걸음에 넣으면x₂ = √α₂ × (√α₁ × x₀ + √β₁ × ε₁) + √β₂ × ε₂ = √(α₁ × α₂) × x₀ + √(α₂ × β₁) × ε₁ + √β₂ × ε₂입니다. 까닭: 노이즈가 둘 남지만, 서로 상관없는 정규분포 둘의 합은 분산을 더한 정규분포 하나입니다. 분산은α₂ × β₁ + β₂ = α₂ × (1 − α₁) + (1 − α₂) = 1 − α₁ × α₂이므로 노이즈 하나√(1 − α₁ × α₂) × ε로 바꿔 쓸 수 있습니다. 이 쪽의 스케줄로는0.0020 + 0.0101 = 0.0121입니다. 그림은 이 이어 붙이기를 10걸음까지 한 것입니다. 보라 고리가 x₀ 몫 √ᾱ₁₀ × x₀ 이고, 회색 선이 노이즈 10개가 모인 몫입니다. 그 분산을 재면 (0.36, 0.37) 이고 식으로는 1 − ᾱ₁₀ = 0.33 입니다. 300점으로 잰 값이라 조금 흔들립니다. - t 걸음을 한 번에:
x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × ε,ᾱ_t = α₁ × α₂ × … × α_t. 셋째 걸음을 붙여도 같은 계산이 되풀이됩니다. x₀ 에 곱하는 수에는 α 가 하나씩 더 곱해지고, 노이즈는 늘 하나로 모입니다. 2절의 ᾱ 가 바로 이 곱입니다. t = 10 이면x₁₀ = 0.82 × x₀ + 0.57 × ε입니다. 파란 점은 이 식으로 노이즈를 한 번만 뽑아 간 것이고, 위 실험 ① 의 t = 10 과 같은 그림입니다. 초록 점은 10걸음을 걸은 것입니다. 점 하나하나의 자리는 다르지만 같은 분포의 구름입니다. 표준편차는 (1.04, 1.09) 와 (1.12, 1.1) 이고, 식으로는√(0.67 × 1.28 + 0.33) = 1.09입니다. 까닭: 학습할 때마다 t 걸음을 걷지 않고 아무 t 로나 바로 갈 수 있습니다. - t 가 커지면:
ᾱ_t → 0. β 가 0 보다 크면 α 는 1 보다 작아서, α 를 곱할수록 ᾱ 는 0 으로 갑니다. t = 50 이면 ᾱ = 0.00001, x₀ 에 곱하는 수는 0.003 뿐입니다. 그래서 x₅₀ 은 거의 ε 하나, 평균 (−0.01, −0.03), 표준편차 (0.98, 1.02) 인 노이즈입니다. 1절의 「해 볼 것」 ③ 과 같은 숫자입니다. 까닭: 끝이 어떤 자료에서 출발했든 같은 노이즈여야, 그림을 만들 때 그 노이즈에서 출발할 수 있습니다.
여기서는 증명하지 않는 것. 「서로 상관없는 정규분포 둘의 합은 정규분포이고 분산이 더해진다」는 성질은 증명 없이 썼습니다. DDPM 논문(출처)도 αt = 1 − βt 라고 쓰고 이 식을 식 (4) 로 적습니다. 역방향 과정의 한 걸음(3절의 a, b, σ)과 학습 목표가 「섞어 넣은 노이즈 맞히기」가 되는 까닭(4절)도 이 식에서 출발하지만, 거기까지 가는 단계가 많아 여기서는 증명하지 않습니다. 같은 논문에 그 유도가 있습니다.
3. 역방향: 노이즈를 걷어 내는 식
되살리기는 t = T 의 순수한 노이즈에서 출발합니다. 단계마다 두 가지를 합니다.
- 원래 그림을 어림한다. 지금의 xt 를 보고 x₀ 이 무엇이었을지 어림합니다. 이 어림을 x̂₀(엑스 영 햇)이라고 적습니다. 진짜 모델은 신경망으로 섞여 있는 노이즈 ε̂ 을 맞히고, 순방향 과정의 식을 거꾸로 풀어
x̂₀ = (x_t − √(1 − ᾱ_t) × ε̂) ÷ √ᾱ_t를 구합니다. - 그 어림 쪽으로 한 걸음 간다. 조금 덜 시끄러운 xt−1 로 갑니다.
처음의 어림은 아주 흐립니다. t 가 클 때 xt 에는 원래 그림이 거의 남아 있지 않아서, 가장 좋은 어림이 「자료 전체의 평균」 쯤입니다. 한 걸음 가서 노이즈가 줄면 어림이 조금 또렷해지고, 이것을 끝까지 되풀이합니다.
한 걸음 가는 방법은 두 가지가 널리 쓰입니다.
| DDPM(Ho 등 2020) | DDIM(Song 등 2020) | |
|---|---|---|
| 한 걸음 | x̂₀ 과 지금 자리를 섞은 곳으로 가고, 새 노이즈를 조금 더한다 | 어림한 노이즈 ε̂ 을 그대로 두고 노이즈의 몫만 줄인다. 새 노이즈가 없다 |
| 식 | x_(t−1) = a × x̂₀ + b × x_t + σ × 새 노이즈 | x_(t−1) = √ᾱ_(t−1) × x̂₀ + √(1 − ᾱ_(t−1)) × ε̂ |
| 같은 출발 노이즈이면 | 더하는 새 노이즈에 따라 끝이 달라진다 | 늘 같은 끝에 닿는다(결정적) |
| 단계 건너뛰기 | 원래는 T 단계를 하나씩 밟는다 | 단계를 건너뛰어 적은 단계로 뽑도록 만든 방법이다 |
DDPM 식의 a, b, σ 는 그 단계의 ᾱ 와 β 로 정해지는 수입니다. 이 실험의 lab.js 에 있는 reverseStep 함수에 식 그대로 적혀 있습니다. 실험은 단계 수를 줄일 때 50 에서 0 까지를 고르게 건너뜁니다(10단계면 50, 45, 40, …, 5, 0).
해 볼 것. ① 처음 설정(고리, DDPM, 50단계)에서 「자동」을 누르세요. 파란 노이즈 구름이 가운데로 모였다가 고리 모양으로 갈라집니다. 가장 가까운 자료 점까지의 평균 거리가 0.52 에서 0.02 로 줍니다. ② 1번 점은 (1.4, 1.22) 에서 출발합니다. DDPM 으로 끝까지 가면 (−1.31, 0.89) 에, DDIM 으로 가면 (1.26, 1.02) 에 닿습니다. DDIM 의 주황 자취는 매끄럽고, DDPM 의 자취는 새 노이즈 때문에 흔들립니다. ③ 「새 노이즈로 다시」를 누르면 다른 노이즈에서 출발해 다른 점들이 나오지만, 모두 고리 위에 모입니다.
4. 학습: 섞어 넣은 노이즈를 맞히기(노이즈 예측, noise prediction)
신경망은 「노이즈를 걷어 내는 법」을 어떻게 배울까요? DDPM 의 방법은 단순합니다. 섞어 넣은 노이즈를 맞히게 합니다.
- 학습 자료에서 그림 x₀ 하나를 고른다.
- 단계 t 를 1 부터 T 사이에서 아무거나 고른다.
- 정규분포에서 노이즈 ε 을 뽑는다. 그림과 같은 크기다.
- 순방향 과정의 식으로
x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × ε를 만든다. - 신경망에 xt 와 t 를 넣어 노이즈의 어림 ε̂ 을 받는다.
- 틀린 정도를 잰다.
(ε − ε̂)²를 모든 숫자(픽셀)에 대해 평균 낸 것이다(평균 제곱 오차). - 틀린 정도가 줄어드는 쪽으로 신경망의 가중치를 조금 고친다. 1 로 돌아간다.
정답 ε 은 우리가 직접 섞어 넣었으니 언제나 압니다. 사람이 답을 달아 줄 필요가 없습니다. 그림만 있으면 문제와 답이 끝없이 나옵니다. 제곱해서 평균 내는 오차는 최소제곱에서 줄이는 것과 같은 꼴이고, 가중치를 고치는 방법은 경사 하강법, 고칠 방향(기울기, 그래디언트)을 구하는 방법은 역전파입니다.
신경망은 그림을 받아 같은 크기의 그림(노이즈의 어림)을 내놓아야 합니다. DDPM 은 그림을 점점 작게 줄였다가 다시 키우는 U-Net 이라는 꼴의 신경망을 씁니다. 그 안에서는 합성곱이 주로 일하고, 중간에 어텐션 층도 들어갑니다. 단계 t 도 숫자로 바꿔 같이 넣습니다. 노이즈가 얼마나 섞였는지에 따라 걷어 낼 양이 다르기 때문입니다.
노이즈 대신 x₀ 을 바로 맞히게 해도 됩니다. 둘은 위의 식 하나로 서로 바뀝니다. DDPM 논문에서는 노이즈를 맞히게 했을 때 그림이 더 좋았습니다.
5. 이 실험에 신경망이 없어도 되는 까닭: 정확한 식
진짜 그림은 종류가 끝없이 많아서 x̂₀ 을 식으로 구할 수 없습니다. 그래서 신경망이 어림합니다. 이 실험의 자료는 점 300개뿐입니다. 그러면 x̂₀ 을 정확히 계산할 수 있습니다.
xt 는 자료 점 300개 가운데 하나(μi)를 √ᾱ 만큼 줄이고 정규분포 노이즈를 더한 것입니다. 그러니 xt 가 점 μi 에서 왔을 가능성은 xt 와 √ᾱ × μ_i 가 가까울수록 큽니다. 정규분포의 높이 식에서 그 가능성(가중치)이 나옵니다.
가중치_i ∝ e^(−|x_t − √ᾱ × μ_i|² ÷ (2 × (1 − ᾱ)))x̂₀ = Σ 가중치_i × μ_i (가중치는 합이 1 이 되게 나눈다)
∝ 는 「비례한다」, Σ 는 「모두 더한다」는 기호입니다. e 의 거듭제곱을 해서 합이 1 이 되게 나누는 일은 어텐션의 소프트맥스와 같은 계산입니다. 그래서 x̂₀ 은 자료 점들의 가중 평균이고, 자료가 이루는 범위(볼록 껍질) 밖으로 나가지 않습니다. 이것은 베이즈 정리로 구한 「x₀ 의 기댓값」이기도 합니다. 노이즈가 많을 때(1 − ᾱ 이 클 때)는 가중치가 고르게 퍼져 x̂₀ 이 자료 전체의 평균 근처에 있고, 노이즈가 적을 때는 가까운 몇 점에 가중치가 몰립니다.
방향 보기. 「방향 보기」를 켜면 격자의 자리마다 √ᾱ × x̂₀ − x 쪽으로 화살표를 그립니다. 이 방향은 노이즈 섞인 점들의 밀도가 가장 빨리 높아지는 쪽(로그 밀도의 기울기)과 같고, 책에서는 점수 함수(score)라고 부릅니다. 신경망이 노이즈 ε̂ 을 맞히는 것은 점수 함수를 맞히는 것과 같습니다. 둘은 점수 = −ε̂ ÷ √(1 − ᾱ) 로 이어집니다.
해 볼 것. ① 「방향 보기」를 켜면 처음(t = 50)에는 모든 화살표가 한가운데를 향합니다. 노이즈가 너무 많아 어디서 왔는지 모르니 일단 가운데로 모읍니다. ② 단계 수를 10 으로 두고 「한 단계」를 누르며 보세요. t = 15 까지는 고리 안쪽의 화살표도 가운데를 향합니다. t = 10 이 되면 고리 안쪽의 화살표가 바깥으로 돌아서서, 화살표가 고리 쪽으로 갈라집니다. ③ 끝 무렵에는 화살표가 가장 가까운 자료 점을 가리킵니다.
주의: 정확한 식은 자료를 외운다. t 가 0 에 가까우면 정확한 x̂₀ 은 가장 가까운 자료 점이 됩니다. 그래서 이 실험의 「새 점」은 사실 자료 점 가운데 하나를 거의 그대로 다시 낸 것입니다. 진짜 모델의 신경망은 이 식을 정확히 맞히지 못하고 비슷하게 어림합니다. 그 덕분에 자료 사이를 메워 학습 자료에 없던 그림을 만든다고 봅니다. 그래도 드물게 학습 그림과 거의 같은 그림을 내놓는 일이 보고되었습니다(Carlini 등 2023).
6. 손으로 따라 풀기: 숫자 하나짜리 자료
그림 대신 숫자 하나 x₀ = 2 를 자료로 씁니다. 계산하기 쉽게 ᾱ = 0.64 인 단계를 고릅니다. √0.64 = 0.8, √(1 − 0.64) = √0.36 = 0.6 입니다. 이 쪽의 노이즈 스케줄에서는 t = 10 과 11 사이입니다.
- 망가뜨리기. 노이즈 ε = −1 을 뽑았다고 합시다.
x_t = 0.8 × 2 + 0.6 × (−1) = 1.6 − 0.6 = 1.0 - 노이즈를 맞히면. 신경망이 ε̂ = −1 이라고 맞혔다면
x̂₀ = (x_t − 0.6 × ε̂) ÷ 0.8 = (1.0 + 0.6) ÷ 0.8 = 2. 원래 값으로 돌아왔습니다. - 틀리면. 신경망이 ε̂ = −0.5 라고 했다면
x̂₀ = (1.0 + 0.3) ÷ 0.8 = 1.625입니다. 학습에서 잰 틀린 정도는(ε − ε̂)² = (−1 − (−0.5))² = 0.25. 학습은 이 수가 줄어들게 가중치를 고칩니다. - 자료가 둘이면. 이제 자료가 2 와 −2 두 개입니다. 같은 xt = 1.0 이 어디서 왔을지 5절의 식으로 셉니다. 2 에서 왔다면
e^(−(1.0 − 0.8 × 2)² ÷ (2 × 0.36)) = e^(−0.36 ÷ 0.72) = e^(−0.5) ≈ 0.607. −2 에서 왔다면e^(−(1.0 + 1.6)² ÷ 0.72) = e^(−9.39) ≈ 0.00008. 합이 1 이 되게 나누면 가중치는 0.9999 와 0.0001 이라x̂₀ ≈ 2입니다. 거의 틀림없이 2 에서 왔습니다. - 한가운데라면. xt = 0 이면 두 가중치가 0.5 로 같아서
x̂₀ = 0.5 × 2 + 0.5 × (−2) = 0입니다. 2 도 −2 도 아닌, 둘의 평균입니다. 7절에서 이 문제를 봅니다.
7. 왜 한 번에 하지 않고 여러 단계로 나누나
6절의 마지막처럼, 노이즈가 많을 때 가장 좋은 어림은 「그럴 법한 것들의 평균」입니다. 평균은 흐립니다. 고리라면 고리의 한가운데이고, 그림이라면 여러 그림을 겹친 뿌연 그림입니다. 그래서 한 번에 x̂₀ 으로 뛰지 않고 그쪽으로 조금만 갑니다. 노이즈가 조금 줄면 「어느 쪽인지」가 조금 정해지고, 다음 어림은 그쪽의 평균으로 좁혀집니다. 이것을 되풀이하면 흐린 평균이 아니라 또렷한 하나에 닿습니다.
단계마다 할 일이 작아진다는 것도 까닭입니다. 노이즈를 조금 걷어 내는 일은 그림 전체를 한 번에 만드는 일보다 훨씬 쉬운 문제입니다. 대신 느립니다. 단계마다 신경망을 한 번씩 돌려야 합니다. 단계를 줄이면 빠르지만 한 걸음이 커져서 덜 또렷해집니다. 단계를 줄이면서도 또렷하게 뽑는 방법은 계속 연구되고 있고, DDIM 이 그 가운데 하나입니다.
| 단계 수(고리, 시드 1) | 50 | 25 | 10 | 5 |
|---|---|---|---|---|
| DDPM: 가장 가까운 자료 점까지 평균 거리 | 0.02 | 0.03 | 0.05 | 0.25 |
| DDIM: 가장 가까운 자료 점까지 평균 거리 | 0.02 | 0.03 | 0.04 | 0.22 |
해 볼 것. 단계 수를 5 로 두고 「끝까지」를 누르세요. 계산은 50단계의 10분의 1 이지만 평균 거리가 0.25 로 커지고, 점들이 고리 안쪽에 흩어져 흐릿합니다. 마지막 걸음이 t = 10 에서 0 으로 한 번에 뛰면서 그때의 흐린 어림(평균)에 그대로 앉기 때문입니다. 10 단계면 0.05, 25 단계면 0.03 입니다.
8. 글로 주문하기: 조건과 가이던스
글(프롬프트)로 그림을 주문하려면 신경망에 글도 같이 넣습니다. 노이즈의 어림이 「xt 와 t 를 보고」에서 「xt 와 t 와 글을 보고」가 됩니다. 글은 먼저 숫자 벡터로 바꾸고(임베딩), 신경망 안의 크로스 어텐션으로 그림의 각 부분이 글의 어느 낱말을 볼지 정합니다(어텐션). 학습할 때는 그림과 그 그림을 설명하는 글을 짝으로 씁니다.
가이던스(classifier-free guidance). Ho 와 Salimans(2022)의 방법입니다. 한 신경망을 글이 있을 때와 없을 때 둘 다 쓸 수 있게 가르칩니다. 학습할 때 가끔 글을 빈칸으로 바꿔 넣으면 됩니다. 그림을 만들 때는 두 어림을 다 구해서 이렇게 섞습니다.
ε̂ = ε̂(조건 없음) + s × (ε̂(글) − ε̂(조건 없음))
s 는 가이던스 스케일(guidance scale)입니다. s = 0 이면 글을 무시하고, s = 1 이면 글을 붙인 어림 그대로이고, s 가 1 보다 크면 「글이 없을 때와 다른 쪽」으로 더 밀어붙입니다. 글에 더 잘 맞는 대신 다양함이 줄어듭니다. 논문은 이 수를 w = s − 1 로 적습니다.
작게 줄인 본보기. 조건은 글 대신 라벨 하나(A 또는 B)입니다. 조건을 붙인 어림은 그 무리의 자료 점만으로 5절의 식을 써서 정확히 구합니다. DDPM 50단계로 300점을 만듭니다.
연한 초록 점은 A 무리, 연한 파랑 점은 B 무리의 진짜 자료이고, 검은 점이 만든 점입니다. 고리와 글자는 왼쪽 반이 A, 두 덩이와 나선은 덩이 하나, 팔 하나가 한 무리입니다. 「닿은 자료 점」은 만든 점마다 가장 가까운 자료 점을 찾아 서로 다른 것을 센 수입니다.
해 볼 것. ① 처음에는 고리에서 「A 만」, 가이던스 스케일 1 입니다. 만든 300점이 모두(100%) A 무리에 더 가깝습니다. 닿은 자료 점은 122곳입니다. ② 「전체」를 누르면 조건이 없어져 A 쪽 168점, B 쪽 132점이 나오고, 닿은 자료 점은 179곳입니다. ③ 「A 만」에서 가이던스 스케일을 0 으로 내리면 「전체」와 똑같은 그림이 됩니다. 0.5 면 274점(91%)만 A 쪽입니다. ④ 가이던스 스케일을 4 로 올리면 여전히 100% A 쪽이지만, 닿은 자료 점이 99곳으로 줄고 점들이 B 에서 가장 먼 왼쪽 끝에 몰립니다. 조건에는 더 잘 맞지만 덜 다양합니다.
이것이 「글로 그림을 주문하는 것」의 아주 단순한 꼴입니다. 진짜 모델에서는 조건이 라벨 하나가 아니라 긴 글이고, 두 어림을 모두 한 신경망이 냅니다.
9. 줄인 공간에서 하기: 잠재 확산
큰 그림을 바로 다루면 비쌉니다. 512×512 컬러 그림은 숫자가 512 × 512 × 3 = 786,432 개이고, 단계마다 이 크기로 신경망을 돌려야 합니다. 그런데 이 숫자들의 많은 부분은 눈에 잘 띄지 않는 잔무늬입니다.
잠재 확산(Rombach 등 2022)은 먼저 오토인코더(autoencoder)를 따로 학습시킵니다. 인코더는 그림을 작은 칸의 표로 줄이고, 디코더는 그 표를 다시 그림으로 펼칩니다. 이 작은 표가 사는 곳을 잠재 공간이라고 합니다. 예를 들어 한 변을 8분의 1 로 줄인 64×64 칸에 칸마다 숫자 4개를 둔다면 64 × 64 × 4 = 16,384 개로, 약 48분의 1 입니다. 확산은 이 작은 표 위에서 하고, 마지막에 디코더로 한 번만 그림으로 펼칩니다.
잔무늬는 디코더가 맡고, 확산 모델은 무엇이 어디에 있는지 같은 큰 짜임에 힘을 씁니다. 같은 논문이 글 같은 조건을 크로스 어텐션으로 넣는 방법도 함께 냈습니다. 아래 그림은 학습할 때와 만들 때의 흐름을 한데 모아 보입니다.
10. GAN, VAE 와 무엇이 다른가
그림을 만드는 신경망은 확산 모델 전에도 있었습니다. GAN(Goodfellow 등 2014)은 만드는 신경망과 가려내는 신경망이 서로 겨루며 배웁니다. 그림을 한 번에 만들어 빠르지만, 학습이 불안정해지기 쉽고 자료의 일부 모습만 되풀이해 만드는 일(모드 붕괴)이 생깁니다. VAE(Kingma, Welling 2013)는 그림을 작은 잠재 공간으로 줄였다가 펼치는 법을 배우고, 잠재 공간에서 뽑아 펼쳐서 만듭니다. 학습이 안정적이고 빠르지만 그림이 흐릿해지기 쉽습니다. 확산 모델은 노이즈를 걷어 내는 신경망 하나를 여러 번 돌립니다. 배우는 일이 「노이즈 맞히기」 하나라 학습이 안정적이고 다양한 그림을 잘 만들지만, 여러 번 돌려야 해서 느립니다.
| GAN | VAE | 확산 모델 | |
|---|---|---|---|
| 배우는 일 | 만드는 쪽과 가려내는 쪽이 겨룬다 | 줄였다 펼쳐서 원래대로 | 섞어 넣은 노이즈 맞히기 |
| 만들 때 신경망을 돌리는 횟수 | 한 번 | 한 번 | 여러 번(단계 수만큼) |
| 흔한 약점 | 학습이 불안정, 모드 붕괴 | 흐릿함 | 느림 |
11. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 순방향 과정에는 배울 것이 없다 | 식으로 정해 둔다. 배우는 것은 역방향 과정뿐이다 |
x_t = √ᾱ_t × x₀ + √(1 − ᾱ_t) × 노이즈 | 아무 t 로나 한 번에 간다. 그래서 학습이 빠르다 |
| 학습 목표는 섞어 넣은 노이즈 맞히기 | 평균 제곱 오차로 잰다. 답을 사람이 달 필요가 없다 |
| 노이즈 ε̂, 원래 그림 x̂₀, 점수 함수는 한 묶음 | 하나를 알면 식 하나로 나머지를 구한다 |
| 단계 수와 질을 맞바꾼다 | 단계를 줄이면 빠르지만 거칠어진다 |
12. 한계
- 느리다. 그림 한 장에 신경망을 단계 수만큼 여러 번 돌립니다. DDPM 논문의 방법은 1000번입니다. 한 번에 만드는 GAN 보다 느립니다.
- 작은 짜임을 자주 틀린다. 손가락의 개수, 그림 속 글자처럼 정확한 짜임이 필요한 곳이 이상하게 나오는 일이 자주 있습니다.
- 학습 자료의 문제. 많은 그림을 인터넷에서 모아 학습합니다. 그 그림들의 저작권과 이용 허락을 두고 소송과 논의가 이어지고 있습니다. 학습 자료에 흔한 모습 쪽으로 치우치는 편향도 있습니다. 드물게 학습 그림과 거의 같은 그림을 내놓는 일도 보고되었습니다(5절).
어디에 쓰나
- 그림. 글로 그림 만들기, 그림의 지운 부분 채우기, 작은 그림을 크고 또렷하게 하기.
- 영상. 시간 축을 더해, 여러 장면을 함께 노이즈에서 되살립니다.
- 소리. 음성과 음악. 소리의 파형이나 소리를 그림으로 바꾼 것(스펙트로그램)에 같은 방법을 씁니다.
- 분자 구조. 단백질과 분자의 원자 자리를 노이즈에서 되살려 새 구조를 내놓습니다. 노이즈를 섞는 대상이 픽셀이 아니라 원자의 좌표입니다.
자주 묻는 것
확산 모델이 뭔가요?
그림에 노이즈를 조금씩 섞어 완전히 노이즈가 될 때까지 망가뜨리는 과정을 정해 두고, 그 반대로 노이즈를 조금씩 걷어 내는 법을 신경망에 가르친 모델입니다. 순수한 노이즈에서 출발해 노이즈를 여러 번 걷어 내면 새 그림이 나옵니다.
왜 「확산」이라고 부르나요?
물에 떨어뜨린 잉크가 퍼져 고르게 흐려지듯, 그림이 노이즈 속으로 퍼져 흐려지는 순방향 과정을 물리의 확산에 빗댄 이름입니다. 모델이 배우는 것은 그 반대인, 퍼진 것을 되돌리는 일입니다.
신경망은 무엇을 배우나요?
노이즈 섞인 그림과 단계 t 를 받아, 그 그림에 섞여 들어간 노이즈를 맞히도록 배웁니다. 정답 노이즈는 학습할 때 직접 섞어 넣었으니 늘 압니다. 틀린 정도는 평균 제곱 오차로 잽니다.
같은 글을 넣어도 매번 다른 그림이 나오는 까닭은 무엇인가요?
출발하는 노이즈가 매번 다르기 때문입니다. DDPM 처럼 단계마다 새 노이즈를 더하는 방식이면 그 노이즈도 매번 다릅니다. 출발 노이즈의 시드를 고정하고 DDIM 처럼 새 노이즈를 더하지 않는 방식으로 뽑으면 같은 그림이 나옵니다.
단계 수를 줄이면 어떻게 되나요?
빨라지지만 한 걸음이 커져 덜 또렷해집니다. 이 쪽의 실험에서 같은 노이즈로 고리를 만들면, 50단계일 때 만든 점에서 가장 가까운 자료 점까지 평균 거리가 0.02 이고 5단계일 때는 0.25 입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 확산 모델 | diffusion model, 디노이징 확산 확률 모델(denoising diffusion probabilistic model, DDPM) |
| 망가뜨리기 | 순방향 과정(forward process), 확산 과정(diffusion process), 노이즈 추가(noising) |
| 되살리기 | 역방향 과정(reverse process), 디노이징(denoising) |
| 섞는 무작위 값 | 가우시안 노이즈(Gaussian noise), ε(엡실론) |
| 단계 | 타임스텝(timestep), t. 전체 단계 수는 T |
| 단계마다 섞는 노이즈의 양 / 그 늘리는 방법 | βt, 분산 스케줄(variance schedule), 노이즈 스케줄(noise schedule). 곧게 늘리면 선형 스케줄(linear schedule) |
| 남은 원래 몫 | ᾱt(알파 바). (1 − β) 들의 누적 곱 |
| 원래 그림의 어림 | x̂₀, 사후 평균(posterior mean), 디노이저(denoiser)의 출력 |
| 노이즈 맞히기 | 노이즈 예측(ε-prediction, noise prediction) |
| 제곱해서 평균 낸 틀린 정도 | 평균 제곱 오차(mean squared error, MSE), 손실(loss) |
| 밀도가 가장 빨리 높아지는 쪽 | 점수 함수(score function), 로그 밀도의 기울기(∇ log p) |
| 만들기, 뽑기 | 샘플링(sampling), 생성(generation) |
| 새 노이즈 없이 결정적으로 뽑기 | DDIM(denoising diffusion implicit model) |
| 조건, 글로 주문하기 | 조건부 생성(conditional generation), 프롬프트(prompt) |
| 글 쪽으로 더 미는 방법, 그 세기 s | 분류기 없는 가이던스(classifier-free guidance, CFG), 가이던스 스케일(guidance scale) |
| 줄인 공간, 작은 칸의 표 | 잠재 공간(latent space), 잠재 표현(latent) |
| 줄였다 펼치는 신경망 | 오토인코더(autoencoder). 줄이는 쪽은 인코더, 펼치는 쪽은 디코더 |
| 줄인 공간에서 하는 확산 | 잠재 확산 모델(latent diffusion model, LDM) |
| 줄였다 키우는 신경망의 꼴 | U-Net |
| 자료를 그대로 다시 내놓기 | 암기(memorization) |
| 자료가 이루는 범위 | 볼록 껍질(convex hull) |
| 난수의 처음 값 | 시드(seed) |
출처
- Sohl-Dickstein, Weiss, Maheswaranathan, Ganguli (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. 잡음을 섞는 과정을 거꾸로 배워 자료를 만든다는 생각.
- Ho, Jain, Abbeel (2020). Denoising Diffusion Probabilistic Models. 앞으로 과정의 식, 선형 잡음 계획(T = 1000, β 0.0001 → 0.02), 잡음을 맞히는 학습과 뽑는 순서, U-Net.
- Song, Meng, Ermon (2020). Denoising Diffusion Implicit Models. 새 잡음 없이 단계를 건너뛰어 뽑는 방법.
- Rombach, Blattmann, Lorenz, Esser, Ommer (2022). High-Resolution Image Synthesis with Latent Diffusion Models. 잠재 공간에서의 확산과 크로스 어텐션 조건.
- Ho, Salimans (2022). Classifier-Free Diffusion Guidance.
- Carlini 등 (2023). Extracting Training Data from Diffusion Models. 학습 그림을 거의 그대로 내놓는 일.
- Goodfellow 등 (2014). Generative Adversarial Networks. Kingma, Welling (2013). Auto-Encoding Variational Bayes.