오토인코더와 VAE: 좁은 병목으로 눌렀다가 다시 만들기
자료를 숫자 몇 개로 눌렀다가 다시 펼치게 하면, 모델은 그 몇 개에 무엇을 남길지 스스로 배웁니다. 점 구름을 직선 하나로 눌러 보며 압축이 무엇인지 보고, 거기서 새 자료를 만들 수 있게 고친 VAE 의 손실을 한 단계씩 완성해 보세요.
한 줄 답. 오토인코더는 입력을 좁은 병목(bottleneck, 숫자 몇 개)으로 누른 뒤 다시 입력을 만들게 하는 신경망입니다. 다시 만든 것이 원래와 같아지도록 학습하면, 병목에는 자료를 가장 잘 요약하는 숫자가 남습니다. 선형이면 이 요약은 PCA 와 같은 방향을 찾습니다. VAE 는 자료를 점이 아니라 분포로 보내고 그 분포를 표준정규분포 쪽으로 당기는 벌점을 더해(손실 = 복원 오차 + KL) 새 자료를 뽑아 만들 수 있게 한 것입니다.
막대나 숫자 칸으로 초록 직선(병목)을 돌려 보세요. 검은 점이 원래 자료 x, 파란 빈 동그라미가 병목을 지나 되돌린 x̂, 주황 점선이 둘 사이의 거리(복원 오차), 보라 점선이 PCA 의 첫 방향입니다. 점은 고정 시드(seed) 난수 생성기로 지어낸 20개라 쪽을 열 때마다 같습니다. 진짜 오토인코더 대신 2차원을 1차원으로 누르는 선형 오토인코더 하나만 둔 작게 줄인 본보기입니다.
해 볼 것. ① 처음(0°, 가로)에는 평균 복원 오차가 0.75 입니다. ② 45° 로 돌리면 0.29, 90° 면 1.91 입니다. ③ 정수 각도를 다 해 보면 31° 에서 0.14 로 가장 작고, PCA 의 첫 방향은 30.53° 입니다. 초록 직선이 보라 점선에 겹칩니다. ④ PCA 방향에 수직인 120° 쯤으로 돌리면 2.52 로 가장 큽니다. 0.14 와 2.52 는 PCA 가 내는 두 방향의 분산(고윳값)과 같습니다. 가장 덜 퍼진 방향을 버릴 때 오차가 가장 작습니다.
1. 오토인코더란: 좁은 병목을 지나 되돌리기
오토인코더는 두 부분으로 된 신경망입니다. 인코더가 입력 x 를 작은 숫자 묶음 z 로 누르고, 디코더가 z 에서 x 를 다시 만듭니다. 정답은 입력 자기 자신입니다. 그래서 라벨을 붙인 자료가 없어도 학습할 수 있습니다.
z = 인코더(x) x 를 숫자 몇 개 z 로 누른다(병목)
x̂ = 디코더(z) z 에서 x 를 다시 만든다
손실 = ‖x − x̂‖² 의 평균 복원 오차. 이것이 작아지게 둘을 같이 학습한다
x: 입력. 정답도 x 자신입니다.z: 인코더가 x 를 눌러 만든 작은 숫자 묶음(병목).x̂: 디코더가 z 에서 다시 만든 x.‖x − x̂‖²: x 와 x̂ 가 얼마나 다른지. 이것의 평균이 손실(복원 오차)입니다.
핵심은 병목이 좁다는 것입니다. z 의 숫자 수가 x 보다 적으면 모든 것을 그대로 옮길 수 없어서, 다시 만들기에 가장 쓸모 있는 것만 남기게 됩니다. 병목이 x 만큼 넓으면 그냥 베끼는 법만 배우고 아무것도 요약하지 않습니다. 학습은 다른 신경망처럼 역전파와 경사 하강법으로 합니다.
2. 선형 오토인코더는 PCA 와 같은 방향을 찾는다
위 실험은 가장 작은 오토인코더입니다. 인코더는 점을 직선 위로 수직으로 내려 「직선 위의 자리」 숫자 하나 z 를 내고, 디코더는 그 자리의 2차원 점 x̂ 를 냅니다. 직선의 방향이 곧 학습할 값입니다. 복원 오차는 점에서 직선까지 거리의 제곱이라, 오차가 가장 작은 직선은 점들이 가장 넓게 퍼진 방향을 지나야 합니다. 그것이 주성분 분석(PCA)의 첫 방향입니다.
입력과 병목이 더 커도 같습니다. 활성화 함수 없이 곱하고 더하기만 하는 오토인코더를 제곱 오차로 학습하면, 병목이 찾는 공간은 PCA 의 앞쪽 주성분들이 펼치는 공간(부분공간)과 같습니다. 다만 그 안의 축이 주성분 하나하나와 같다는 보장은 없습니다. 같은 평면을 다른 두 방향으로 잡을 수 있기 때문입니다. 오토인코더가 PCA 보다 나은 점은 비선형일 때 나옵니다. 활성화 함수가 들어간 인코더와 디코더는 휜 곡면 위에 놓인 자료도 적은 숫자로 누를 수 있습니다.
3. 손으로 따라가기: 점 하나를 병목에 넣었다 빼기
점 x = (2, 1) 을 원점을 지나는 45° 직선으로 눌러 봅니다. 45° 방향의 길이 1 인 벡터는 u = (0.71, 0.71) 입니다(정확히는 √½ ≈ 0.7071).
- 인코더: 숫자 하나로. 직선 위의 자리는 내적
z = u · x = 0.7071 × 2 + 0.7071 × 1 = 2.12. 두 숫자가 한 숫자가 됐습니다. - 디코더: 다시 두 숫자로.
x̂ = z × u = 2.12 × (0.7071, 0.7071) = (1.5, 1.5). - 복원 오차.
(2 − 1.5)² + (1 − 1.5)² = 0.25 + 0.25 = 0.5. 직선을 따라가는 정보는 남았고, 직선에 수직인 정보(가로와 세로의 차이)는 병목에서 사라졌습니다.
실험의 숫자는 이것을 점 스무 개에 대해 하고 평균 낸 것입니다. 실험에서는 직선이 원점 대신 점들의 평균 (0.45, 0.28) 을 지납니다.
4. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 라벨이 필요 없다 | 정답이 입력 자기 자신이다 | 점마다 자기 자신과 비교한다 |
| 병목의 크기가 압축을 정한다 | 좁을수록 많이 버리고 오차가 커진다. 입력만큼 넓으면 베끼기만 배운다 | 2차원 → 1차원: 한 방향의 정보를 버린다 |
| 선형이면 PCA 와 같은 부분공간 | 곱하고 더하기만 하면 PCA 를 넘지 못한다. 휜 구조는 비선형이어야 잡는다 | 가장 작은 오차의 각도 31° ≈ PCA 30.53° |
| 배운 것과 닮은 것만 잘 되돌린다 | 처음 보는 종류의 자료는 복원 오차가 크다. 이상 탐지의 근거다 | 직선에서 먼 점일수록 주황 점선이 길다 |
| 잠재 공간에 빈 곳이 있다 | 자료들이 놓인 자리 사이가 비어 있어, 아무 z 나 넣으면 무엇이 나올지 모른다 | 7절 ① 단계 |
5. 어디에 쓰나
- 노이즈 제거. 입력에 노이즈(noise)를 섞어 넣고, 정답으로는 깨끗한 원본을 줍니다. 병목을 지나며 노이즈는 버리고 자료의 구조만 남기도록 배웁니다. 디노이징 오토인코더(denoising autoencoder)라고 부릅니다.
- 이상 탐지. 정상 자료만으로 학습한 뒤 복원 오차를 봅니다. 오차가 기준보다 크면 「배운 것과 다르다」고 봅니다. 기준은 정상 자료의 오차 분포를 보고 정합니다.
- 차원 축소와 특징 추출. 학습한 뒤 디코더를 떼고 인코더의 z 만 씁니다. 숫자가 적어 그림으로 그리거나, 다른 모델의 입력으로 넣거나, 비슷한 것을 찾는 데 씁니다(임베딩 쪽의 「가까우면 비슷하다」).
- 큰 생성 모델 앞의 압축기. 잠재 확산 모델은 그림을 먼저 오토인코더로 작게 누른 뒤, 그 작은 공간에서 확산을 돌립니다. 계산이 크게 줄어듭니다.
6. 보통의 오토인코더로 새 자료를 만들기 어려운 까닭
디코더는 z 를 받아 자료를 만듭니다. 그러면 아무 z 나 넣어 새 자료를 만들 수 있을 것 같습니다. 잘 되지 않는 까닭은 둘입니다.
- 어디서 z 를 뽑을지 모릅니다. 복원 오차만 줄이는 학습은 자료가 잠재 공간의 어디에 놓이든 상관하지 않습니다. 놓인 자리의 범위와 모양이 학습마다 다릅니다.
- 자리 사이가 비어 있습니다. 학습한 자료의 자리 사이에 넣은 z 는 디코더가 한 번도 본 적 없는 입력입니다. 그럴듯한 것이 나온다는 보장이 없습니다.
VAE 는 이 둘을 고칩니다. 뽑을 곳을 표준정규분포 N(0, 1) 로 정해 두고, 자료들이 그 근처를 빈틈없이 채우게 만듭니다. 아래에서 그 손실이 한 조각씩 만들어지는 과정을 봅니다.
7. 식이 만들어지는 과정: VAE 의 손실
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭과 숫자가 나옵니다. β 는 마지막 단계에서 움직일 수 있습니다. 작게 줄인 본보기입니다. 진짜 VAE 는 인코더와 디코더가 신경망이고, 복원 오차는 z 를 디코더에 넣어 나온 결과와 원래 자료를 비교해 잽니다. 여기서는 잠재 공간을 1차원으로 두고, 자료마다 복원이 가장 잘 되는 자리 t 가 있어 z 가 t 에서 멀수록 복원 오차가 커진다고 정했습니다: 복원 오차 = (z − t)² 의 평균 = (μ − t)² + σ². 그래서 가장 좋은 μ 와 σ 를 식으로 바로 구할 수 있습니다.
- 복원 오차만:
L = 복원 오차. 보통의 오토인코더입니다. 자료 A, B, C 는 잠재 공간의 −4.5, 1.5, 3 에 점으로 놓이고 복원 오차는 0 입니다. N(0, 1) 에서 z = −1.5 를 뽑으면 A 와 B 사이의 빈 곳에 떨어집니다. - 점 대신 분포:
z = μ + σ·ε. 인코더가 숫자 하나 대신 평균 μ 와 표준편차 σ 를 내고, 그 정규분포 N(μ, σ²) 에서 z 하나를 뽑아 디코더에 넣습니다. 그런데 뽑기에 섞인 노이즈는 복원을 방해할 뿐입니다. σ = 1 이면 자료마다 복원 오차가 1, σ = 0 이면 0 입니다. 복원 오차만 보면 σ 를 0 으로 줄여 ① 로 돌아갑니다. 분포로 바꾸는 것만으로는 모자랍니다. - 벌점 KL 을 더하기:
L = 복원 오차 + KL(N(μ, σ²) ‖ N(0, 1)). KL 은 두 분포가 얼마나 다른지 재는 수입니다(교차 엔트로피에서 엔트로피를 뺀 것). 늘 0 이상이고, 두 분포가 같을 때만 0 입니다. 정규분포 하나와 N(0, 1) 사이의 KL 은 식 하나로 나옵니다:KL = 0.5·(σ² + μ² − 1 − ln σ²). μ 가 0 에서 멀면 μ² 이 커지고, σ 가 0 으로 가면 −ln σ² 가 끝없이 커집니다. 그래서 이 벌점은 분포를 가운데로 당기고, 점으로 줄어들지 못하게 막습니다. 예를 들어 ② 의 C, N(3, 1²) 의 KL 은0.5·(1 + 9 − 1 − 0) = 4.5입니다. 두 항의 합이 가장 작은 자리는 μ = −3, 1, 2 와 σ = 0.58 이고, 합은 복원 오차 4.5 + KL 7.65 = 12.15 입니다. 분포들이 겹치며 빈 곳이 줄어듭니다. - 두 항의 가중치:
L = 복원 오차 + β·KL. β 를 키우면 KL 이 줄고 복원 오차가 커집니다. β = 4 면 σ = 0.82, 복원 오차 16, KL 1.86 이고, β = 0.1 이면 σ = 0.22, 복원 오차 0.21, KL 17.42 입니다. 이 본보기에서는 미분해 0 이 되는 곳을 풀면μ = 2t ÷ (2 + β),σ² = β ÷ (2 + β)입니다. 원 논문의 손실에는 β 가 따로 없습니다(β = 1 인 셈). 다만 복원 오차를 어떤 단위로 재느냐에 따라 실제 가중치가 달라집니다. β 를 따로 두고 1 보다 크게 하는 변형을 β-VAE 라고 부릅니다.
재매개변수화: z = μ + σ·ε 한 줄
z 를 N(μ, σ²) 에서 바로 뽑으면 「뽑기」가 계산 길 한가운데에 있어서, 복원 오차의 기울기(그래디언트)가 μ 와 σ 까지 거꾸로 흘러가지 못합니다. 그래서 노이즈 ε 만 N(0, 1) 에서 따로 뽑고, z = μ + σ·ε 로 계산합니다. 이제 z 는 μ 와 σ 의 보통 식이라 역전파가 됩니다. 뽑히는 z 의 분포는 똑같이 N(μ, σ²) 입니다.
손으로 한 번. 인코더가 μ = 1, σ = 0.5 를 냈고 ε = 0.4 를 뽑았다면 z = 1 + 0.5 × 0.4 = 1.2 입니다. 이 분포의 KL 은 σ² = 0.25, μ² = 1, ln 0.25 ≈ −1.39 이므로 0.5·(0.25 + 1 − 1 + 1.39) = 0.5 × 1.64 = 0.82 입니다. 정규분포 쪽은 확률분포를 보세요.
해 볼 것. ① 첫 단계에서 A, B, C 는 −4.5, 1.5, 3 에 선 막대(점)이고, 주황 z = −1.5 가 A 와 B 사이의 빈 곳에 있습니다. ② 다음 단계에서 셋이 σ = 1 인 종 모양이 됩니다. ③ 그다음에는 셋이 −3, 1, 2 로 당겨지고 σ = 0.58 로 같아집니다. KL 은 A 4.72, B 0.72, C 2.22 로 가운데에서 먼 A 가 가장 큽니다. ④ 마지막 단계에서 β 를 10 으로 올리면 σ = 0.91 이 되고 셋이 거의 N(0, 1) 에 겹칩니다. 합의 복원 오차는 24.38 로 커집니다. β 를 0.1 로 내리면 σ = 0.22 인 뾰족한 봉우리 셋이 다시 t 근처로 흩어집니다.
학습할 때와 만들 때
위 구조 그림은 학습할 때의 길입니다. 새 자료를 만들 때는 길이 짧아집니다. 인코더는 쓰지 않고, N(0, 1) 에서 z 를 뽑아 디코더에 넣습니다.
잠재 공간 걷기: 두 자료 사이를 잇기
잠재 공간에서 z 를 한 자료의 자리에서 다른 자료의 자리로 조금씩 옮기며 디코더에 넣으면, 나오는 것이 한 자료에서 다른 자료로 섞이며 바뀝니다. 8절 표의 「두 자료 사이를 잇기」가 이것입니다. 아래 디코더는 보여 주려고 손으로 만든 것이고, 학습한 것이 아닙니다. 자료 A, B, C 는 막대 5칸짜리 지어낸 숫자 묶음이고, 디코더는 z 가 어느 자리에 가까운지에 따라 셋을 섞습니다.
x̂(z) = w_A(z)·A + w_B(z)·B + w_C(z)·C
w_k(z) = max(0, 1 − |z − p_k| ÷ h)
z: 잠재 축 위의 자리. 디코더에 넣는 수입니다.A, B, C: 지어낸 자료. A = (1, 0.75, 0.5, 0.25, 0), B = (0, 0.5, 1, 0.5, 0), C = (0, 0.25, 0.5, 0.75, 1).p_k: 자료 k(A, B, C 가운데 하나)가 잠재 축에 놓인 자리.h: 디코더가 자리마다 배웠다고 정한 너비. 여기서는 1 입니다.w_k(z): z 에서 자료 k 의 가중치. 자리에 있으면 1, 멀어질수록 줄고, h 보다 멀면 0 입니다.x̂(z): 디코더가 내는 막대 5칸. 가장 가까운 자료와의 차이는 1절의‖x − x̂‖²처럼 칸마다 차이의 제곱을 더해 잽니다.
막대로 z 를 끌거나 「다음」을 누르세요. 「다음」은 이웃한 두 자리 사이를 네 걸음으로 나눠 A → B → C 로 옮기고, 옮긴 길을 주황 화살표로 보입니다. 위: 색 세모는 디코더가 자료마다 배웠다고 정한 범위이고, 꼭대기의 높이가 가중치 1 입니다. 주황 세로선이 z 이고, 세로선이 세모와 만나는 점의 높이가 그 자료의 가중치입니다. 아래: 가중치를 곱한 A, B, C 를 더한 것이 디코더 출력 x̂(주황 막대)이고, 점선 테두리는 가장 가까운 자료입니다. 「빈 곳이 있는 잠재 공간」을 켜면 자리가 7절 실험 ① 단계의 −4.5, 1.5, 3 이 됩니다. 복원 오차만으로 학습해 자리가 흩어진 경우입니다. 끄면 손으로 정한 촘촘한 자리 −1, 0, 1 입니다. 7절 ③ 단계의 KL 벌점이 분포들을 가운데로 당기고 넓혀 겹치게 하는 것이 이런 빈 곳을 줄이려는 것이고, β 를 키우면 더 촘촘해지는 대신 자료를 가려내기 어려워집니다.
해 볼 것. ① 처음에는 z = −1(A 의 자리)이고 x̂ = A, 차이 0 입니다. ② 「다음」을 두 번 누르면 z = −0.5, A 와 B 의 가운데입니다. 가중치가 0.5 씩이라 x̂ = (0.5, 0.63, 0.75, 0.38, 0) 로 둘의 가운데 값이고, 가장 가까운 자료와의 차이는 0.34 입니다. 두 번 더 누르면 B 가 됩니다. ③ 「빈 곳이 있는 잠재 공간」을 켜고 「다음」을 두 번 누르면 z = −1.5, A 와 B 의 가운데입니다. 두 자리에서 모두 1 보다 멀어 가중치가 모두 0 이고, x̂ 는 막대가 없는 (0, 0, 0, 0, 0) 입니다. 가장 가까운 B 와의 차이는 1.5 로 ② 의 0.34 의 네 배가 넘습니다. ④ 네 번 더 눌러 B 와 C 의 가운데 z = 2.25 로 가면 가중치가 0.25 씩이라 흐린 막대가 나오고, 가장 가까운 B 와의 차이는 0.59 입니다.
8. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 오토인코더 | 구조가 간단하고 학습이 안정하다. 라벨 없이 압축을 배운다 | 잠재 공간에 빈 곳이 있어 새 자료를 뽑아 만들기 어렵다 | 차원 축소, 노이즈 제거, 이상 탐지, 특징 추출 |
| VAE | 잠재 공간이 N(0, 1) 근처에 고르게 모여 뽑아서 만들 수 있다. 인코더가 있어 자료의 자리도 안다 | 만든 결과가 흐릿해지기 쉽다. β 로 복원과 고른 공간 사이를 맞춰야 한다 | 잠재 공간을 다루고 싶을 때(두 자료 사이를 잇기, 자리 옮기기), 생성 모델 앞의 압축기 |
| GAN | 결과가 선명하고, 한 번에 만들어 빠르다 | 생성자와 판별자를 겨루게 해 학습이 불안정하다. 몇 가지만 되풀이해 만드는 문제(모드 붕괴)가 있다. 자료에서 z 로 가는 인코더가 없다 | 빠르게 선명한 그림을 만들어야 할 때 |
| 확산 모델 | 품질과 다양성이 좋고 학습이 안정하다 | 노이즈를 여러 단계에 걸쳐 걷어 내야 해서 만드는 데 느리다 | 그림·소리를 높은 품질로 만들 때. 잠재 확산은 오토인코더로 누른 공간에서 돈다 |
자주 묻는 것
오토인코더와 PCA 가운데 무엇을 쓰나요?
먼저 PCA 를 해 봅니다. 빠르고, 답이 하나로 정해지고, 방향마다 분산이 얼마인지 알려 줍니다. 자료가 휜 면 위에 놓여 있어서 곧은 직선이나 평면으로 누르면 복원 오차가 크게 남을 때 비선형 오토인코더를 씁니다. 선형 오토인코더는 PCA 와 같은 부분공간을 찾으니 PCA 대신 쓸 까닭이 적습니다.
VAE 로 새 자료는 어떻게 만드나요?
인코더는 쓰지 않습니다. 표준정규분포 N(0, 1) 에서 z 를 뽑아 디코더에 넣습니다. 학습할 때 KL 벌점이 자료들의 분포를 N(0, 1) 근처로 당겨 두었기 때문에, 거기서 뽑은 z 는 디코더가 배운 자리 가까이에 떨어집니다.
왜 하필 표준정규분포에 맞추나요?
새 자료를 만들 때 z 를 뽑을 곳을 미리 하나로 정해 두려는 것입니다. 표준정규분포는 뽑기 쉽고, 인코더가 내는 정규분포와의 KL 을 식 하나 0.5·(σ² + μ² − 1 − ln σ²) 로 바로 계산할 수 있습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 눌렀다가 다시 만드는 신경망 | 오토인코더, 자기부호화기(autoencoder) |
| 누르는 쪽, 다시 만드는 쪽 | 인코더(encoder), 디코더(decoder) |
| 입력보다 좁은 가운데 층, 그곳을 지난 숫자 z | 병목(bottleneck), 잠재 변수·잠재 표현(latent variable, latent representation), 코드(code) |
| z 가 사는 공간 | 잠재 공간(latent space) |
| 병목이 입력보다 좁은 오토인코더 | 과소완전 오토인코더(undercomplete autoencoder) |
| 다시 만든 것과 원래의 차이 | 복원 오차, 재구성 오차(reconstruction error) |
| 노이즈를 넣고 원본을 맞히게 하기 | 디노이징 오토인코더(denoising autoencoder) |
| 분포로 보내는 오토인코더 | 변분 오토인코더(variational autoencoder, VAE) |
| 두 분포가 다른 정도 | 쿨백-라이블러 발산, KL 발산(Kullback-Leibler divergence) |
| 표준정규분포 N(0, 1) | 사전 분포(prior) |
| 인코더가 내는 N(μ, σ²) | 근사 사후 분포(approximate posterior), q(z | x) |
| z = μ + σ·ε 로 뽑기 | 재매개변수화 기법(reparameterization trick) |
| VAE 손실의 부호를 바꾼 것 | 증거 하한(evidence lower bound, ELBO) |
| KL 의 가중치를 따로 둔 VAE | β-VAE |
| 몇 가지만 되풀이해 만드는 문제 | 모드 붕괴(mode collapse) |
출처
- Diederik P. Kingma, Max Welling, Auto-Encoding Variational Bayes, arXiv:1312.6114. VAE, 재매개변수화, 정규분포와 N(0, 1) 사이의 KL 식.
- Diederik P. Kingma, Max Welling, An Introduction to Variational Autoencoders, arXiv:1906.02691. VAE 의 손실(ELBO)과 재매개변수화를 쉽게 푼 글.
- Ian Goodfellow, Yoshua Bengio, Aaron Courville, Deep Learning, 14장(오토인코더). 과소완전 오토인코더, 선형 디코더와 제곱 오차면 PCA 와 같은 부분공간, 잡음 제거 오토인코더.
- Ian J. Goodfellow 외, Generative Adversarial Networks, arXiv:1406.2661. 표의 GAN.