오토인코더와 VAE: 좁은 병목으로 눌렀다가 다시 만들기

자료를 숫자 몇 개로 눌렀다가 다시 펼치게 하면, 모델은 그 몇 개에 무엇을 남길지 스스로 배웁니다. 점 구름을 직선 하나로 눌러 보며 압축이 무엇인지 보고, 거기서 새 자료를 만들 수 있게 고친 VAE 의 손실을 한 단계씩 완성해 보세요.

한 줄 답. 오토인코더는 입력을 좁은 병목(bottleneck, 숫자 몇 개)으로 누른 뒤 다시 입력을 만들게 하는 신경망입니다. 다시 만든 것이 원래와 같아지도록 학습하면, 병목에는 자료를 가장 잘 요약하는 숫자가 남습니다. 선형이면 이 요약은 PCA 와 같은 방향을 찾습니다. VAE 는 자료를 점이 아니라 분포로 보내고 그 분포를 표준정규분포 쪽으로 당기는 벌점을 더해(손실 = 복원 오차 + KL) 새 자료를 뽑아 만들 수 있게 한 것입니다.

막대나 숫자 칸으로 초록 직선(병목)을 돌려 보세요. 검은 점이 원래 자료 x, 파란 빈 동그라미가 병목을 지나 되돌린 x̂, 주황 점선이 둘 사이의 거리(복원 오차), 보라 점선이 PCA 의 첫 방향입니다. 점은 고정 시드(seed) 난수 생성기로 지어낸 20개라 쪽을 열 때마다 같습니다. 진짜 오토인코더 대신 2차원을 1차원으로 누르는 선형 오토인코더 하나만 둔 작게 줄인 본보기입니다.

해 볼 것. ① 처음(0°, 가로)에는 평균 복원 오차가 0.75 입니다. ② 45° 로 돌리면 0.29, 90° 면 1.91 입니다. ③ 정수 각도를 다 해 보면 31° 에서 0.14 로 가장 작고, PCA 의 첫 방향은 30.53° 입니다. 초록 직선이 보라 점선에 겹칩니다. ④ PCA 방향에 수직인 120° 쯤으로 돌리면 2.52 로 가장 큽니다. 0.14 와 2.52 는 PCA 가 내는 두 방향의 분산(고윳값)과 같습니다. 가장 덜 퍼진 방향을 버릴 때 오차가 가장 작습니다.

1. 오토인코더란: 좁은 병목을 지나 되돌리기

오토인코더는 두 부분으로 된 신경망입니다. 인코더가 입력 x 를 작은 숫자 묶음 z 로 누르고, 디코더가 z 에서 x 를 다시 만듭니다. 정답은 입력 자기 자신입니다. 그래서 라벨을 붙인 자료가 없어도 학습할 수 있습니다.

z  = 인코더(x)          x 를 숫자 몇 개 z 로 누른다(병목)
x̂  = 디코더(z)          z 에서 x 를 다시 만든다
손실 = ‖x − x̂‖² 의 평균   복원 오차. 이것이 작아지게 둘을 같이 학습한다

핵심은 병목이 좁다는 것입니다. z 의 숫자 수가 x 보다 적으면 모든 것을 그대로 옮길 수 없어서, 다시 만들기에 가장 쓸모 있는 것만 남기게 됩니다. 병목이 x 만큼 넓으면 그냥 베끼는 법만 배우고 아무것도 요약하지 않습니다. 학습은 다른 신경망처럼 역전파와 경사 하강법으로 합니다.

2. 선형 오토인코더는 PCA 와 같은 방향을 찾는다

위 실험은 가장 작은 오토인코더입니다. 인코더는 점을 직선 위로 수직으로 내려 「직선 위의 자리」 숫자 하나 z 를 내고, 디코더는 그 자리의 2차원 점 x̂ 를 냅니다. 직선의 방향이 곧 학습할 값입니다. 복원 오차는 점에서 직선까지 거리의 제곱이라, 오차가 가장 작은 직선은 점들이 가장 넓게 퍼진 방향을 지나야 합니다. 그것이 주성분 분석(PCA)의 첫 방향입니다.

입력과 병목이 더 커도 같습니다. 활성화 함수 없이 곱하고 더하기만 하는 오토인코더를 제곱 오차로 학습하면, 병목이 찾는 공간은 PCA 의 앞쪽 주성분들이 펼치는 공간(부분공간)과 같습니다. 다만 그 안의 축이 주성분 하나하나와 같다는 보장은 없습니다. 같은 평면을 다른 두 방향으로 잡을 수 있기 때문입니다. 오토인코더가 PCA 보다 나은 점은 비선형일 때 나옵니다. 활성화 함수가 들어간 인코더와 디코더는 휜 곡면 위에 놓인 자료도 적은 숫자로 누를 수 있습니다.

3. 손으로 따라가기: 점 하나를 병목에 넣었다 빼기

점 x = (2, 1) 을 원점을 지나는 45° 직선으로 눌러 봅니다. 45° 방향의 길이 1 인 벡터는 u = (0.71, 0.71) 입니다(정확히는 √½ ≈ 0.7071).

  1. 인코더: 숫자 하나로. 직선 위의 자리는 내적 z = u · x = 0.7071 × 2 + 0.7071 × 1 = 2.12. 두 숫자가 한 숫자가 됐습니다.
  2. 디코더: 다시 두 숫자로. x̂ = z × u = 2.12 × (0.7071, 0.7071) = (1.5, 1.5).
  3. 복원 오차. (2 − 1.5)² + (1 − 1.5)² = 0.25 + 0.25 = 0.5. 직선을 따라가는 정보는 남았고, 직선에 수직인 정보(가로와 세로의 차이)는 병목에서 사라졌습니다.

실험의 숫자는 이것을 점 스무 개에 대해 하고 평균 낸 것입니다. 실험에서는 직선이 원점 대신 점들의 평균 (0.45, 0.28) 을 지납니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
라벨이 필요 없다정답이 입력 자기 자신이다점마다 자기 자신과 비교한다
병목의 크기가 압축을 정한다좁을수록 많이 버리고 오차가 커진다. 입력만큼 넓으면 베끼기만 배운다2차원 → 1차원: 한 방향의 정보를 버린다
선형이면 PCA 와 같은 부분공간곱하고 더하기만 하면 PCA 를 넘지 못한다. 휜 구조는 비선형이어야 잡는다가장 작은 오차의 각도 31° ≈ PCA 30.53°
배운 것과 닮은 것만 잘 되돌린다처음 보는 종류의 자료는 복원 오차가 크다. 이상 탐지의 근거다직선에서 먼 점일수록 주황 점선이 길다
잠재 공간에 빈 곳이 있다자료들이 놓인 자리 사이가 비어 있어, 아무 z 나 넣으면 무엇이 나올지 모른다7절 ① 단계

5. 어디에 쓰나

6. 보통의 오토인코더로 새 자료를 만들기 어려운 까닭

디코더는 z 를 받아 자료를 만듭니다. 그러면 아무 z 나 넣어 새 자료를 만들 수 있을 것 같습니다. 잘 되지 않는 까닭은 둘입니다.

VAE 는 이 둘을 고칩니다. 뽑을 곳을 표준정규분포 N(0, 1) 로 정해 두고, 자료들이 그 근처를 빈틈없이 채우게 만듭니다. 아래에서 그 손실이 한 조각씩 만들어지는 과정을 봅니다.

7. 식이 만들어지는 과정: VAE 의 손실

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭과 숫자가 나옵니다. β 는 마지막 단계에서 움직일 수 있습니다. 작게 줄인 본보기입니다. 진짜 VAE 는 인코더와 디코더가 신경망이고, 복원 오차는 z 를 디코더에 넣어 나온 결과와 원래 자료를 비교해 잽니다. 여기서는 잠재 공간을 1차원으로 두고, 자료마다 복원이 가장 잘 되는 자리 t 가 있어 z 가 t 에서 멀수록 복원 오차가 커진다고 정했습니다: 복원 오차 = (z − t)² 의 평균 = (μ − t)² + σ². 그래서 가장 좋은 μ 와 σ 를 식으로 바로 구할 수 있습니다.

  1. 복원 오차만: L = 복원 오차. 보통의 오토인코더입니다. 자료 A, B, C 는 잠재 공간의 −4.5, 1.5, 3 에 점으로 놓이고 복원 오차는 0 입니다. N(0, 1) 에서 z = −1.5 를 뽑으면 A 와 B 사이의 빈 곳에 떨어집니다.
  2. 점 대신 분포: z = μ + σ·ε. 인코더가 숫자 하나 대신 평균 μ 와 표준편차 σ 를 내고, 그 정규분포 N(μ, σ²) 에서 z 하나를 뽑아 디코더에 넣습니다. 그런데 뽑기에 섞인 노이즈는 복원을 방해할 뿐입니다. σ = 1 이면 자료마다 복원 오차가 1, σ = 0 이면 0 입니다. 복원 오차만 보면 σ 를 0 으로 줄여 ① 로 돌아갑니다. 분포로 바꾸는 것만으로는 모자랍니다.
  3. 벌점 KL 을 더하기: L = 복원 오차 + KL(N(μ, σ²) ‖ N(0, 1)). KL 은 두 분포가 얼마나 다른지 재는 수입니다(교차 엔트로피에서 엔트로피를 뺀 것). 늘 0 이상이고, 두 분포가 같을 때만 0 입니다. 정규분포 하나와 N(0, 1) 사이의 KL 은 식 하나로 나옵니다: KL = 0.5·(σ² + μ² − 1 − ln σ²). μ 가 0 에서 멀면 μ² 이 커지고, σ 가 0 으로 가면 −ln σ² 가 끝없이 커집니다. 그래서 이 벌점은 분포를 가운데로 당기고, 점으로 줄어들지 못하게 막습니다. 예를 들어 ② 의 C, N(3, 1²) 의 KL 은 0.5·(1 + 9 − 1 − 0) = 4.5 입니다. 두 항의 합이 가장 작은 자리는 μ = −3, 1, 2 와 σ = 0.58 이고, 합은 복원 오차 4.5 + KL 7.65 = 12.15 입니다. 분포들이 겹치며 빈 곳이 줄어듭니다.
  4. 두 항의 가중치: L = 복원 오차 + β·KL. β 를 키우면 KL 이 줄고 복원 오차가 커집니다. β = 4 면 σ = 0.82, 복원 오차 16, KL 1.86 이고, β = 0.1 이면 σ = 0.22, 복원 오차 0.21, KL 17.42 입니다. 이 본보기에서는 미분해 0 이 되는 곳을 풀면 μ = 2t ÷ (2 + β), σ² = β ÷ (2 + β) 입니다. 원 논문의 손실에는 β 가 따로 없습니다(β = 1 인 셈). 다만 복원 오차를 어떤 단위로 재느냐에 따라 실제 가중치가 달라집니다. β 를 따로 두고 1 보다 크게 하는 변형을 β-VAE 라고 부릅니다.

재매개변수화: z = μ + σ·ε 한 줄

z 를 N(μ, σ²) 에서 바로 뽑으면 「뽑기」가 계산 길 한가운데에 있어서, 복원 오차의 기울기(그래디언트)가 μ 와 σ 까지 거꾸로 흘러가지 못합니다. 그래서 노이즈 ε 만 N(0, 1) 에서 따로 뽑고, z = μ + σ·ε 로 계산합니다. 이제 z 는 μ 와 σ 의 보통 식이라 역전파가 됩니다. 뽑히는 z 의 분포는 똑같이 N(μ, σ²) 입니다.

손으로 한 번. 인코더가 μ = 1, σ = 0.5 를 냈고 ε = 0.4 를 뽑았다면 z = 1 + 0.5 × 0.4 = 1.2 입니다. 이 분포의 KL 은 σ² = 0.25, μ² = 1, ln 0.25 ≈ −1.39 이므로 0.5·(0.25 + 1 − 1 + 1.39) = 0.5 × 1.64 = 0.82 입니다. 정규분포 쪽은 확률분포를 보세요.

해 볼 것. ① 첫 단계에서 A, B, C 는 −4.5, 1.5, 3 에 선 막대(점)이고, 주황 z = −1.5 가 A 와 B 사이의 빈 곳에 있습니다. ② 다음 단계에서 셋이 σ = 1 인 종 모양이 됩니다. ③ 그다음에는 셋이 −3, 1, 2 로 당겨지고 σ = 0.58 로 같아집니다. KL 은 A 4.72, B 0.72, C 2.22 로 가운데에서 먼 A 가 가장 큽니다. ④ 마지막 단계에서 β 를 10 으로 올리면 σ = 0.91 이 되고 셋이 거의 N(0, 1) 에 겹칩니다. 합의 복원 오차는 24.38 로 커집니다. β 를 0.1 로 내리면 σ = 0.22 인 뾰족한 봉우리 셋이 다시 t 근처로 흩어집니다.

두 구조를 나란히 놓은 그림. 오토인코더의 인코더는 입력을 점 하나 z 로 바꾼다. VAE 의 인코더는 평균 μ 와 표준편차 σ 를 내놓고, 거기에 노이즈 ε 을 섞어 z 를 뽑는다. 디코더는 둘 다 z 에서 입력을 되살린다.

학습할 때와 만들 때

위 구조 그림은 학습할 때의 길입니다. 새 자료를 만들 때는 길이 짧아집니다. 인코더는 쓰지 않고, N(0, 1) 에서 z 를 뽑아 디코더에 넣습니다.

입력 x 인코더 평균 μ, 표준편차 σ z = μ + σ·ε 디코더 복원 x̂ + 노이즈 ε N(0, 1) 에서 x 와 비교 μ, σ 만으로 복원 오차 ‖x − x̂‖² KL N(μ, σ²) ‖ N(0, 1)
학습할 때. 인코더가 x 를 평균 μ 와 표준편차 σ 로 바꾸고, 노이즈 ε 을 섞어 z = μ + σ·ε 를 뽑아 디코더에 넣는다. 손실의 두 항은 다른 곳에서 나온다(보라 점선). 복원 오차는 x̂ 를 원래 x 와 비교해서, KL 은 μ 와 σ 만으로 계산한다.
입력 x 인코더 평균 μ, 표준편차 σ 쓰지 않음 z 디코더 새 자료 N(0, 1) 에서 뽑기
만들 때. 흐린 부분(인코더)은 쓰지 않는다. N(0, 1) 에서 z 를 바로 뽑아 학습이 끝난 디코더에 넣는다. 학습할 때 KL 이 자료들의 분포를 N(0, 1) 근처로 당겨 두었기 때문에, 거기서 뽑은 z 는 디코더가 배운 자리 가까이에 떨어진다.

잠재 공간 걷기: 두 자료 사이를 잇기

잠재 공간에서 z 를 한 자료의 자리에서 다른 자료의 자리로 조금씩 옮기며 디코더에 넣으면, 나오는 것이 한 자료에서 다른 자료로 섞이며 바뀝니다. 8절 표의 「두 자료 사이를 잇기」가 이것입니다. 아래 디코더는 보여 주려고 손으로 만든 것이고, 학습한 것이 아닙니다. 자료 A, B, C 는 막대 5칸짜리 지어낸 숫자 묶음이고, 디코더는 z 가 어느 자리에 가까운지에 따라 셋을 섞습니다.

x̂(z)   = w_A(z)·A + w_B(z)·B + w_C(z)·C
w_k(z) = max(0, 1 − |z − p_k| ÷ h)

막대로 z 를 끌거나 「다음」을 누르세요. 「다음」은 이웃한 두 자리 사이를 네 걸음으로 나눠 A → B → C 로 옮기고, 옮긴 길을 주황 화살표로 보입니다. 위: 색 세모는 디코더가 자료마다 배웠다고 정한 범위이고, 꼭대기의 높이가 가중치 1 입니다. 주황 세로선이 z 이고, 세로선이 세모와 만나는 점의 높이가 그 자료의 가중치입니다. 아래: 가중치를 곱한 A, B, C 를 더한 것이 디코더 출력 x̂(주황 막대)이고, 점선 테두리는 가장 가까운 자료입니다. 「빈 곳이 있는 잠재 공간」을 켜면 자리가 7절 실험 ① 단계의 −4.5, 1.5, 3 이 됩니다. 복원 오차만으로 학습해 자리가 흩어진 경우입니다. 끄면 손으로 정한 촘촘한 자리 −1, 0, 1 입니다. 7절 ③ 단계의 KL 벌점이 분포들을 가운데로 당기고 넓혀 겹치게 하는 것이 이런 빈 곳을 줄이려는 것이고, β 를 키우면 더 촘촘해지는 대신 자료를 가려내기 어려워집니다.

해 볼 것. ① 처음에는 z = −1(A 의 자리)이고 x̂ = A, 차이 0 입니다. ② 「다음」을 두 번 누르면 z = −0.5, A 와 B 의 가운데입니다. 가중치가 0.5 씩이라 x̂ = (0.5, 0.63, 0.75, 0.38, 0) 로 둘의 가운데 값이고, 가장 가까운 자료와의 차이는 0.34 입니다. 두 번 더 누르면 B 가 됩니다. ③ 「빈 곳이 있는 잠재 공간」을 켜고 「다음」을 두 번 누르면 z = −1.5, A 와 B 의 가운데입니다. 두 자리에서 모두 1 보다 멀어 가중치가 모두 0 이고, x̂ 는 막대가 없는 (0, 0, 0, 0, 0) 입니다. 가장 가까운 B 와의 차이는 1.5 로 ② 의 0.34 의 네 배가 넘습니다. ④ 네 번 더 눌러 B 와 C 의 가운데 z = 2.25 로 가면 가중치가 0.25 씩이라 흐린 막대가 나오고, 가장 가까운 B 와의 차이는 0.59 입니다.

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
오토인코더구조가 간단하고 학습이 안정하다. 라벨 없이 압축을 배운다잠재 공간에 빈 곳이 있어 새 자료를 뽑아 만들기 어렵다차원 축소, 노이즈 제거, 이상 탐지, 특징 추출
VAE잠재 공간이 N(0, 1) 근처에 고르게 모여 뽑아서 만들 수 있다. 인코더가 있어 자료의 자리도 안다만든 결과가 흐릿해지기 쉽다. β 로 복원과 고른 공간 사이를 맞춰야 한다잠재 공간을 다루고 싶을 때(두 자료 사이를 잇기, 자리 옮기기), 생성 모델 앞의 압축기
GAN결과가 선명하고, 한 번에 만들어 빠르다생성자와 판별자를 겨루게 해 학습이 불안정하다. 몇 가지만 되풀이해 만드는 문제(모드 붕괴)가 있다. 자료에서 z 로 가는 인코더가 없다빠르게 선명한 그림을 만들어야 할 때
확산 모델품질과 다양성이 좋고 학습이 안정하다노이즈를 여러 단계에 걸쳐 걷어 내야 해서 만드는 데 느리다그림·소리를 높은 품질로 만들 때. 잠재 확산은 오토인코더로 누른 공간에서 돈다

자주 묻는 것

오토인코더와 PCA 가운데 무엇을 쓰나요?

먼저 PCA 를 해 봅니다. 빠르고, 답이 하나로 정해지고, 방향마다 분산이 얼마인지 알려 줍니다. 자료가 휜 면 위에 놓여 있어서 곧은 직선이나 평면으로 누르면 복원 오차가 크게 남을 때 비선형 오토인코더를 씁니다. 선형 오토인코더는 PCA 와 같은 부분공간을 찾으니 PCA 대신 쓸 까닭이 적습니다.

VAE 로 새 자료는 어떻게 만드나요?

인코더는 쓰지 않습니다. 표준정규분포 N(0, 1) 에서 z 를 뽑아 디코더에 넣습니다. 학습할 때 KL 벌점이 자료들의 분포를 N(0, 1) 근처로 당겨 두었기 때문에, 거기서 뽑은 z 는 디코더가 배운 자리 가까이에 떨어집니다.

왜 하필 표준정규분포에 맞추나요?

새 자료를 만들 때 z 를 뽑을 곳을 미리 하나로 정해 두려는 것입니다. 표준정규분포는 뽑기 쉽고, 인코더가 내는 정규분포와의 KL 을 식 하나 0.5·(σ² + μ² − 1 − ln σ²) 로 바로 계산할 수 있습니다.

낱말

여기서 쓴 말책에서 부르는 말
눌렀다가 다시 만드는 신경망오토인코더, 자기부호화기(autoencoder)
누르는 쪽, 다시 만드는 쪽인코더(encoder), 디코더(decoder)
입력보다 좁은 가운데 층, 그곳을 지난 숫자 z병목(bottleneck), 잠재 변수·잠재 표현(latent variable, latent representation), 코드(code)
z 가 사는 공간잠재 공간(latent space)
병목이 입력보다 좁은 오토인코더과소완전 오토인코더(undercomplete autoencoder)
다시 만든 것과 원래의 차이복원 오차, 재구성 오차(reconstruction error)
노이즈를 넣고 원본을 맞히게 하기디노이징 오토인코더(denoising autoencoder)
분포로 보내는 오토인코더변분 오토인코더(variational autoencoder, VAE)
두 분포가 다른 정도쿨백-라이블러 발산, KL 발산(Kullback-Leibler divergence)
표준정규분포 N(0, 1)사전 분포(prior)
인코더가 내는 N(μ, σ²)근사 사후 분포(approximate posterior), q(z | x)
z = μ + σ·ε 로 뽑기재매개변수화 기법(reparameterization trick)
VAE 손실의 부호를 바꾼 것증거 하한(evidence lower bound, ELBO)
KL 의 가중치를 따로 둔 VAEβ-VAE
몇 가지만 되풀이해 만드는 문제모드 붕괴(mode collapse)

출처

← 멀티모달 학습: CLIP 이 그림과 글을 한 공간에 놓는 법GAN →