GAN: 생성자와 판별자

위조지폐범과 감별사가 서로를 이기려고 겨루면 둘 다 솜씨가 늡니다. GAN 은 이 겨루기를 신경망 둘로 합니다. 진짜 자료의 분포와 가짜를 만드는 쪽의 분포를 겹쳐 놓고, 가장 좋은 감별사가 어디를 「진짜」라고 할지 직접 움직여 보세요.

한 줄 답. GAN(생성적 적대 신경망)은 가짜를 만드는 생성자 G 와 진짜·가짜를 가려내는 판별자 D 를 함께 학습합니다. 판별자는 진짜에 1, 가짜에 0 이라고 답하도록 배우고, 생성자는 판별자가 가짜에 1 이라고 답하게 만들도록 배웁니다. 이 겨루기를 식 하나로 쓰면 min_G max_D E[log D(x)] + E[log(1 − D(G(z)))] 입니다. 생성자의 분포가 진짜와 같아지면 최적 판별자(optimal discriminator)도 어디서나 0.5 라고 답할 수밖에 없습니다.

초록은 진짜 자료의 분포, 파랑은 생성자가 만드는 점의 분포입니다. 아래 칸의 검은 곡선은 이 둘을 보고 가장 잘 가려내는 판별자 D*(x) 이고, 주황 점선이 0.5 입니다. 두 분포가 모두 거의 0 인 곳(밀도의 합 0.0001 아래)에서는 D* 를 정할 수 없어 선을 끊습니다. 작게 줄인 본보기입니다. 진짜 GAN 은 그림처럼 수천 개 숫자로 된 자료를 다루고, 생성자와 판별자가 모두 신경망이며 번갈아 학습합니다. 여기서는 자료를 숫자 하나로, 생성자를 종 모양 하나(가운데와 폭)로 줄였습니다. 검은 D* 는 학습하지 않고 식으로 바로 구한 것이고, 단추로 한 스텝(step)씩 학습하는 판별자는 보라 곡선입니다(1절). 스텝을 누르면 스텝 전의 자리가 흐린 점선으로 남고, 주황 화살표가 그 스텝에 움직인 것(생성자 스텝이면 위 칸의 생성자, 판별자 스텝이면 아래 칸에서 D 가 가장 많이 바뀐 곳)을 가리킵니다.

해 볼 것. ① 처음에는 생성자의 가운데 1.5 에서 D* = 0.25, 진짜 봉우리 x = 0 에서 0.75 이고 V = −0.94 입니다. ② 가운데를 0 으로 옮기면 두 분포가 겹쳐 D* 가 어디서나 0.5, V = −1.39 가 됩니다. ③ 이어서 폭을 2 로 넓히면 가운데의 D* 가 0.67, V = −1.2 입니다. 생성자가 진짜가 드문 가장자리에도 점을 만들어서, 그곳의 D* 가 0.5 아래로 내려갑니다. ④ 「진짜: 봉우리 둘」을 고르고 가운데 2, 폭 0.5 로 두면 생성자가 오른쪽 봉우리만 덮습니다. D* 는 x = 2 에서 0.33, 덮지 못한 x = −2 에서 1 입니다. 판별자는 왼쪽 봉우리에서 나온 것을 모두 진짜라고 확신합니다. 이것이 모드 붕괴입니다. ⑤ 가운데를 −2 로 옮기면 이번에는 x = 2 에서 D* 가 1 입니다. 빈틈을 쫓아가면 다른 빈틈이 생깁니다. ⑥ 가운데 0, 폭 2 로 둘을 한꺼번에 덮으면 봉우리에서 0.77, 진짜가 없는 가운데 x = 0 에서 0 이고 V = −0.98 입니다. 막대를 0.1 씩 돌려 본 가운데 가장 낮은 값이지만 −1.39 에 닿지 못합니다. 종 모양 하나로는 봉우리 둘을 똑같이 만들 수 없기 때문입니다.

번갈아 학습해 볼 것(「진짜: 봉우리 하나」에서, 번호마다 「처음으로」를 누른 뒤). ⑦ 「생성자 한 스텝」부터 누르면 생성자가 움직이지 않습니다. 판별자가 아직 어디서나 0.5 라 거꾸로 지나 올 기울기(그래디언트)가 0 입니다. ⑧ 「판별자 한 스텝」과 「생성자 한 스텝」을 번갈아 5번씩 누르면 가운데가 1.5 → 0.42, 10번씩이면 0 을 지나쳐 −0.36 이고, 30번씩이면 가운데 0, 폭 1 로 진짜와 겹칩니다(V = −1.39). ⑨ 판별자만 40번 누르면 판별자 손실이 1.386 → 0.949 로 줄고 보라 곡선이 검은 D* 에 다가갑니다. D* 일 때의 손실은 −V = 0.94 입니다. ⑩ 판별자 5번 뒤 생성자만 20번 누르면 생성자가 진짜 봉우리 x = 0 을 지나 가운데 −1.34, 폭 0.3(막대의 끝)까지 갑니다. 판별자가 그대로라 그 판별자가 가장 높게 보는 x ≈ −1.4 한 곳으로 몰립니다. 5절의 모드 붕괴처럼 지금의 판별자에 잘 통하는 결과 하나만 만듭니다.

1. GAN 이란: 위조범과 감별사

생성자 G 는 아무렇게나 뽑은 숫자 묶음 z(노이즈, noise)를 받아 자료 하나 G(z) 를 내는 신경망입니다. z 를 바꿔 넣을 때마다 다른 결과가 나오니, 생성자는 「점을 만들어 내는 분포」 하나를 정합니다. 실험의 파란 곡선이 그 분포 p_생성 입니다.

판별자 D 는 자료 x 를 받아 「진짜일 확률」 D(x) 를 0 ~ 1 로 내는 분류기입니다. 로지스틱 회귀처럼 마지막에 시그모이드를 지나는 이진 분류기로 생각하면 됩니다.

학습은 번갈아 합니다. 판별자를 몇 스텝 학습해 진짜와 가짜를 더 잘 가리게 하고, 생성자를 한 스텝 학습해 판별자를 더 잘 속이게 합니다. 이것을 되풀이합니다. 생성자는 진짜 자료를 직접 보지 않습니다. 판별자를 거쳐 오는 역전파의 기울기만 받습니다.

① 판별자 스텝 진짜일 확률 z G고치지 않음 가짜 D고침 진짜 x 기울기 판별자 손실 −V 를 줄이게 D 만 고친다. G 는 그대로 두고 가짜를 만들기만 한다. ② 생성자 스텝 진짜일 확률 z G고침 가짜 D고치지 않음 진짜 x 기울기 생성자 손실 E_z[log(1 − D(G(z)))] 를 줄이게 G 만 고친다. 기울기는 D 를 거꾸로 지나 온다.
번갈아 하는 학습의 두 스텝. 실선 화살표는 자료가 지나가는 길, 주황 점선은 손실에서 거꾸로 오는 기울기, 주황 칸은 이번 스텝에 고치는 신경망, 흐린 칸(「고치지 않음」)은 그대로 두는 신경망이다. ① 판별자 스텝에서 기울기는 D 에서 멈춘다. ② 생성자 스텝에서 기울기는 D 를 거꾸로 지나 G 까지 가지만 D 는 고치지 않는다. 생성자 손실에는 진짜 자료가 들어 있지 않아 진짜 x 도 흐리게 두었다.

실험 ① 의 「판별자 한 스텝」「생성자 한 스텝」 단추가 이 두 스텝을 실제로 합니다. 판별자와 생성자는 아래 꼴이고, 스텝마다 그쪽 손실의 기울기 반대쪽으로 한 스텝 갑니다(스텝 크기는 판별자 0.3, 생성자 1).

D(x) = σ(a + b·x + c·x²)        G(z) = 가운데 + 폭·z
판별자 손실 = −V = −E_x[log D(x)] − E_z[log(1 − D(G(z)))]
생성자 손실 = E_z[log(1 − D(G(z)))]

생성자 손실은 V 에서 생성자가 들어 있는 둘째 조각뿐입니다. 5절의 log D(G(z)) 로 바꾸는 방법은 쓰지 않고 식 그대로 둡니다. 폭이 같은 종 모양 둘이면 D* 가 로지스틱 하나였고(3절), 폭이 달라도 두 높이의 비에 로그를 씌우면 x 의 2차식이라 이 판별자는 D* 에 닿을 수 있습니다. x² 칸 때문에 스텝이 넘쳐 판별자 손실이 오히려 늘면 스텝을 반으로 줄여 다시 갑니다.

2. 식이 만들어지는 과정

아래 그림은 실험 ① 의 처음 자료입니다. 진짜는 가운데 0, 폭 1 인 종 모양이고, 생성자는 가운데 1.5, 폭 1 입니다. 판별자는 ③ 에서 구할 최적 판별자 D* 를 미리 씁니다. 「다음」을 누르면 식에 한 조각씩 붙습니다(주황 바탕이 이번에 붙은 조각).

  1. 진짜에는 1 이라고: log D(x). 판별자는 이진 분류기라 이진 교차 엔트로피로 배웁니다. 정답이 1 인 진짜 점 x 의 손실은 −log D(x) 입니다. 손실을 줄이는 것은 log D(x) 를 키우는 것과 같습니다. 그림의 x = 0 에서 D = 0.755, 손실은 0.281 입니다.
  2. 가짜에는 0 이라고: + log(1 − D(G(z))). 정답이 0 인 가짜 점 G(z) 의 손실은 −log(1 − D(G(z))) 입니다. 그래서 log(1 − D(G(z))) 를 키웁니다. 그림의 G(z) = 1.5 에서 D = 0.245, 손실은 0.281 입니다. 두 점이 가운데에서 같은 거리에 있어 손실도 같습니다.
  3. 판별자는 키운다: max_D V(D, G). 진짜 점 전체와 가짜 점 전체로 평균을 내면(E) V(D, G) = E_x[log D(x)] + E_z[log(1 − D(G(z)))] 입니다. E_x 는 진짜 자료에 대한 평균, E_z 는 노이즈 z 에 대한 평균입니다. V 는 이진 교차 엔트로피에 빼기표를 붙인 것이라, 판별자는 V 를 가장 크게 만듭니다. 그 답이 검은 곡선 D* 이고, 이 자료에서 V = −0.94 입니다.
  4. 생성자는 줄인다: min_G max_D V(D, G). 생성자는 둘째 조각에만 들어 있고, 판별자가 가짜를 잘 가릴수록 V 가 커집니다. 그래서 생성자는 같은 V 를 줄입니다. 생성자가 진짜와 같아지면 D* 가 어디서나 0.5 이고 V = log 0.5 + log 0.5 = −log 4 ≈ −1.39 입니다. 원 논문은 이것이 가장 낮은 값이고, 생성자가 진짜와 같을 때만 나온다는 것을 보였습니다.

다 붙인 식과 글자마다의 뜻입니다.

min_G max_D V(D, G) = E_x[log D(x)] + E_z[log(1 − D(G(z)))]

D* 는 어디서 나왔나. 생성자가 만든 점의 분포를 p_생성 이라 하면 둘째 조각은 E_x~p_생성[log(1 − D(x))] 로 쓸 수 있습니다. 그러면 생성자를 고정했을 때 V 는 점 x 마다 p_진짜(x)·log D(x) + p_생성(x)·log(1 − D(x)) 를 더한 것이고, 점마다 따로 가장 크게 만들면 됩니다. y = D(x) 로 미분해 0 으로 두면 p_진짜 ÷ y − p_생성 ÷ (1 − y) = 0, 곧 y = p_진짜 ÷ (p_진짜 + p_생성) 입니다. 이것이 D*(x) 입니다. 두 밀도가 같은 곳에서는 0.5, 가짜가 없는 곳에서는 1, 진짜가 없는 곳에서는 0 입니다.

3. 손으로 풀어 보기

위 그림의 숫자를 손으로 따라갑니다. 종 모양의 높이는 e^(−(x − 가운데)² ÷ (2·폭²)) ÷ (폭·√(2π)) 입니다.

  1. 진짜의 높이. x = 0 은 진짜의 가운데라 p_진짜(0) = 1 ÷ √(2π) = 0.399.
  2. 생성자의 높이. 가운데에서 1.5 떨어져 있으니 p_생성(0) = 0.399 × e^(−1.5² ÷ 2) = 0.399 × e^(−1.125) = 0.399 × 0.325 = 0.130.
  3. 최적 판별자. D*(0) = 0.399 ÷ (0.399 + 0.130) = 0.755. 진짜 점의 손실은 −log 0.755 = 0.281.
  4. 가짜 점. G(z) = 1.5 에서는 두 높이가 서로 바뀌어 D*(1.5) = 0.130 ÷ 0.529 = 0.245, 손실 −log(1 − 0.245) = 0.281.
  5. 같아지면. 생성자도 가운데 0 이면 D*(0) = 0.399 ÷ (0.399 + 0.399) = 0.5, log 0.5 + log 0.5 = −1.386.

폭이 같은 종 모양 둘이면 D* 는 로지스틱 곡선 하나가 됩니다. 두 높이의 비에 로그를 씌우면 −x²/2 + (x − 1.5)²/2 = 1.125 − 1.5x 라는 직선이 되고, D*(x) = σ(1.125 − 1.5x) 입니다(σ 는 시그모이드). 그래서 이 자료에서는 로지스틱 회귀로 학습한 판별자가 D* 에 닿을 수 있습니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
두 신경망이 값 하나를 두고 반대로 간다판별자는 V 를 키우고 생성자는 같은 V 를 줄인다. 한쪽이 얻으면 다른 쪽이 잃는다② 의 단계 ③·④
최적 판별자는 식으로 정해진다생성자를 고정하면 D* = p_진짜 ÷ (p_진짜 + p_생성)① 의 검은 곡선
목표에 닿으면 판별자가 쓸모없어진다생성자가 진짜와 같으면 D* 는 어디서나 0.5, V 는 가장 낮은 −log 4해 볼 것 ②
생성자는 진짜 자료를 보지 않는다판별자를 거쳐 오는 기울기만 받는다. 판별자가 보지 못한 빈틈은 생성자도 모른다해 볼 것 ④·⑤
표본만 만들고 확률은 주지 않는다「이 그림이 나올 확률」을 계산하지 않는다. 그래서 학습이 잘 됐는지 확률로 잴 수 없다5절

5. 학습이 어려운 까닭

균형이 깨진다

판별자가 너무 잘 가리면 가짜 점의 D(G(z)) 가 0 에 붙습니다. 그러면 log(1 − D(G(z))) 가 평평해져 생성자가 받는 기울기가 거의 없습니다. 판별자의 마지막 점수(시그모이드에 넣기 전 값)에 대한 기울기로 보면, D = 0.01 일 때 log(1 − D) 는 −0.01, log D 는 0.99 입니다. 그래서 원 논문은 생성자를 log(1 − D(G(z))) 를 줄이는 대신 log D(G(z)) 를 키우도록 학습하자고 했습니다. 고정점은 같고 처음 기울기가 훨씬 큽니다. 또 두 신경망을 번갈아 기울기로 움직이는 방식은 한 점에 모인다는 보장이 없어, 둘이 서로를 쫓아 빙빙 돌기만 할 수 있습니다.

몇 가지만 만든다(모드 붕괴)

생성자는 판별자를 속이기만 하면 되므로, 잘 통하는 결과 몇 가지만 되풀이해 만들어도 손실이 낮습니다. 진짜 자료의 봉우리(모드) 가운데 일부만 덮는 것을 모드 붕괴라고 부릅니다. 실험 ④ 처럼 판별자는 덮지 못한 봉우리를 확신하고, 생성자가 그쪽으로 옮겨 가면 ⑤ 처럼 반대쪽이 빕니다. 숫자 0 ~ 9 를 그리라고 했는데 1 만 그리는 식입니다.

손실이 품질을 말해 주지 않는다

보통의 학습은 손실이 줄면 모델이 나아졌다고 봅니다. GAN 에서는 두 손실이 서로에 대한 점수라, 생성자의 손실이 줄어든 것이 생성자가 나아져서인지 판별자가 약해져서인지 구별할 수 없습니다. 그래서 학습 중에 만든 표본을 직접 보고, 진짜와 가짜의 특징 분포를 비교하는 따로 만든 점수(FID 등)를 씁니다. 판별자 대신 두 분포 사이의 거리를 재는 비평가를 두는 WGAN 은 그 손실이 학습 상태를 더 잘 보여 준다고 보고했습니다.

6. 언제 무엇을 쓰나: GAN, VAE, 확산 모델

선택지좋은 점나쁜 점쓰는 경우
GAN신경망을 한 번 지나면 결과가 나와 빠르다. 결과가 선명하다학습이 불안정하다. 모드 붕괴. 손실로 품질을 알 수 없다. 확률을 주지 않는다빨리 만들어야 할 때(실시간 변환, 초해상도). 다른 모델의 학습에 판별자를 덧붙일 때
VAE손실 하나를 줄이므로 학습이 안정하다. 자료를 작은 잠재 공간으로 바꾸는 인코더가 같이 생긴다. 한 번에 만든다결과가 흐릿해지기 쉽다자료를 압축한 표현이 필요할 때. 다른 생성 모델이 일할 작은 공간을 만들 때
확산 모델품질과 다양성이 좋다. 노이즈 맞히기 손실 하나라 학습이 안정하다노이즈를 여러 스텝에 나눠 걷어 내야 해서 만들 때 느리다품질이 가장 중요한 그림·영상 생성. 글 같은 조건을 걸어 만들 때

어디에 쓰나: 지금의 자리

자주 묻는 것

생성자는 진짜 자료를 보지 않는데 어떻게 배우나요?

판별자를 거쳐서 배웁니다. 생성자가 만든 점을 판별자에 넣고, 판별자의 점수가 「더 진짜 같다」 쪽으로 가려면 점을 어디로 옮겨야 하는지 역전파로 기울기를 받습니다. 진짜 자료에 대한 정보는 판별자가 배운 것 안에 들어 있습니다.

생성자의 손실이 줄면 그림이 좋아진 건가요?

그렇다고 말할 수 없습니다. 생성자의 손실은 지금의 판별자를 얼마나 잘 속이는지일 뿐이라, 판별자가 약해져도 줄어듭니다. 그래서 학습 중에는 만든 표본을 직접 보거나 따로 만든 품질 점수를 함께 봅니다.

이제 GAN 은 쓰지 않나요?

품질이 가장 중요한 이미지 생성에서는 확산 모델이 많은 자리를 가져갔습니다. 하지만 GAN 의 생성자는 신경망을 한 번 지나면 결과가 나와서, 빨리 만들어야 하는 곳에서 아직 쓰입니다. 판별자를 다른 모델의 학습에 덧붙여 결과를 선명하게 만드는 방식도 널리 쓰입니다.

낱말

여기서 쓴 말책에서 부르는 말
만드는 망과 가려내는 망을 겨루게 하는 방법생성적 적대 신경망(generative adversarial network, GAN)
만드는 망생성자(generator, G)
가려내는 망판별자(discriminator, D)
아무렇게나 뽑은 숫자 묶음 z노이즈, 잠재 변수(noise, latent variable)
한쪽은 키우고 한쪽은 줄이는 겨루기미니맥스 게임(minimax game), 적대적 학습(adversarial training)
판별자의 점수 V가치 함수, 목적 함수(value function, objective)
가장 잘 가려내는 판별자 D*최적 판별자(optimal discriminator)
평균 E기댓값(expectation)
봉우리모드(mode)
몇 가지만 만들기모드 붕괴(mode collapse)
log D(G(z)) 를 키우는 생성자 손실포화하지 않는 손실(non-saturating loss)
둘이 서로를 쫓아 돌기만 함수렴하지 않음(non-convergence)
확률을 주지 않고 표본만 만드는 모델암묵적 생성 모델(implicit generative model)
V 가 −log 4 에서 얼마나 위인가(두 분포의 다름)옌센-섀넌 발산(Jensen-Shannon divergence)

출처

← 오토인코더와 VAE확산 모델 →