드롭아웃: 학습 때 뉴런을 무작위로 끄기

큰 신경망은 훈련 자료를 외워 버리기 쉽습니다. 드롭아웃은 학습하는 동안 뉴런 몇 개를 매번 무작위로 꺼서, 망이 몇몇 뉴런에 기대지 못하게 합니다. 「다시 뽑기」를 눌러 꺼지는 뉴런이 바뀌고 출력이 흔들리는 것을 보세요.

한 줄 답. 드롭아웃은 학습할 때만 뉴런마다 확률 p 로 값을 0 으로 만들고, 남은 값은 1 ÷ (1 − p) 배로 키우는 방법입니다. 매번 다른 뉴런이 꺼지니 망이 특정 뉴런의 조합에 기대지 못하고, 그만큼 훈련 자료를 덜 외웁니다(과적합이 줄어듭니다). 추론할 때는 끕니다(PyTorch 의 model.eval()). 키워 둔 덕분에 학습 때의 평균과 추론 때의 값이 같습니다.

작게 줄인 본보기입니다. 입력 둘(1, 2), 은닉 뉴런(hidden neuron) 넷(값 2, 4, 1, 3), 출력은 은닉 뉴런 값의 합입니다. 진짜 망은 뉴런이 훨씬 많고, 여러 층에 드롭아웃을 두며, 출력 앞에 가중치와 활성화 함수(activation function)가 있습니다. 여기서는 흔들림이 잘 보이게 출력을 합으로 줄였습니다. 뽑기는 고정 시드(seed) 난수기라 쪽을 열 때마다 같은 순서로 나옵니다.

해 볼 것. ① 처음(p = 0.5)에는 h₂ 가 꺼지고 출력이 12 입니다. 남은 2 + 1 + 3 = 6 을 ÷ (1 − 0.5), 곧 × 2 했습니다. 추론 때 출력 10 과 다릅니다. ② 「다시 뽑기」를 네 번 누르면 출력이 14, 10, 10, 12 로 바뀝니다. 입력은 같은데 누를 때마다 다릅니다. 다섯 번의 평균은 11.6 입니다. ③ 「20번 더 뽑기」를 누르면 25번의 평균이 10.32 로 10 에 가까워집니다. 하나하나는 0 부터 18 까지 흩어져 있습니다. ④ 비율을 0.9 로 올리면 같은 25번을 다시 판정해 평균 7.6, 가장 큰 값 40 이고 흔들림(표준편차)은 16.43 입니다. 0.1 로 내리면 흔들림 1.83, 평균 9.69 이고, 0 이면 모두 10 입니다. ⑤ 「추론(eval)」을 누르면 모든 뉴런이 켜지고 나누지도 않아 출력이 10 입니다. 「다시 뽑기」를 눌러도 그대로입니다.

1. 드롭아웃이란: 학습 때만 뉴런을 무작위로 끄기

신경망의 한 층에는 뉴런이 여럿 있고, 뉴런마다 숫자 하나를 다음 층으로 보냅니다. 드롭아웃은 학습할 때 예제마다, 뉴런마다 따로 동전을 던지듯 정해서, 확률 p 로 그 뉴런의 값을 0 으로 만듭니다. 꺼진 뉴런은 그 한 번의 계산에서 없는 것과 같습니다. 앞으로 보내는 값이 0 이고, 뒤에서 오는 기울기(역전파)도 그 길로는 지나가지 않습니다. 다음 계산에서는 다른 뉴런들이 꺼집니다.

식으로는 이렇습니다. 뉴런의 값을 h, 끄는 비율, 곧 드롭아웃 비율(dropout rate)을 p 라 하면

m  = 확률 1 − p 로 1(살림), 확률 p 로 0(끔)      뉴런마다 따로 뽑는다
h̃  = h × m ÷ (1 − p)                           학습할 때 다음 층으로 보내는 값
h̃  = h                                         추론할 때(아무것도 하지 않는다)

m 을 모은 것을 마스크라고 부릅니다. PyTorch 의 nn.Dropout(p) 와 Keras 의 Dropout(rate) 가 이 식대로 하고, 둘 다 p 는 끄는 비율입니다. 드롭아웃 층에는 배우는 가중치가 없습니다. 고를 것은 p 하나입니다.

2. 식이 만들어지는 과정: 왜 1 ÷ (1 − p) 로 나누나

위 실험의 은닉 뉴런 넷(값 2, 4, 1, 3)을 그대로 씁니다. 여기서는 p = 0.25 로 둡니다. p = 0.5 면 1 − p 와 p 가 둘 다 0.5 라서 어느 쪽으로 나누는지 헷갈리기 때문입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 바뀌고, 아래에 까닭이 나옵니다. 초록 막대는 이번에 보내는 값, 회색 점선은 추론 때의 원래 값, 주황 눈금은 평균(기댓값)입니다.

  1. 그대로: h. 추론 때 다음 층이 받는 값입니다. 2, 4, 1, 3 이고 합은 10 입니다.
  2. 끄기: h × m. 마스크 m = (1, 0, 1, 1) 이 나오면 h₂ 가 꺼져 2, 0, 1, 3 이 가고 합은 6 입니다. 뽑을 때마다 다릅니다.
  3. 평균을 내면: E[h × m] = (1 − p) × h. 뉴런 하나는 확률 0.75 로 h 를, 0.25 로 0 을 보내니 평균은 0.75 × h 입니다. 넷이 모두 0.75 배라 1.5, 3, 0.75, 2.25 이고 합은 7.5 입니다. 까닭: 다음 층은 학습 내내 평균 7.5 쯤의 입력에 맞춰 가중치를 배웁니다. 그런데 추론 때 아무것도 끄지 않으면 10 이 들어옵니다. 배운 눈금보다 1.33 배 큰 값입니다.
  4. 나누기: h̃ = h × m ÷ (1 − p). 남은 값을 0.75 로 나누면 이번 값은 2.67, 0, 1.33, 4(합 8)로 여전히 흔들립니다. 하지만 평균은 0.75 × h ÷ 0.75 = h, 곧 2, 4, 1, 3(합 10)으로 돌아옵니다. 까닭: 학습 때의 평균과 추론 때의 값이 같아져서, 추론 때는 끄지도 나누지도 않고 그대로 쓰면 됩니다.

원 논문은 반대쪽에서 맞췄습니다. 학습 때는 나누지 않고, 추론 때 그 뉴런에서 나가는 가중치에 살릴 확률을 곱해 줄였습니다. 평균을 맞춘다는 뜻은 같습니다. PyTorch 와 Keras 는 학습 때 나누는 쪽(역 드롭아웃, inverted dropout)을 써서 추론 때 할 일이 없게 합니다.

평균이 정확히 같은 것은 다음 층이 받는 값까지입니다. 그 뒤에 활성화 함수가 있으면 망 전체의 출력은 평균이 꼭 같지는 않고 가깝습니다. 원 논문도 추론 때 망 하나를 쓰는 것을 「어림으로 평균 내는 방법」이라고 적습니다.

해 볼 것. 「다음」을 세 번 누르며 합이 10 → 6 → 평균 7.5 → 평균 10 으로 바뀌는 것을 보세요. ③ 에서는 주황 눈금이 모두 회색 점선 아래에 있고, ④ 에서는 점선에 딱 겹칩니다. ④ 의 초록 막대(2.67, 0, 1.33, 4)는 점선과 다릅니다. 한 번 뽑은 값은 흔들리고, 평균만 같습니다.

3. 손으로 풀어 보기: 뉴런 하나의 평균과 분산

h₁ = 2, p = 0.25 로 따라갑니다.

  1. 확률. 살 확률 1 − p = 0.75, 꺼질 확률 0.25.
  2. 나누지 않으면. 살면 2, 꺼지면 0. 평균 0.75 × 2 + 0.25 × 0 = 1.5. 원래 값 2 보다 작습니다.
  3. 나누면. 살면 2 ÷ 0.75 = 2.67, 꺼지면 0. 평균 0.75 × 2.67 + 0.25 × 0 = 2(분수로 0.75 × 8/3 = 2). 원래 값과 같습니다.
  4. 분산. 나눈 값의 분산은 h² × p ÷ (1 − p) 입니다. h₁ 이면 4 × 0.25 ÷ 0.75 = 1.33.
  5. 넷을 합치면. 뉴런마다 따로 뽑으니 합의 분산은 분산의 합입니다. (4 + 16 + 1 + 9) × 0.25 ÷ 0.75 = 30 ÷ 3 = 10, 표준편차 √10 = 3.16. p = 0.5 면 30 × 1 = 30, 표준편차 5.48 로 실험 ① 의 흔들림과 같습니다.
뉴런h나누지 않은 평균 0.75 × h살았을 때 h ÷ 0.75나눈 평균분산 h² × p ÷ (1 − p)
h₁21.52.6721.33
h₂435.3345.33
h₃10.751.3310.33
h₄32.25433
합107.51010

4. 왜 과적합이 줄어드나

과적합은 모델이 훈련 자료의 우연한 무늬까지 외워서, 훈련 점수는 좋은데 새 자료에서는 나빠지는 것입니다. 원 논문은 드롭아웃이 듣는 까닭을 둘로 설명합니다.

실험 ① 에서 같은 입력이 누를 때마다 다른 출력을 낸 것이 학습 때 망이 받는 잡음입니다. 망은 이 잡음 속에서도 맞는 답을 내도록 배워야 하니, 훈련 자료 하나하나를 그대로 외우기 어려워집니다.

5. 학습 때와 추론 때: train/eval 을 잊는 버그

드롭아웃은 학습할 때만 켜야 합니다. PyTorch 에서는 모델의 모드가 이것을 정합니다. model.train() 이면 끄고 키우고, model.eval() 이면 아무것도 하지 않습니다(문서의 말로 「항등 함수」). 모드는 모델이 기억하는 값이라, 바꾸지 않으면 마지막으로 정한 그대로 남습니다. 같은 스위치가 배치 정규화의 동작도 바꿉니다. 실험 ① 의 「추론(eval)」 단추가 model.eval() 입니다.

model.train()                  # 학습: 드롭아웃 켜짐
for x, y in train_loader:
    loss = loss_fn(model(x), y)
    ...

model.eval()                   # 검증·추론: 드롭아웃 꺼짐
with torch.no_grad():          # 기울기 계산만 끈다. 드롭아웃은 끄지 않는다
    pred = model(x_test)
model.train()                  # 다시 학습하려면 되돌린다
잊은 것무슨 일이 생기나알아채는 법
추론 전에 eval() 을 안 함같은 입력에 매번 다른 답이 나온다. 검증 점수가 낮게 나오고 돌릴 때마다 다르다같은 입력을 두 번 넣어 답이 같은지 본다
검증한 뒤 train() 을 안 함남은 학습 동안 드롭아웃이 꺼진다. 오류는 나지 않고 과적합만 다시 늘어난다에폭(epoch)마다 학습 루프 맨 위에 model.train() 을 둔다
no_grad() 만 쓰고 eval() 은 안 함첫째 줄과 같다. no_grad 는 기울기만 끈다추론에는 둘을 같이 쓴다

Keras 는 model.fit 이 알아서 학습 모드로 부릅니다. 그 밖에서 층을 직접 부를 때 드롭아웃을 켜려면 training=True 를 넘깁니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
학습 때만 한다추론 때는 끄지도 나누지도 않는다「추론(eval)」 단추: 늘 10
평균은 그대로, 흔들림만 더한다÷ (1 − p) 덕분에 다음 층이 받는 값의 평균이 같다25번의 평균 10.32, ② 의 ④ 단계
p 가 클수록 더 흔들린다분산이 h² × p ÷ (1 − p) 라서, p = 0.1 이면 0.11 배, 0.5 면 1 배, 0.9 면 9 배흔들림 1.83 → 5.48 → 16.43
학습이 느려진다기울기에 잡음이 섞여 같은 성능까지 더 오래 걸린다. 원 논문은 보통 2~3 배라고 적는다
배우는 가중치가 없다층으로 넣지만 고를 것은 p 하나뿐이다비율 막대

7. 드롭아웃 비율 고르기

8. 다른 규제와 비교하기: 언제 무엇을 쓰나

과적합을 줄이는 방법을 통틀어 규제(regularization)라고 부릅니다. 드롭아웃은 그 가운데 하나이고, 보통 다른 것과 같이 씁니다.

방법하는 일좋은 점나쁜 점쓰는 경우
드롭아웃학습 때 뉴런을 무작위로 끈다층 하나를 넣으면 된다. 여러 망을 평균 내는 효과학습이 느려진다. train/eval 을 바꿔 줘야 한다. p 를 골라야 한다자료에 비해 망이 클 때
가중치 감쇠학습할 때마다 가중치를 0 쪽으로 조금씩 줄인다(큰 가중치에 벌점)계산이 거의 들지 않는다. 학습과 추론의 차이가 없다세기를 골라야 한다. 너무 세면 덜 배운다가중치가 크게 자라는 것을 막고 싶을 때. 다른 방법과 같이 쓰기 쉽다
조기 종료검증 손실이 더 나아지지 않으면 멈추고, 가장 좋던 때의 가중치를 쓴다학습 시간도 줄어든다. 고를 숫자가 적다(몇 번 더 기다릴지)검증 자료가 따로 있어야 한다. 손실이 출렁이면 너무 일찍 멈출 수 있다검증 자료가 있으면 거의 언제나 같이
데이터 증강(data augmentation)뜻이 바뀌지 않는 변형(뒤집기, 자르기, 잡음)으로 훈련 자료를 늘린다모델이 지켜야 할 성질(뒤집어도 고양이)을 직접 가르친다어떤 변형이 뜻을 지키는지 알아야 한다(숫자 6 을 뒤집으면 9). 학습이 길어진다그림·소리처럼 뜻을 지키는 변형이 분명할 때

넷 다 「훈련 자료만 잘 맞히는 것」을 막는다는 목표는 같지만, 건드리는 곳이 다릅니다. 드롭아웃은 망의 구조를, 가중치 감쇠는 가중치의 크기를, 조기 종료는 학습 시간을, 데이터 증강은 자료를 건드립니다. 그래서 서로 겹쳐 쓸 수 있습니다.

어디에 쓰나

자주 묻는 것

torch.no_grad() 를 쓰면 드롭아웃도 꺼지나요?

아닙니다. no_grad 는 기울기를 계산하지 않게 할 뿐 모델의 모드를 바꾸지 않습니다. 드롭아웃을 끄는 것은 model.eval() 입니다. 추론할 때는 둘을 같이 씁니다.

p 는 끄는 비율인가요, 살리는 비율인가요?

도구마다 다릅니다. PyTorch 의 nn.Dropout(p) 와 Keras 의 Dropout(rate) 는 끄는 비율입니다. 원 논문은 p 를 살리는 확률로 씁니다. 그래서 논문 식으로 살릴 확률 0.8 은 PyTorch 로 p = 0.2 입니다. 코드를 옮길 때 꼭 확인합니다.

추론 때도 드롭아웃을 켜 두면 안 되나요?

보통은 끕니다. 켜 두면 같은 입력에 매번 다른 답이 나오고, 답 하나를 얻으려면 여러 번 돌려 평균 내야 합니다. 다만 일부러 켠 채 여러 번 돌려, 답이 흩어지는 정도로 모델이 얼마나 확신하는지 어림하는 방법(몬테카를로 드롭아웃)도 있습니다.

낱말

여기서 쓴 말책에서 부르는 말
학습 때 뉴런을 무작위로 끄기드롭아웃(dropout)
끄는 비율 p드롭아웃 비율(dropout rate, drop probability). 원 논문은 살리는 확률(retention probability)을 p 로 쓴다
끄고 살린 모양 m마스크(mask). 베르누이 분포(Bernoulli distribution)에서 뽑는다
남은 값을 1 ÷ (1 − p) 배로 키우기역 드롭아웃(inverted dropout)
일부를 끈 망얇아진 망(thinned network)
뉴런끼리 서로 기대어 얽힘공동 적응(co-adaptation)
평균 E[ ]기댓값(expectation)
흔들림분산(variance), 표준편차(standard deviation)
학습 모드, 추론 모드train mode, eval mode(model.train(), model.eval())
다 만든 모델을 쓰기추론(inference)
과적합을 줄이는 방법규제, 정칙화(regularization)
가중치를 0 쪽으로 줄이기가중치 감쇠(weight decay)
검증 손실이 멈추면 학습도 멈추기조기 종료(early stopping)
변형으로 자료 늘리기데이터 증강(data augmentation)
여러 모델의 답을 평균앙상블(ensemble)
덜 배움과소적합(underfitting)
추론 때도 켜고 여러 번 돌리기몬테카를로 드롭아웃(Monte Carlo dropout)

출처

← 클래스 불균형가중치 감쇠와 L1·L2 규제 →