드롭아웃: 학습 때 뉴런을 무작위로 끄기
큰 신경망은 훈련 자료를 외워 버리기 쉽습니다. 드롭아웃은 학습하는 동안 뉴런 몇 개를 매번 무작위로 꺼서, 망이 몇몇 뉴런에 기대지 못하게 합니다. 「다시 뽑기」를 눌러 꺼지는 뉴런이 바뀌고 출력이 흔들리는 것을 보세요.
한 줄 답. 드롭아웃은 학습할 때만 뉴런마다 확률 p 로 값을 0 으로 만들고, 남은 값은 1 ÷ (1 − p) 배로 키우는 방법입니다. 매번 다른 뉴런이 꺼지니 망이 특정 뉴런의 조합에 기대지 못하고, 그만큼 훈련 자료를 덜 외웁니다(과적합이 줄어듭니다). 추론할 때는 끕니다(PyTorch 의 model.eval()). 키워 둔 덕분에 학습 때의 평균과 추론 때의 값이 같습니다.
작게 줄인 본보기입니다. 입력 둘(1, 2), 은닉 뉴런(hidden neuron) 넷(값 2, 4, 1, 3), 출력은 은닉 뉴런 값의 합입니다. 진짜 망은 뉴런이 훨씬 많고, 여러 층에 드롭아웃을 두며, 출력 앞에 가중치와 활성화 함수(activation function)가 있습니다. 여기서는 흔들림이 잘 보이게 출력을 합으로 줄였습니다. 뽑기는 고정 시드(seed) 난수기라 쪽을 열 때마다 같은 순서로 나옵니다.
해 볼 것. ① 처음(p = 0.5)에는 h₂ 가 꺼지고 출력이 12 입니다. 남은 2 + 1 + 3 = 6 을 ÷ (1 − 0.5), 곧 × 2 했습니다. 추론 때 출력 10 과 다릅니다. ② 「다시 뽑기」를 네 번 누르면 출력이 14, 10, 10, 12 로 바뀝니다. 입력은 같은데 누를 때마다 다릅니다. 다섯 번의 평균은 11.6 입니다. ③ 「20번 더 뽑기」를 누르면 25번의 평균이 10.32 로 10 에 가까워집니다. 하나하나는 0 부터 18 까지 흩어져 있습니다. ④ 비율을 0.9 로 올리면 같은 25번을 다시 판정해 평균 7.6, 가장 큰 값 40 이고 흔들림(표준편차)은 16.43 입니다. 0.1 로 내리면 흔들림 1.83, 평균 9.69 이고, 0 이면 모두 10 입니다. ⑤ 「추론(eval)」을 누르면 모든 뉴런이 켜지고 나누지도 않아 출력이 10 입니다. 「다시 뽑기」를 눌러도 그대로입니다.
1. 드롭아웃이란: 학습 때만 뉴런을 무작위로 끄기
신경망의 한 층에는 뉴런이 여럿 있고, 뉴런마다 숫자 하나를 다음 층으로 보냅니다. 드롭아웃은 학습할 때 예제마다, 뉴런마다 따로 동전을 던지듯 정해서, 확률 p 로 그 뉴런의 값을 0 으로 만듭니다. 꺼진 뉴런은 그 한 번의 계산에서 없는 것과 같습니다. 앞으로 보내는 값이 0 이고, 뒤에서 오는 기울기(역전파)도 그 길로는 지나가지 않습니다. 다음 계산에서는 다른 뉴런들이 꺼집니다.
식으로는 이렇습니다. 뉴런의 값을 h, 끄는 비율, 곧 드롭아웃 비율(dropout rate)을 p 라 하면
m = 확률 1 − p 로 1(살림), 확률 p 로 0(끔) 뉴런마다 따로 뽑는다
h̃ = h × m ÷ (1 − p) 학습할 때 다음 층으로 보내는 값
h̃ = h 추론할 때(아무것도 하지 않는다)
h: 뉴런의 값.p: 드롭아웃 비율.m: 뉴런마다 따로 뽑는 1(살림) 또는 0(끔).h̃: 다음 층으로 보내는 값.
m 을 모은 것을 마스크라고 부릅니다. PyTorch 의 nn.Dropout(p) 와 Keras 의 Dropout(rate) 가 이 식대로 하고, 둘 다 p 는 끄는 비율입니다. 드롭아웃 층에는 배우는 가중치가 없습니다. 고를 것은 p 하나입니다.
2. 식이 만들어지는 과정: 왜 1 ÷ (1 − p) 로 나누나
위 실험의 은닉 뉴런 넷(값 2, 4, 1, 3)을 그대로 씁니다. 여기서는 p = 0.25 로 둡니다. p = 0.5 면 1 − p 와 p 가 둘 다 0.5 라서 어느 쪽으로 나누는지 헷갈리기 때문입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 바뀌고, 아래에 까닭이 나옵니다. 초록 막대는 이번에 보내는 값, 회색 점선은 추론 때의 원래 값, 주황 눈금은 평균(기댓값)입니다.
- 그대로:
h. 추론 때 다음 층이 받는 값입니다. 2, 4, 1, 3 이고 합은 10 입니다. - 끄기:
h × m. 마스크 m = (1, 0, 1, 1) 이 나오면 h₂ 가 꺼져 2, 0, 1, 3 이 가고 합은 6 입니다. 뽑을 때마다 다릅니다. - 평균을 내면:
E[h × m] = (1 − p) × h. 뉴런 하나는 확률 0.75 로 h 를, 0.25 로 0 을 보내니 평균은 0.75 × h 입니다. 넷이 모두 0.75 배라 1.5, 3, 0.75, 2.25 이고 합은 7.5 입니다. 까닭: 다음 층은 학습 내내 평균 7.5 쯤의 입력에 맞춰 가중치를 배웁니다. 그런데 추론 때 아무것도 끄지 않으면 10 이 들어옵니다. 배운 눈금보다 1.33 배 큰 값입니다. - 나누기:
h̃ = h × m ÷ (1 − p). 남은 값을 0.75 로 나누면 이번 값은 2.67, 0, 1.33, 4(합 8)로 여전히 흔들립니다. 하지만 평균은0.75 × h ÷ 0.75 = h, 곧 2, 4, 1, 3(합 10)으로 돌아옵니다. 까닭: 학습 때의 평균과 추론 때의 값이 같아져서, 추론 때는 끄지도 나누지도 않고 그대로 쓰면 됩니다.
원 논문은 반대쪽에서 맞췄습니다. 학습 때는 나누지 않고, 추론 때 그 뉴런에서 나가는 가중치에 살릴 확률을 곱해 줄였습니다. 평균을 맞춘다는 뜻은 같습니다. PyTorch 와 Keras 는 학습 때 나누는 쪽(역 드롭아웃, inverted dropout)을 써서 추론 때 할 일이 없게 합니다.
평균이 정확히 같은 것은 다음 층이 받는 값까지입니다. 그 뒤에 활성화 함수가 있으면 망 전체의 출력은 평균이 꼭 같지는 않고 가깝습니다. 원 논문도 추론 때 망 하나를 쓰는 것을 「어림으로 평균 내는 방법」이라고 적습니다.
해 볼 것. 「다음」을 세 번 누르며 합이 10 → 6 → 평균 7.5 → 평균 10 으로 바뀌는 것을 보세요. ③ 에서는 주황 눈금이 모두 회색 점선 아래에 있고, ④ 에서는 점선에 딱 겹칩니다. ④ 의 초록 막대(2.67, 0, 1.33, 4)는 점선과 다릅니다. 한 번 뽑은 값은 흔들리고, 평균만 같습니다.
3. 손으로 풀어 보기: 뉴런 하나의 평균과 분산
h₁ = 2, p = 0.25 로 따라갑니다.
- 확률. 살 확률
1 − p = 0.75, 꺼질 확률 0.25. - 나누지 않으면. 살면 2, 꺼지면 0. 평균
0.75 × 2 + 0.25 × 0 = 1.5. 원래 값 2 보다 작습니다. - 나누면. 살면
2 ÷ 0.75 = 2.67, 꺼지면 0. 평균0.75 × 2.67 + 0.25 × 0 = 2(분수로0.75 × 8/3 = 2). 원래 값과 같습니다. - 분산. 나눈 값의 분산은
h² × p ÷ (1 − p)입니다. h₁ 이면4 × 0.25 ÷ 0.75 = 1.33. - 넷을 합치면. 뉴런마다 따로 뽑으니 합의 분산은 분산의 합입니다.
(4 + 16 + 1 + 9) × 0.25 ÷ 0.75 = 30 ÷ 3 = 10, 표준편차√10 = 3.16. p = 0.5 면30 × 1 = 30, 표준편차 5.48 로 실험 ① 의 흔들림과 같습니다.
| 뉴런 | h | 나누지 않은 평균 0.75 × h | 살았을 때 h ÷ 0.75 | 나눈 평균 | 분산 h² × p ÷ (1 − p) |
|---|---|---|---|---|---|
| h₁ | 2 | 1.5 | 2.67 | 2 | 1.33 |
| h₂ | 4 | 3 | 5.33 | 4 | 5.33 |
| h₃ | 1 | 0.75 | 1.33 | 1 | 0.33 |
| h₄ | 3 | 2.25 | 4 | 3 | 3 |
| 합 | 10 | 7.5 | 10 | 10 |
4. 왜 과적합이 줄어드나
과적합은 모델이 훈련 자료의 우연한 무늬까지 외워서, 훈련 점수는 좋은데 새 자료에서는 나빠지는 것입니다. 원 논문은 드롭아웃이 듣는 까닭을 둘로 설명합니다.
- 서로 기대지 못하게 합니다. 뉴런들은 「저 뉴런이 이 실수를 고쳐 주니 나는 이렇게 해도 된다」는 식으로 얽혀, 훈련 자료에만 맞는 조합을 만들 수 있습니다(논문의 말로 공동 적응). 드롭아웃에서는 어느 뉴런이 있을지 모르니, 뉴런마다 혼자서도 쓸모 있는 특징을 배우게 됩니다.
- 여러 망을 평균 냅니다. 뉴런이 n 개인 망에서 일부를 끈 「얇아진 망」은 2ⁿ 가지입니다. 학습은 예제마다 그 가운데 하나를 뽑아 가르치는 셈이고, 이 망들은 가중치를 함께 씁니다. 추론 때 전부 켠 망 하나를 쓰는 것은 이 많은 망의 답을 어림으로 평균 내는 것입니다. 여러 모델의 답을 평균 내면 대개 하나보다 낫다는 생각(앙상블)을 값싸게 흉내 낸 것입니다.
실험 ① 에서 같은 입력이 누를 때마다 다른 출력을 낸 것이 학습 때 망이 받는 잡음입니다. 망은 이 잡음 속에서도 맞는 답을 내도록 배워야 하니, 훈련 자료 하나하나를 그대로 외우기 어려워집니다.
5. 학습 때와 추론 때: train/eval 을 잊는 버그
드롭아웃은 학습할 때만 켜야 합니다. PyTorch 에서는 모델의 모드가 이것을 정합니다. model.train() 이면 끄고 키우고, model.eval() 이면 아무것도 하지 않습니다(문서의 말로 「항등 함수」). 모드는 모델이 기억하는 값이라, 바꾸지 않으면 마지막으로 정한 그대로 남습니다. 같은 스위치가 배치 정규화의 동작도 바꿉니다. 실험 ① 의 「추론(eval)」 단추가 model.eval() 입니다.
model.train() # 학습: 드롭아웃 켜짐
for x, y in train_loader:
loss = loss_fn(model(x), y)
...
model.eval() # 검증·추론: 드롭아웃 꺼짐
with torch.no_grad(): # 기울기 계산만 끈다. 드롭아웃은 끄지 않는다
pred = model(x_test)
model.train() # 다시 학습하려면 되돌린다
| 잊은 것 | 무슨 일이 생기나 | 알아채는 법 |
|---|---|---|
추론 전에 eval() 을 안 함 | 같은 입력에 매번 다른 답이 나온다. 검증 점수가 낮게 나오고 돌릴 때마다 다르다 | 같은 입력을 두 번 넣어 답이 같은지 본다 |
검증한 뒤 train() 을 안 함 | 남은 학습 동안 드롭아웃이 꺼진다. 오류는 나지 않고 과적합만 다시 늘어난다 | 에폭(epoch)마다 학습 루프 맨 위에 model.train() 을 둔다 |
no_grad() 만 쓰고 eval() 은 안 함 | 첫째 줄과 같다. no_grad 는 기울기만 끈다 | 추론에는 둘을 같이 쓴다 |
Keras 는 model.fit 이 알아서 학습 모드로 부릅니다. 그 밖에서 층을 직접 부를 때 드롭아웃을 켜려면 training=True 를 넘깁니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 학습 때만 한다 | 추론 때는 끄지도 나누지도 않는다 | 「추론(eval)」 단추: 늘 10 |
| 평균은 그대로, 흔들림만 더한다 | ÷ (1 − p) 덕분에 다음 층이 받는 값의 평균이 같다 | 25번의 평균 10.32, ② 의 ④ 단계 |
| p 가 클수록 더 흔들린다 | 분산이 h² × p ÷ (1 − p) 라서, p = 0.1 이면 0.11 배, 0.5 면 1 배, 0.9 면 9 배 | 흔들림 1.83 → 5.48 → 16.43 |
| 학습이 느려진다 | 기울기에 잡음이 섞여 같은 성능까지 더 오래 걸린다. 원 논문은 보통 2~3 배라고 적는다 | |
| 배우는 가중치가 없다 | 층으로 넣지만 고를 것은 p 하나뿐이다 | 비율 막대 |
7. 드롭아웃 비율 고르기
- 원 논문의 출발점. 은닉층(hidden layer)은 살릴 확률 0.5(끄는 비율 0.5)가 여러 망과 일에서 가장 좋은 값에 가까웠고, 입력 층은 살릴 확률이 0.5 보다 1 에 가까운 것이 좋았다고 적습니다. PyTorch 의 기본값도 p = 0.5 입니다.
- 검증 자료로 고릅니다. 원 논문도 p 를 검증 자료로 고를 수 있다고 적습니다. 몇 값(예: 0.1, 0.3, 0.5)으로 학습해 검증 손실이 가장 낮은 것을 고릅니다.
- 너무 크면 덜 배웁니다. 신호가 잡음에 묻혀 훈련 점수부터 낮아집니다(과소적합). 실험에서 p = 0.9 면 흔들림 16.43 이 평균 10 보다 큽니다.
- 너무 작으면 효과가 없습니다. p = 0 은 드롭아웃이 없는 것과 같습니다.
- 훈련 점수와 검증 점수의 차이를 봅니다. 훈련은 좋은데 검증이 나쁘면(과적합) p 를 올리고, 둘 다 나쁘면(덜 배움) p 를 내립니다.
8. 다른 규제와 비교하기: 언제 무엇을 쓰나
과적합을 줄이는 방법을 통틀어 규제(regularization)라고 부릅니다. 드롭아웃은 그 가운데 하나이고, 보통 다른 것과 같이 씁니다.
| 방법 | 하는 일 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|---|
| 드롭아웃 | 학습 때 뉴런을 무작위로 끈다 | 층 하나를 넣으면 된다. 여러 망을 평균 내는 효과 | 학습이 느려진다. train/eval 을 바꿔 줘야 한다. p 를 골라야 한다 | 자료에 비해 망이 클 때 |
| 가중치 감쇠 | 학습할 때마다 가중치를 0 쪽으로 조금씩 줄인다(큰 가중치에 벌점) | 계산이 거의 들지 않는다. 학습과 추론의 차이가 없다 | 세기를 골라야 한다. 너무 세면 덜 배운다 | 가중치가 크게 자라는 것을 막고 싶을 때. 다른 방법과 같이 쓰기 쉽다 |
| 조기 종료 | 검증 손실이 더 나아지지 않으면 멈추고, 가장 좋던 때의 가중치를 쓴다 | 학습 시간도 줄어든다. 고를 숫자가 적다(몇 번 더 기다릴지) | 검증 자료가 따로 있어야 한다. 손실이 출렁이면 너무 일찍 멈출 수 있다 | 검증 자료가 있으면 거의 언제나 같이 |
| 데이터 증강(data augmentation) | 뜻이 바뀌지 않는 변형(뒤집기, 자르기, 잡음)으로 훈련 자료를 늘린다 | 모델이 지켜야 할 성질(뒤집어도 고양이)을 직접 가르친다 | 어떤 변형이 뜻을 지키는지 알아야 한다(숫자 6 을 뒤집으면 9). 학습이 길어진다 | 그림·소리처럼 뜻을 지키는 변형이 분명할 때 |
넷 다 「훈련 자료만 잘 맞히는 것」을 막는다는 목표는 같지만, 건드리는 곳이 다릅니다. 드롭아웃은 망의 구조를, 가중치 감쇠는 가중치의 크기를, 조기 종료는 학습 시간을, 데이터 증강은 자료를 건드립니다. 그래서 서로 겹쳐 쓸 수 있습니다.
어디에 쓰나
- 층 사이. 층 뒤에
nn.Dropout(p)한 줄을 둡니다. 뉴런이 많은 완전 연결 층이 흔한 자리입니다. - 입력. 입력 칸 일부를 지우면 입력에 잡음을 넣는 셈입니다. 원 논문은 입력 층에는 은닉층보다 작은 드롭아웃 비율을 권합니다.
- 불확실성 추정. 추론 때도 켠 채 여러 번 돌려 답이 얼마나 흩어지는지 보는 방법(몬테카를로 드롭아웃)이 있습니다. 자주 묻는 것 3.
자주 묻는 것
torch.no_grad() 를 쓰면 드롭아웃도 꺼지나요?
아닙니다. no_grad 는 기울기를 계산하지 않게 할 뿐 모델의 모드를 바꾸지 않습니다. 드롭아웃을 끄는 것은 model.eval() 입니다. 추론할 때는 둘을 같이 씁니다.
p 는 끄는 비율인가요, 살리는 비율인가요?
도구마다 다릅니다. PyTorch 의 nn.Dropout(p) 와 Keras 의 Dropout(rate) 는 끄는 비율입니다. 원 논문은 p 를 살리는 확률로 씁니다. 그래서 논문 식으로 살릴 확률 0.8 은 PyTorch 로 p = 0.2 입니다. 코드를 옮길 때 꼭 확인합니다.
추론 때도 드롭아웃을 켜 두면 안 되나요?
보통은 끕니다. 켜 두면 같은 입력에 매번 다른 답이 나오고, 답 하나를 얻으려면 여러 번 돌려 평균 내야 합니다. 다만 일부러 켠 채 여러 번 돌려, 답이 흩어지는 정도로 모델이 얼마나 확신하는지 어림하는 방법(몬테카를로 드롭아웃)도 있습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 학습 때 뉴런을 무작위로 끄기 | 드롭아웃(dropout) |
| 끄는 비율 p | 드롭아웃 비율(dropout rate, drop probability). 원 논문은 살리는 확률(retention probability)을 p 로 쓴다 |
| 끄고 살린 모양 m | 마스크(mask). 베르누이 분포(Bernoulli distribution)에서 뽑는다 |
| 남은 값을 1 ÷ (1 − p) 배로 키우기 | 역 드롭아웃(inverted dropout) |
| 일부를 끈 망 | 얇아진 망(thinned network) |
| 뉴런끼리 서로 기대어 얽힘 | 공동 적응(co-adaptation) |
| 평균 E[ ] | 기댓값(expectation) |
| 흔들림 | 분산(variance), 표준편차(standard deviation) |
| 학습 모드, 추론 모드 | train mode, eval mode(model.train(), model.eval()) |
| 다 만든 모델을 쓰기 | 추론(inference) |
| 과적합을 줄이는 방법 | 규제, 정칙화(regularization) |
| 가중치를 0 쪽으로 줄이기 | 가중치 감쇠(weight decay) |
| 검증 손실이 멈추면 학습도 멈추기 | 조기 종료(early stopping) |
| 변형으로 자료 늘리기 | 데이터 증강(data augmentation) |
| 여러 모델의 답을 평균 | 앙상블(ensemble) |
| 덜 배움 | 과소적합(underfitting) |
| 추론 때도 켜고 여러 번 돌리기 | 몬테카를로 드롭아웃(Monte Carlo dropout) |
출처
- Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov, Dropout: A Simple Way to Prevent Neural Networks from Overfitting, JMLR 15권. 공동 적응, 2ⁿ 가지 얇아진 망, 추론 때 가중치에 살릴 확률을 곱하는 어림 평균, p 를 살리는 확률로 쓰는 것과 0.5·입력 층의 권고, 학습이 2~3 배 걸린다는 것.
- PyTorch 문서: torch.nn.Dropout(p 는 끌 확률, 기본값 0.5, 학습 때 1 ÷ (1 − p) 배, 평가 때 항등 함수), torch.nn.Module의
eval()(Dropout·BatchNorm 의 동작을 바꾼다,train(False)와 같다). - Keras 문서: Dropout layer(rate 는 끄는 비율, 남은 값은 1 ÷ (1 − rate) 배,
training=True일 때만,model.fit이 알아서 켠다).