활성화 함수: 시그모이드, tanh, ReLU, GELU, 소프트맥스

신경망의 뉴런은 들어온 값에 가중치를 곱해 더한 뒤, 마지막에 함수 하나를 지나 내보냅니다. 이 함수가 활성화 함수입니다. 함수의 값과 기울기를 나란히 끌어 보고, 이 함수를 빼면 왜 층을 아무리 쌓아도 직선 하나가 되는지 한 단계씩 확인해 보세요.

한 줄 답. 활성화 함수는 뉴런이 계산한 값(가중치를 곱해 더한 값)을 휘게(비선형, nonlinear) 만드는 함수입니다. 이것이 없으면 층을 몇 개 쌓아도 전체가 층 하나, 곧 직선(선형) 관계 하나와 같아집니다. 은닉층에는 보통 ReLU 나 GELU 를 쓰고, 출력층에는 문제에 따라 아무것도 안 씌우기(숫자 맞히기), 시그모이드(예/아니오), 소프트맥스(여럿 중 하나)를 씁니다.

함수를 고르고 그림을 좌우로 끌거나 x 칸에 숫자(−5 ~ 5)를 넣어 보세요. 위 칸의 주황 점선은 그 자리의 접선이고, 그 기울어진 정도가 아래 칸의 값입니다. Leaky ReLU 는 음수 쪽 기울기를 그림에서 보이게 0.1 로 그렸습니다(PyTorch 의 기본값은 0.01).

해 볼 것. ① 처음 화면은 시그모이드, x = 2 이고 값 0.881, 기울기 0.105 입니다. x 를 0 으로 두면 기울기가 가장 큰 0.25, 5 로 두면 값 0.993, 기울기 0.007 입니다. 값이 1 에 붙어 거의 움직이지 않습니다. ② tanh 로 바꾸면 x = 0 의 기울기는 1 이지만, x = 3 에서는 값 0.995, 기울기 0.01 로 같은 일이 일어납니다. ③ ReLU 에서 x = −2 로 두면 값도 기울기도 0 입니다. Leaky ReLU 로 바꾸면 값 −0.2, 기울기 0.1 이 남습니다. ④ GELU 에서 x = −0.8 이면 값이 −0.169 로 0 보다 조금 내려갑니다(가장 낮은 곳이 약 −0.17). x = 2 의 기울기는 1.085 로 1 보다 큽니다.

1. 활성화 함수란

신경망의 뉴런 하나는 입력에 가중치를 곱해 더하고 편향(bias)을 더해 z = w₁x₁ + w₂x₂ + … + b 를 만듭니다. 그다음 함수 f 를 씌워 a = f(z) 를 다음 층으로 내보냅니다. 이 f 가 활성화 함수입니다. f 는 숫자 하나를 받아 숫자 하나를 내는 단순한 함수이고, 층의 뉴런마다 같은 f 를 따로 씌웁니다.

f 의 기울기 f′(z) 도 값만큼 중요합니다. 학습할 때 역전파는 오차를 출력에서 입력 쪽으로 거꾸로 전하는데, 뉴런을 하나 지날 때마다 그 자리의 f′(z) 가 곱해집니다. 기울기가 0 이면 그 뒤로는 아무것도 전해지지 않습니다. 그래서 실험 ① 은 값과 기울기를 같이 보여 줍니다.

2. 식이 만들어지는 과정: 왜 휘어야 하나

입력 x 하나, 은닉 뉴런 둘, 출력 y 하나인 작은 신경망입니다. 가중치는 W₁ = (1, −1), b₁ = (−1, −1), W₂ = (1, 0.5), b₂ = 0 으로 정해 두었습니다(학습하지 않은 작게 줄인 본보기입니다). 가로가 x, 세로가 각 층이 내는 값입니다.

  1. 첫 층: h = W₁x + b₁. x 하나로 h₁ = x − 1, h₂ = −x − 1 을 만듭니다. 둘 다 직선입니다.
  2. 둘째 층: y = W₂(W₁x + b₁) + b₂. y = 1·h₁ + 0.5·h₂. 직선에 수를 곱해 더하면 다시 직선입니다.
  3. 합치기: y = (W₂W₁)x + (W₂b₁ + b₂). 괄호를 풀면 W₂W₁ = 1·1 + 0.5·(−1) = 0.5, W₂b₁ + b₂ = −1.5 라서 y = 0.5x − 1.5 입니다. 가중치 0.5 와 편향 −1.5 인 층 하나와 똑같습니다. 행렬끼리 곱하면 또 하나의 행렬이라, 층이 열 개여도 이렇게 하나로 합쳐집니다. 까닭: 곱하고 더하는 일(선형 변환)을 몇 번 거듭해도 결과는 곱하고 더하는 일 한 번입니다.
  4. f 끼우기: y = W₂·f(W₁x + b₁) + b₂. 두 층 사이에 ReLU 를 넣으면 h₁ 은 x = 1 에서, h₂ 는 x = −1 에서 꺾입니다. 그래서 y 가 가운데(−1 ~ 1)는 0 으로 평평하고 양쪽에서 올라갑니다. 이제 (W₂W₁) 하나로 합칠 수 없습니다. f 가 직선이 아니어서 괄호를 풀 수 없기 때문입니다.

해 볼 것. ② 단계와 ③ 단계에서 검은 점은 x = −3, 0, 3 에서 −3, −1.5, 0 이고, ③ 의 주황 점선(한 층)이 검정 선과 완전히 겹칩니다. ④ 단계에서는 같은 자리가 1, 0, 2 가 됩니다. 회색 점선은 f 가 없을 때의 직선입니다.

꺾이는 곳이 하나뿐인 ReLU 도 뉴런을 늘리면 꺾인 곳이 늘어, 여러 조각의 직선으로 휜 곡선을 흉내 낼 수 있습니다. 교과서 『Deep Learning』 6장은 은닉층이 충분히 넓으면 이런 신경망이 넓은 범위의 함수를 원하는 만큼 가깝게 나타낼 수 있다는 정리(보편 근사 정리)가 ReLU 를 포함한 넓은 종류의 활성화 함수에 대해 증명되었다고 적습니다.

3. 다섯 함수와 성질

함수식값의 범위가장 큰 기울기특징
시그모이드σ(z) = 1 ÷ (1 + e^(−z))0 ~ 10.25 (z = 0)양 끝에서 포화. 값이 늘 양수
tanhtanh(z) = 2σ(2z) − 1−1 ~ 11 (z = 0)시그모이드를 늘이고 내린 것. 0 이 가운데. 양 끝에서 포화
ReLUmax(0, z)0 이상1 (z > 0)계산이 가장 싸다. 음수 쪽 기울기 0
Leaky ReLUz > 0 이면 z, 아니면 α·z제한 없음1 (z > 0), 음수 쪽 α음수 쪽에 작은 기울기 α 를 남긴다
GELUz · Φ(z)약 −0.17 이상약 1.13 (z = √2)ReLU 를 매끄럽게 한 모양. 0 근처에서 조금 음수로 내려간다

Φ(z) 는 표준 정규분포에서 값이 z 이하일 확률입니다. GELU 논문은 ReLU 가 부호를 보고 입력을 통과시키거나 막는 것과 달리, GELU 는 입력의 값에 따라 가중치(Φ(z))를 준다고 설명합니다. 기울기 식은 이렇습니다: σ′(z) = σ(z)·(1 − σ(z)), tanh′(z) = 1 − tanh(z)², ReLU 는 양수에서 1·음수에서 0.

4. 손으로 풀어 보기

2절의 작은 신경망에 x = −3, 0, 3 을 넣습니다. 먼저 첫 층의 값 z₁ = x − 1, z₂ = −x − 1 을 구하고, f 없이 그대로 쓴 y 와 ReLU 를 씌운 y 를 비교합니다.

xz₁ = x − 1z₂ = −x − 1f 없이: z₁ + 0.5·z₂ReLU: f(z₁) + 0.5·f(z₂)
−3−42−4 + 1 = −30 + 1 = 1
0−1−1−1 − 0.5 = −1.50 + 0 = 0
32−42 − 2 = 02 + 0 = 2

f 없이 나온 −3, −1.5, 0 은 x 가 3 늘 때마다 1.5 씩 늘어 한 직선(y = 0.5x − 1.5) 위에 있습니다. ReLU 로 나온 1, 0, 2 는 −3 에서 0 까지 1 줄고 0 에서 3 까지 2 늘어, 한 직선 위에 있을 수 없습니다.

5. 포화와 죽은 ReLU

포화: 기울기가 0 에 붙는다

시그모이드와 tanh 는 입력이 크거나 작으면 값이 1(또는 0, −1)에 붙어 거의 바뀌지 않습니다. 이것을 포화라고 부릅니다. 포화한 곳은 기울기가 거의 0 이라(시그모이드 x = 5 에서 0.007), 역전파로 전해지는 신호가 거의 사라집니다. 시그모이드의 기울기는 가장 커도 0.25 라서, 시그모이드 뉴런 열 개를 지나면 활성화의 기울기만 곱해도 많아야 0.25¹⁰ ≈ 0.00000095 입니다. 앞쪽 층일수록 기울기가 작아져 배우지 못하는 것을 기울기 소실이라고 부릅니다.

죽은 ReLU: 늘 0 을 내는 뉴런

ReLU 는 양수 쪽 기울기가 늘 1 이라 포화하지 않습니다. 대신 입력이 음수면 값도 기울기도 0 입니다. 어떤 뉴런의 z 가 모든 자료에서 음수가 되면, 그 뉴런은 늘 0 을 내고 기울기도 늘 0 이라 그 앞의 가중치가 다시는 바뀌지 않습니다. 이것을 죽은 ReLU 라고 부릅니다. 편향이 크게 음수로 가거나 학습률이 커서 가중치가 한 번에 많이 움직이면 생길 수 있습니다. 음수 쪽에 작은 기울기를 남기는 Leaky ReLU 나 GELU 는 기울기가 정확히 0 인 구간이 없어 이 일이 덜 일어납니다.

6. 출력층: 시그모이드와 소프트맥스

출력층의 활성화는 답의 모양에 맞춰 고릅니다. 집값처럼 아무 숫자나 맞히면 아무것도 씌우지 않습니다. 예/아니오 하나를 맞히면 시그모이드로 0 ~ 1 의 확률을 냅니다(로지스틱 회귀와 같은 모양). 여럿 가운데 하나를 고르면 소프트맥스로 칸마다의 확률을 냅니다.

소프트맥스는 점수 여러 개를 받아 softmax(z)ᵢ = e^(zᵢ) ÷ (e^(z₁) + e^(z₂) + …) 로 바꿉니다. 결과는 모두 0 보다 크고 합이 1 입니다. 점수 (2, 1, 0) 이면 e² ≈ 7.389, e¹ ≈ 2.718, e⁰ = 1, 합 11.107 이라 확률은 (0.665, 0.245, 0.09) 입니다. 점수가 큰 칸이 확률도 크고, 모든 점수에 같은 수를 더해도 결과는 같습니다. 학습에는 보통 교차 엔트로피와 짝지어 씁니다. PyTorch 의 CrossEntropyLoss 는 소프트맥스를 씌우기 전의 점수(로짓)를 받으므로, 모델 끝에 소프트맥스를 따로 씌워 넣지 않습니다.

7. 언제 무엇을 쓰나

은닉층

선택지좋은 점나쁜 점쓰는 경우
ReLU계산이 싸다. 양수 쪽 기울기가 1 이라 깊어도 기울기가 덜 줄어든다음수 쪽 기울기 0, 죽은 뉴런이 생길 수 있다처음 고르는 기본값. 합성곱 신경망 등 대부분
Leaky ReLU음수 쪽에도 기울기가 남아 죽지 않는다α 를 하나 더 정해야 한다. 늘 ReLU 보다 낫지는 않다ReLU 로 늘 0 인 뉴런이 많을 때
GELU매끄럽다. 음수 쪽 기울기가 정확히 0 인 구간이 없다ReLU 보다 계산이 조금 더 든다트랜스포머 계열을 따라 만들 때
tanh0 이 가운데이고 −1 ~ 1 로 묶인다양 끝에서 포화, 깊으면 기울기 소실순환 신경망(LSTM 등)의 안쪽, 값이 −1 ~ 1 이어야 할 때
시그모이드0 ~ 1 이라 「얼마나 열까」 같은 게이트(gate)로 쓰기 좋다기울기가 많아야 0.25, 포화, 값이 늘 양수깊은 은닉층에는 거의 안 쓴다. LSTM 의 게이트

출력층

선택지좋은 점나쁜 점쓰는 경우
없음(그대로)어떤 숫자든 낼 수 있다범위를 묶지 못한다집값, 온도처럼 숫자 맞히기(회귀)
시그모이드칸마다 따로 0 ~ 1 의 확률칸끼리 합이 1 이 아니다예/아니오 하나, 또는 여러 라벨이 같이 참일 수 있을 때
소프트맥스칸들의 확률 합이 1하나만 고를 때만 맞다. 칸이 아주 많으면 계산이 크다여럿 가운데 하나 고르기(다중 분류), 다음 낱말 고르기

어디에 쓰나

자주 묻는 것

활성화 함수를 빼면 어떻게 되나요?

층을 몇 개 쌓아도 전체가 층 하나와 같아집니다. 곱하고 더하는 일을 두 번 하면 그것도 곱하고 더하는 일 한 번으로 합쳐지기 때문입니다(W₂(W₁x) = (W₂W₁)x). 그래서 입력과 출력 사이의 직선(선형) 관계밖에 배우지 못합니다.

ReLU 는 0 에서 꺾여 미분할 수 없는데 괜찮나요?

괜찮습니다. 학습 중에 값이 정확히 0 에 떨어지는 일은 드물고, 라이브러리는 그 자리에서 한쪽 기울기(0 이나 1)를 씁니다. 교과서 『Deep Learning』 6장도 이 방식을 설명합니다. 이 쪽의 실험은 0 에서 0 을 씁니다.

은닉층에는 무엇을 고르나요?

먼저 ReLU 로 시작합니다. 계산이 싸고 대부분 잘 됩니다. 트랜스포머처럼 이미 정해진 구조를 따라 만들면 그 구조가 쓰는 함수(흔히 GELU)를 씁니다. 학습 중에 출력이 늘 0 인 뉴런이 많으면 Leaky ReLU 를 써 봅니다. 시그모이드와 tanh 는 깊은 신경망의 은닉층에는 잘 쓰지 않습니다.

낱말

여기서 쓴 말책에서 부르는 말
뉴런의 계산을 휘게 하는 함수활성화 함수(activation function), 비선형성(nonlinearity)
가중치를 곱해 더한 값 z사전 활성화(pre-activation), 로짓(logit, 출력층에서)
직선(곱하고 더하기만)선형(linear), 아핀 변환(affine transformation)
뉴런마다 더하는 상수 b편향(bias)
시그모이드로지스틱 시그모이드(logistic sigmoid), σ
tanh쌍곡탄젠트(hyperbolic tangent)
ReLU정류 선형 유닛(rectified linear unit)
GELU가우스 오차 선형 유닛(Gaussian error linear unit)
값이 끝에 붙어 기울기가 0 에 가까움포화(saturation)
앞쪽 층으로 갈수록 기울기가 작아짐기울기 소실(vanishing gradient)
늘 0 을 내는 뉴런죽은 ReLU(dying ReLU), 죽은 뉴런(dead neuron)
점수를 합이 1 인 확률로소프트맥스(softmax)
층을 넓히면 어떤 함수든 흉내 낸다는 정리보편 근사 정리(universal approximation theorem)
숫자 맞히기 · 하나 고르기회귀(regression) · 분류(classification)

출처

← 학습 루프: 한 스텝, 한 에폭기울기 소실과 폭발 →