신경망: 뉴런, 활성화 함수, 층
신경망은 이름이 어렵지만 재료는 단순합니다. 숫자를 곱해 더하고, 값을 휘게 하는 활성화 함수(activation function)에 넣습니다. 이것을 여러 개 줄지어 놓고 여러 겹 쌓으면 신경망입니다. 뉴런 하나부터 직접 움직여 보세요.
한 줄 답. 뉴런 하나는 입력에 가중치를 곱해 더하고, 편향(bias, 따로 정해 둔 숫자)을 더한 뒤, 활성화 함수에 넣는 작은 계산입니다. 뉴런을 줄지어 놓은 것이 층이고, 층을 여러 겹 쌓은 것이 신경망입니다. 활성화 함수가 있어서 직선 하나로는 못 가르는 것도 가를 수 있습니다.
막대로 입력(x₁, x₂), 가중치(w₁, w₂), 편향(b)을 바꿉니다. 선이 굵을수록 가중치가 크고, 초록은 양수, 주황은 음수입니다. 오른쪽 그래프의 주황 점이 지금의 z 와 a 입니다.
1. 뉴런 하나가 하는 일
뉴런 하나는 숫자 몇 개를 받아 숫자 하나를 냅니다. 하는 일은 두 단계입니다.
- 곱해 더하기. 입력마다 정해 둔 숫자(가중치)를 곱해 모두 더하고, 따로 정해 둔 숫자(편향) 하나를 더합니다. 이 값을 z 라고 부릅니다.
- 활성화 함수에 넣기. z 를 활성화 함수 f 에 넣은 값 a 를 냅니다.
z = w₁×x₁ + w₂×x₂ + ba = f(z)
가중치는 「이 입력을 얼마나 중요하게 볼까」입니다. 크면 그 입력이 결과를 크게 흔들고, 음수면 그 입력이 클수록 z 가 작아집니다. 편향은 「입력이 모두 0 일 때 z 가 어디서 출발하나」입니다. 임계값을 올리고 내리는 손잡이라고 보면 됩니다. 입력이 셋, 넷으로 늘어도 같습니다. 입력마다 가중치를 하나씩 곱해 모두 더하면 됩니다.
가중치와 편향은 사람이 정하지 않습니다. 처음에는 아무 값에서 출발해 학습으로 고쳐 갑니다(7절). 이 숫자들을 모두 합쳐 파라미터라고 부릅니다.
이름은 뇌의 신경 세포에서 왔지만 느슨한 비유일 뿐입니다. 실제 신경 세포는 이보다 훨씬 복잡합니다.
해 볼 것. ① 처음 값은 z = 1×1 + 1×1 − 1 = 1, a = ReLU(1) = 1 입니다. 활성화 함수를 시그모이드로 바꾸면 a = 0.73, tanh 면 0.76, 계단이면 1 입니다. ② b 를 −3 으로 내리면 z = −1 이 됩니다. ReLU 는 0(꺼짐), 시그모이드는 0.27, tanh 는 −0.76, 계단은 0 입니다. ③ w₁ 을 −1 로 바꾸면 위의 선이 주황이 됩니다. 이제 x₁ 을 키울수록 z 가 작아집니다.
2. 활성화 함수: 휘게 만드는 것
활성화 함수는 z 를 받아 a 를 내는 함수입니다. 직선이 아니라 어딘가에서 휘거나 꺾인다는 것이 핵심입니다. 왜 휘어야 하는지는 5절에서 봅니다. 많이 쓰는 것은 아래와 같습니다.
| 이름 | 식 | 모양 | 내는 값 | 특징 |
|---|---|---|---|---|
| 계단 | z ≥ 0 이면 1, 아니면 0 | 0 에서 뛰는 계단 | 0 또는 1 | 옛 인공 뉴런(맥컬럭-피츠 뉴런, 퍼셉트론)이 쓴 것. 기울기가 거의 모든 곳에서 0 이라 경사 하강으로 학습할 수 없다 |
| 시그모이드 | 1 ÷ (1 + e^(−z)) | 매끈한 S | 0 ~ 1 | 확률로 읽기 좋아 「예 / 아니요」를 고르는 마지막 출력에 쓴다. 기울기가 많아야 0.25 이고 z 가 크거나 작으면 0 에 가까워, 층이 깊으면 학습이 느려진다 |
| tanh | (e^z − e^(−z)) ÷ (e^z + e^(−z)) | 가운데가 0 인 S | −1 ~ 1 | 시그모이드를 세로로 늘리고 내린 꼴(tanh z = 2σ(2z) − 1). 가운데가 0 이다. 양 끝에서 기울기가 0 에 가까워지는 약점은 같다 |
| ReLU | max(0, z) | 0 에서 꺾인 선 | 0 이상 | 계산이 싸고, z > 0 이면 기울기가 늘 1 이라 층이 깊어도 기울기가 잘 전해진다. 은닉층(hidden layer, 입력과 출력 사이의 층)에서 가장 흔히 쓴다. z < 0 쪽은 기울기가 0 이라 영영 꺼진 채로 남는 뉴런이 생길 수 있다 |
| 없음 | z | 직선 | 모든 수 | 휘지 않는다. 층을 쌓아도 직선 하나와 같다(5절) |
ReLU 를 흔히 쓰는 까닭. 학습은 손실을 파라미터로 미분한 값(기울기, 그래디언트)을 출력 쪽에서 입력 쪽으로 거꾸로 전하며 합니다. 층을 하나 지날 때마다 그 층의 활성화 함수 기울기가 곱해집니다. 시그모이드는 이 값이 많아야 0.25 라 층을 열 개 지나면 0.25 를 열 번 곱한 것(약 0.000001)보다도 작아질 수 있습니다. 앞쪽 층은 거의 배우지 못합니다. ReLU 는 켜진 뉴런의 기울기가 1 이라 이렇게 줄지 않습니다. 계산도 비교 한 번이면 끝납니다.
계단을 쓰지 않는 까닭. 계단은 0 에서만 뛰고 나머지는 평평합니다. 가중치를 조금 바꿔도 출력이 그대로라, 「어느 쪽으로 고치면 나아지나」를 알려 주는 기울기가 0 입니다. 그래서 매끈한 시그모이드가 나왔고, 지금은 ReLU 를 많이 씁니다.
3. 뉴런 하나의 경계는 늘 직선
뉴런 하나로 점을 두 클래스로 가르는 일을 해 봅니다. 시그모이드를 쓰면 a 는 0 ~ 1 이라 「클래스 1 일 확률」로 읽을 수 있습니다. a ≥ 0.5 이면 클래스 1, 아니면 클래스 0 이라고 답합니다. a = 0.5 는 z = 0 일 때입니다. 그래서 두 답이 갈리는 경계는 w₁×x₁ + w₂×x₂ + b = 0 이고, 이것은 직선입니다. 가중치를 어떻게 바꿔도 직선이 기울거나 옮겨질 뿐 휘지 않습니다.
초록 동그라미는 클래스 1, 파랑 네모는 클래스 0 입니다. 배경은 뉴런이 말하는 「클래스 1 일 확률」입니다. 초록이 진할수록 클래스 1, 파랑이 진할수록 클래스 0에 가깝다고 봅니다. 검은 선이 경계, 작은 화살표 쪽이 클래스 1 로 답하는 쪽, 주황 고리는 틀린 점입니다. 자료는 지어낸 것입니다.
해 볼 것. ① 「잘 갈리는 것」은 처음 직선(1x₁ + 1x₂ + 0 = 0)으로 100점을 모두 맞힙니다. ② 「XOR 모양」으로 바꾸면 같은 직선이 52점입니다. 막대를 아무리 움직여도 직선은 휘지 않습니다. 「가장 잘 맞는 직선」을 누르면 77점(77%)이 끝입니다. ③ 「가운데와 둘레」는 75점, 「두 초승달」은 95점이 직선 하나로 닿을 수 있는 끝입니다.
XOR 은 「둘 중 하나만 참이면 참」입니다. 여기서는 오른쪽 위와 왼쪽 아래가 클래스 1, 나머지 두 모서리가 클래스 0 입니다. 대각선으로 마주 보는 두 무리가 같은 클래스이라 직선 하나로는 가를 수 없습니다. 뉴런 하나(퍼셉트론)가 XOR 을 못 푼다는 것은 오래전부터 알려진 한계였고, 이것이 층을 쌓는 까닭입니다.
4. 층: 뉴런을 줄지어 놓기
같은 입력을 받는 뉴런 여러 개를 나란히 놓은 것이 층입니다. 뉴런마다 가중치와 편향이 따로 있어서, 같은 입력을 보고도 서로 다른 값을 냅니다. 한 층이 낸 값들은 다음 층의 입력이 됩니다.
- 입력 층: 자료 그대로입니다. 계산은 하지 않습니다. 여기서는 점의 자리 (x₁, x₂) 입니다.
- 은닉층: 가운데 층입니다. 밖에서는 이 값들을 직접 보지 않아서 「숨은」 층, 은닉층이라 부릅니다.
- 출력 층: 마지막 층입니다. 여기서는 시그모이드 뉴런 하나가 「클래스 1 일 확률」을 냅니다.
뉴런이 n 개인 층의 계산은 행렬 곱셈 한 번으로 적을 수 있습니다. 뉴런마다의 가중치를 한 줄(행)씩 쌓으면 n × (입력 수) 행렬 W 가 되고, 편향을 모으면 길이 n 의 벡터 b 가 됩니다.
h = f(W × x + b)
W × x 의 i 번째 칸은 i 번째 뉴런이 하는 「곱해 더하기」와 같습니다. 활성화 함수 f 는 칸마다 따로 적용합니다. 그래서 신경망의 계산 대부분은 행렬 곱셈이고, 행렬 곱셈을 빨리 하는 그래픽 카드(GPU)가 신경망 학습에 쓰입니다.
아래는 입력 2개 → 은닉 뉴런 4개 → 출력 1개인 신경망입니다. 은닉층의 W 는 4 × 2, b 는 4칸입니다.
| W | b | ||
|---|---|---|---|
| 뉴런 1 | |||
| 뉴런 2 | |||
| 뉴런 3 | |||
| 뉴런 4 | |||
동그라미 하나가 뉴런 하나, 선 하나가 가중치 하나입니다. 은닉 뉴런을 누르면 그 뉴런으로 들어오는 선 둘, 옆 표의 W 한 줄과 b 한 칸이 같이 강조되고, 아래에 그 뉴런의 셈이 실제 숫자로 나옵니다. 「다음」을 누르면 값이 입력에서 은닉 뉴런 하나씩, 그다음 출력으로 선을 따라 흘러갑니다. 선 위의 숫자는 가중치이고 초록은 양수, 주황은 음수입니다. 회색 동그라미는 꺼진 뉴런(a = 0)입니다. 은닉 뉴런은 ReLU, 출력 뉴런은 시그모이드입니다. 입력 x = (1, 2) 와 가중치, 편향은 지어낸 값입니다.
이 식이 뉴런 하나에서 한 조각씩 만들어지는 모습은 바로 아래 「식이 만들어지는 과정」에서 그림으로 봅니다.
식이 만들어지는 과정: a = f(W × x + b)
층의 식을 뉴런 하나에서 출발해 한 조각씩 만들어 봅니다. 입력은 평면의 점 x 하나입니다. 「다음」을 누를 때마다 식에 조각이 하나 붙고, 평면의 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
| w₁ | w₂ | b | z | a | |
|---|---|---|---|---|---|
| 뉴런 1 | |||||
| 뉴런 2 |
주황 바탕이 이번 단계에 붙은 조각입니다. 배경은 그 단계의 값을 칠합니다. 초록은 0 보다 큰 쪽, 파랑은 0 보다 작은 쪽이고, 0 에서 멀수록 진합니다. ⑤ 단계부터는 켜진 뉴런이 많을수록 진합니다. 회색 줄은 값이 같은 점들이고 옆의 숫자가 그 값입니다. 굵은 선은 값이 0 인 줄, 작은 화살표는 켜지는 쪽, 초록 화살표는 w, 주황 화살표는 x 를 w 방향에 비춘 그림자(②), 검은 화살표는 b 를 더해 굵은 선이 옮겨 간 거리(③)이고 흐린 점선이 옮기기 전 자리입니다. 왼쪽 위의 셈은 단계마다 한 줄씩 쌓이고, 굵은 줄이 지금 단계입니다. 막대는 w₁, w₂ 가 ② 단계에서, b 가 ③ 단계에서 열리고, 만들어 가는 뉴런(뉴런 2)만 바꿉니다. 처음 값에서는 두 뉴런의 가중치가 (1, 1)로 같아 두 선이 나란합니다.
정리하면 뉴런 하나는 평면에 w 방향으로 잰 눈금(곱해 더하기, 곧 내적)을 깔고, 편향으로 0 인 줄을 옮기고, 활성화 함수로 그 줄의 한쪽을 끕니다. 뉴런을 나란히 놓으면 뉴런마다의 가중치가 행렬 W 의 줄이 됩니다. W 의 줄 하나가 뉴런 하나이고, W × x 의 i 번째 칸이 i 번째 뉴런의 곱해 더하기입니다. 은닉층이면 위의 식처럼 a 를 h 라고도 적습니다.
그림의 x = (1.5, 0.5) 는 (1, 1) 과 같은 줄무늬 위에 있습니다. 그래서 6절에서 (1, 1) 을 넣었을 때와 같은 W × x + b = (2, 1) 이 나옵니다. 다음 층은 이 a 를 입력으로 받아 같은 일을 합니다. 6절의 출력 뉴런이 그것입니다: 1×2 + (−2)×1 − 0.5 = −0.5, 시그모이드에 넣으면 0.38 입니다.
5. 왜 활성화 함수가 꼭 있어야 하나
활성화 함수를 빼고 층 둘을 쌓아 보면 이렇게 됩니다.
W₂ × (W₁ × x + b₁) + b₂ = (W₂ × W₁) × x + (W₂ × b₁ + b₂)
W₂ × W₁ 은 행렬 하나이고 W₂ × b₁ + b₂ 는 벡터 하나입니다. 두 층이 층 하나와 똑같아졌습니다. 직선(일차) 변환을 몇 번 이어 붙여도 직선 변환 하나라는 뜻입니다(행렬 곱셈에서 「두 변환을 잇는 것 = 행렬 곱 하나」). 열 겹을 쌓아도 마찬가지라서, 경계는 여전히 직선 하나입니다.
활성화 함수가 들어가면 이 합치기가 안 됩니다. ReLU 뉴런 하나는 자기 직선(z = 0)을 따라 평면을 접습니다. 한쪽은 0 으로 눌러 버리고 다른 쪽은 그대로 둡니다. 다음 층은 이렇게 접힌 조각들을 받아 더하므로, 경계가 여러 직선 조각을 이은 꺾인 선이 됩니다. 은닉 뉴런이 많을수록 꺾을 수 있는 곳이 늘어 더 복잡한 모양을 만듭니다. 아래 7절의 실험에서 보라 점선이 은닉 뉴런 하나하나의 접는 선입니다.
6. 손으로 따라가기: XOR 을 푸는 2-2-1 신경망
입력 2개 → 은닉 뉴런 2개(ReLU) → 출력 1개(시그모이드)짜리 신경망입니다. 파라미터는 사람이 골라 둔 값입니다.
| 층 | 가중치 | 편향 |
|---|---|---|
| 은닉 뉴런 1 | (1, 1) | 0 |
| 은닉 뉴런 2 | (1, 1) | −1 |
| 출력 뉴런 | (1, −2) | −0.5 |
입력 x = (1, 1) 을 넣고 앞으로 한 번 계산합니다(순전파, forward pass).
- 은닉 뉴런 1.
z₁ = 1×1 + 1×1 + 0 = 2,h₁ = ReLU(2) = 2 - 은닉 뉴런 2.
z₂ = 1×1 + 1×1 − 1 = 1,h₂ = ReLU(1) = 1. 실험 ①의 처음 값이 바로 이 뉴런입니다. - 행렬로 한 번에.
W₁ × x + b₁ = (1×1 + 1×1, 1×1 + 1×1) + (0, −1) = (2, 1). 위의 두 줄과 같습니다. - 출력 뉴런.
z = 1×2 + (−2)×1 − 0.5 = −0.5,a = 시그모이드(−0.5) = 0.38 - 답. 0.38 은 0.5 보다 작으므로 클래스 0 입니다. XOR(1, 1) = 0 과 맞습니다.
네 모서리를 모두 넣으면 이렇습니다.
| 입력 x | (z₁, z₂) | (h₁, h₂) | 출력의 z | 확률 a | 답 | XOR |
|---|---|---|---|---|---|---|
| (0, 0) | (0, −1) | (0, 0) | −0.5 | 0.38 | 0 | 0 |
| (1, 0) | (1, 0) | (1, 0) | 0.5 | 0.62 | 1 | 1 |
| (0, 1) | (1, 0) | (1, 0) | 0.5 | 0.62 | 1 | 1 |
| (1, 1) | (2, 1) | (2, 1) | −0.5 | 0.38 | 0 | 0 |
뜻을 풀면 이렇습니다. h₁ 은 「켜진 입력이 몇 개인가」, h₂ 는 「둘 다 켜졌을 때만 켜지는 뉴런」입니다. 출력은 h₁ 에서 h₂ 의 2배를 뺍니다. 하나만 켜지면 1 이 남고, 둘 다 켜지면 2 − 2 = 0 이 됩니다. 직선 하나로는 못 하던 일을 은닉 뉴런 둘이 나눠서 합니다.
7. 작은 신경망을 직접 학습하기
6절의 파라미터는 사람이 골랐습니다. 실제로는 처음에 아무 값(작은 난수)에서 출발해 자료를 보며 고쳐 갑니다. 이것이 학습입니다.
- 틀린 정도(손실)를 잽니다. 클래스 1 점에 확률 a 를 냈다면
−log(a), 클래스 0 점이면−log(1 − a)입니다. 맞는 쪽으로 확신할수록 0 에 가깝고, 틀린 쪽으로 확신할수록 커집니다. 모든 점의 평균이 손실입니다. 모든 점에 0.5 를 내면 손실은 약 0.693 입니다. - 파라미터마다 기울기를 구합니다. 「이 가중치를 조금 올리면 손실이 얼마나 오르내리나」입니다. 출력 쪽에서 입력 쪽으로 거꾸로 거슬러 가며 한 번에 구하는 방법이 역전파입니다.
- 기울기의 반대쪽으로 조금 고칩니다.
w ← w − 학습률 × 기울기. 모든 가중치와 편향에 똑같이 합니다. 경사 하강법입니다. 이 실험의 학습률(learning rate, 한 번에 고치는 크기)은 0.5 입니다.
이 세 단계를 한 번 하는 것이 한 스텝(step)입니다. 스텝을 되풀이하면 손실이 내려가고 경계가 자료에 맞게 휩니다.
작게 줄인 본보기입니다. 입력 2개 → 은닉층 하나(뉴런 1~8개) → 출력 1개인 신경망을 이 브라우저 안에서 학습합니다. 순전파, 역전파, 경사 하강을 이 쪽의 스크립트에 직접 적었습니다. 진짜 신경망은 입력, 층, 뉴런이 훨씬 많고 자료를 조금씩 나눠 가며 학습하지만, 한 스텝의 원리는 같습니다. 보라 점선은 은닉 뉴런 하나하나의 z = 0 인 선이고, 작은 화살표 쪽이 z > 0 인 쪽(ReLU 라면 켜지는 쪽)입니다. 「학습」은 다시 누르면 멈추고, 3000스텝에서 저절로 멈춥니다. 「다시 시작」은 처음 값을 정하는 시드(seed)를 바꿉니다.
해 볼 것. ① 처음 값(XOR 모양, ReLU, 은닉 뉴런 4개, 시드 1)에서 「학습」을 누르면 64스텝에 100점을 모두 맞힙니다. 손실은 0.945 에서 시작해 3000스텝에 0.001 까지 내려갑니다. ② 은닉 뉴런을 1개로 줄이면 3000스텝을 다 돌아도 73점에서 멈춥니다. 보라 선이 하나뿐이라 경계도 직선 하나입니다. ③ 은닉 뉴런 2개로 하면 시드 1 은 550스텝이 되기 전에 100점을 맞힙니다. 「다시 시작」으로 시드 2 가 되면 77점에서 멈춥니다. 같은 모양의 신경망도 처음 값에 따라 다른 곳에 갇힙니다. ④ 활성화 함수를 「없음(직선)」으로 바꾸면 은닉 뉴런을 8개로 늘려도 53점에서 멈춥니다. 보라 선은 8개인데 경계는 직선 하나입니다. ⑤ 「가운데와 둘레」는 은닉 뉴런 4개(ReLU)로 60스텝 안에 100점이 되고, 경계가 보라 선 넷을 따라 꺾인 모양이 됩니다. 「두 초승달」은 4개로는 93점에 머물고, 8개면 524스텝에 100점이 됩니다.
8. 파라미터 수 세는 법
층 하나의 파라미터는 「뉴런 수 × 입력 수」개의 가중치와 「뉴런 수」개의 편향입니다. 묶어 적으면 이렇습니다.
층 하나의 파라미터 = (입력 수 + 1) × 뉴런 수신경망의 파라미터 = 층마다 센 것의 합
| 신경망 | 셈 | 파라미터 |
|---|---|---|
| 2 → 2 → 1 (6절) | (2 + 1) × 2 + (2 + 1) × 1 | 9 |
| 2 → 4 → 1 (실험 ③의 처음 값) | (2 + 1) × 4 + (4 + 1) × 1 | 17 |
| 2 → 8 → 1 | (2 + 1) × 8 + (8 + 1) × 1 | 33 |
| 784 → 128 → 10 (28×28 흑백 그림을 숫자 10개 가운데 하나로) | (784 + 1) × 128 + (128 + 1) × 10 | 101,770 |
입력이 많아지면 첫 층의 파라미터가 빠르게 늘어납니다. 그림처럼 입력이 큰 자료에 다른 모양의 층(합성곱 층)을 쓰는 까닭 가운데 하나입니다.
9. 깊이와 너비
너비는 한 층의 뉴런 수, 깊이는 층의 수입니다(보통 계산을 하는 은닉층과 출력 층을 셉니다). 은닉층이 여러 겹인 신경망을 깊은 신경망이라 부르고, 이것을 학습하는 일을 딥러닝이라 부릅니다.
- 넓히면. 은닉층 하나라도 뉴런이 넉넉하면 어떤 매끈한 모양이든 원하는 만큼 가깝게 흉내 낼 수 있다는 것이 증명되어 있습니다(보편 근사 정리). 다만 「그런 파라미터가 있다」는 뜻이지, 학습으로 그 값을 꼭 찾는다거나 뉴런 수가 적당하다는 뜻은 아닙니다.
- 깊게 쌓으면. 앞 층이 만든 조각을 뒤 층이 다시 접고 엮습니다. 그래서 같은 수의 뉴런으로도 층을 쌓으면 꺾이는 곳(직선 조각)의 수가 층 수에 따라 매우 빠르게 늘 수 있습니다. 실제로 쓰는 신경망을 넓게 한 층으로 두지 않고 깊게 쌓는 까닭 가운데 하나입니다.
- 크다고 늘 좋지는 않습니다. 파라미터가 자료에 비해 너무 많으면 학습 자료를 외워 버려 새 자료를 못 맞힐 수 있습니다(과적합). 크기는 자료의 양과 일에 맞춰 해 보면서 고릅니다.
같은 은닉 뉴런 4개를 한 층에 모두 둘 때와 두 층에 2개씩 나눠 쌓을 때를 비교해 봅니다. 입력은 숫자 x 하나이고, 그래프는 x 에 따라 신경망이 내는 값입니다.
가로는 입력 x(−3 ~ 3), 세로는 신경망이 내는 값입니다. 두 신경망 모두 은닉 뉴런은 ReLU 4개이고, 출력 뉴런은 활성화 함수 없이 곱해 더하기만 합니다. 주황 점이 꺾인 곳입니다. 스크립트가 그래프를 0.001 간격으로 따라가며 기울기가 바뀌는 곳을 셉니다. 단추로 고른 쪽은 테두리로 묶이고 제목이 굵어지며, 아래 글에 그 신경망의 꺾인 곳이 나옵니다. 가중치와 편향은 아래 표와 같습니다. 괄호 하나가 뉴런 하나의 가중치입니다.
| 신경망 | 층 | 가중치 | 편향 |
|---|---|---|---|
| 한 층에 뉴런 4개 | 은닉층(뉴런 4개) | 1, 1, 1, 1 | 1.5, 0.5, −0.5, −1.5 |
| 출력 | 1, −2, 2, −2 | 0 | |
| 두 층에 뉴런 2개씩 | 은닉층 1(뉴런 2개) | 0.5, 0.5 | 1, 0 |
| 은닉층 2(뉴런 2개) | (1, −2), (−1, 2) | −0.5, 0.75 | |
| 출력 | 1, 1 | 0 |
이 값은 차이를 보여 주려고 손으로 고른 것이고, 늘 이렇게 되는 것은 아닙니다. 층을 쌓아도 가중치에 따라 꺾인 곳이 한 층보다 적을 수 있습니다. 위에서 「매우 빠르게 늘 수 있다」고 적은 것도 그럴 수 있다는 뜻입니다.
10. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
뉴런 하나의 경계 = w₁×x₁ + w₂×x₂ + b = 0 | 입력이 둘이면 직선, 셋이면 평면. 활성화 함수를 바꿔도 경계는 곧다 |
층 = f(W × x + b) | 층 하나는 행렬 곱셈 한 번, 편향 더하기, 칸마다 활성화 함수 |
| 활성화 함수가 없으면 몇 층이든 한 층과 같다 | W₂(W₁x + b₁) + b₂ = (W₂W₁)x + (W₂b₁ + b₂) |
파라미터 = 층마다 (입력 수 + 1) × 뉴런 수 의 합 | 2 → 4 → 1 은 17개 |
| 같은 신경망도 처음 값에 따라 다른 답에 닿는다 | 손실의 땅에 골짜기가 여럿이라 출발점에 따라 다른 골짜기로 간다 |
어디에 쓰나
- 표 자료로 고르기. 이 쪽과 같은 꼴(층마다 모든 입력과 모든 뉴런이 이어진 신경망)은 표에 적힌 숫자로 「예 / 아니요」나 여러 종류 가운데 하나를 고르는 데 씁니다. 출력 뉴런을 늘리면 여러 종류를, 시그모이드를 빼면 숫자 하나(값 예측)를 냅니다.
- 그림. 그림은 입력이 아주 많고 이웃한 픽셀끼리 뜻이 있습니다. 그래서 작은 창을 밀며 같은 가중치를 다시 쓰는 합성곱 층을 쌓습니다(CNN). 합성곱에서 봅니다.
- 글. 글을 다루는 많은 모델은 트랜스포머로 만듭니다. 트랜스포머는 낱말끼리 서로를 보게 하는 어텐션 층과, 이 쪽과 같은 2층짜리 신경망을 번갈아 쌓은 것입니다. 트랜스포머에서 봅니다.
큰 그림으로 보면 모두 같은 재료입니다. 곱해 더하고, 휘고, 층을 쌓습니다. 다른 것은 층을 잇는 모양뿐이고, 학습하는 방법(손실 → 역전파 → 경사 하강)은 같습니다.
# PyTorch 로 적은 실험 ③의 신경망(2 → 4 → 1, 파라미터 17개)
import torch.nn as nn
model = nn.Sequential(
nn.Linear(2, 4), # 은닉층: W(4×2) × x + b(4)
nn.ReLU(),
nn.Linear(4, 1), # 출력 층
nn.Sigmoid(),
)
자주 묻는 것
신경망은 뇌를 흉내 낸 건가요?
이름은 뇌의 신경 세포에서 왔지만 느슨한 비유일 뿐입니다. 인공 뉴런은 곱하고 더하고 휘는 계산 하나이고, 실제 신경 세포는 훨씬 복잡하게 움직입니다.
활성화 함수는 왜 꼭 있어야 하나요?
없으면 층을 몇 겹 쌓아도 행렬 하나를 곱하는 것과 같아서 경계가 직선 하나뿐입니다. 활성화 함수가 층마다 평면을 꺾어 주기 때문에 휜 경계를 만들 수 있습니다.
왜 ReLU 를 많이 쓰나요?
계산이 싸고, 0 보다 큰 쪽의 기울기가 늘 1 이라 층이 깊어도 학습 신호가 줄지 않고 전해집니다. 시그모이드는 기울기가 많아야 0.25 라 층을 지날 때마다 신호가 작아집니다.
은닉층과 뉴런은 몇 개로 하나요?
정해진 답은 없습니다. 작게 시작해서 학습 자료도 잘 못 맞히면 늘리고, 학습 자료만 잘 맞히고 새 자료는 못 맞히면(과적합) 줄이거나 자료를 늘립니다.
딥러닝의 「딥」은 무슨 뜻인가요?
은닉층이 여러 겹이라는 뜻입니다. 층이 깊다(deep)고 해서 딥러닝입니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 뉴런 | 인공 뉴런, 유닛, 노드(neuron, unit, node) |
| 가중치 | 가중치(weight) |
| 따로 더하는 숫자 b | 편향, 바이어스(bias) |
| 곱해 더한 값 z | 가중합(weighted sum), 활성화 전 값(pre-activation) |
| 값을 휘게 하는 함수 | 활성화 함수(activation function), 비선형 함수(nonlinearity) |
| 뉴런이 내는 값 a | 활성값(activation) |
| 입력과 출력 사이의 층 | 은닉층(hidden layer) |
| 층을 쌓은 이 쪽의 신경망 | 다층 퍼셉트론(multilayer perceptron, MLP), 완전 연결 신경망(fully connected network), 순방향 신경망(feedforward network) |
| 앞으로 계산 | 순전파(forward pass) |
| 틀린 정도 | 손실(loss). 여기서 쓴 것은 이진 교차 엔트로피(binary cross-entropy) |
| 두 답이 갈리는 선 | 결정 경계(decision boundary) |
| 직선 하나로 가를 수 있는 | 선형 분리 가능(linearly separable) |
| 둘 중 하나만 참이면 참 | 배타적 논리합(XOR) |
| 파라미터 | 매개변수(parameter). 가중치와 편향을 합쳐 부른다 |
| 너비 / 깊이 | width / depth |
| 처음 값을 정하는 수, 처음 값 정하기 | 시드(seed), 초기화(initialization) |
| 한 번에 고치는 크기 | 학습률(learning rate) |
| 기울기가 층을 지나며 작아짐 | 기울기 소실(vanishing gradient) |
| 학습 자료를 외워 버림 | 과적합(overfitting) |
| 어떤 모양이든 흉내 낼 수 있다는 정리 | 보편 근사 정리(universal approximation theorem) |
출처
- McCulloch, Pitts (1943). A logical calculus of the ideas immanent in nervous activity. 처음 나온 인공 뉴런.
- Rosenblatt (1958). The perceptron: A probabilistic model for information storage and organization in the brain.
- Minsky, Papert (1969). Perceptrons. MIT Press. 층 하나짜리 퍼셉트론의 한계(XOR 등).
- Rumelhart, Hinton, Williams (1986). Learning representations by back-propagating errors. Nature.
- Cybenko (1989). Approximation by superpositions of a sigmoidal function. Hornik (1991). Approximation capabilities of multilayer feedforward networks. 보편 근사 정리.
- Nair, Hinton (2010). Rectified Linear Units Improve Restricted Boltzmann Machines. Glorot, Bordes, Bengio (2011). Deep Sparse Rectifier Neural Networks. ReLU.
- Montúfar, Pascanu, Cho, Bengio (2014). On the Number of Linear Regions of Deep Neural Networks. 깊이에 따라 꺾이는 곳이 느는 것.
- Goodfellow, Bengio, Courville. Deep Learning, 6장 Deep Feedforward Networks.
- Vaswani 외 (2017). Attention Is All You Need. 트랜스포머.
- PyTorch torch.nn.Linear 문서.