그로킹: 외운 뒤에 뒤늦게 깨우치기
훈련 자료는 금방 다 맞히는데 처음 보는 문제는 한참 동안 못 맞히다가, 훨씬 뒤에야 맞히기 시작합니다. 시계 셈을 원 위에서 한 걸음씩 돌려 보며 모델이 찾은 풀이를 봅니다.
한 줄 답. 그로킹(grokking)은 작은 알고리즘 자료에서 신경망이 훈련 자료에 과적합한 한참 뒤에 시험 정확도가 우연 수준에서 완벽한 일반화로 넘어가는 현상입니다. 나머지 셈을 배운 작은 트랜스포머를 뜯어 보니, 수를 원 위의 각도로 두고 더하기를 원 위의 회전으로 풀고 있었습니다. 겉으로는 갑자기 오르지만, 안에서는 그 풀이가 서서히 자라고 외운 부분이 지워지면서 드러납니다.
1. 그로킹이란: 훈련은 금방, 시험은 한참 뒤에
보통의 과적합(overfitting, 훈련 자료만 맞히고 처음 보는 자료는 못 맞히는 상태) 이야기는 이렇습니다. 훈련 정확도는 오르는데 시험 정확도가 따라오지 않으면 모델이 훈련 자료를 외우고 있는 것이니, 멈추거나 규제를 더합니다.
Power 외(2022)는 작은 알고리즘 자료에서 다른 일을 봤습니다. 훈련 자료에 과적합한 한참 뒤에, 시험 정확도가 우연 수준에서 완벽한 일반화(generalization, 처음 보는 자료도 맞히는 것)로 넘어갔습니다. 논문 제목의 말로 「과적합 너머의 일반화」, 이것을 그로킹이라고 부릅니다.
논문의 관찰이 둘 더 있습니다. 훈련 자료가 적을수록 일반화까지 더 많은 최적화가 들었습니다. 그리고 모든 과제가 그로킹하지는 않았습니다. 일부 연산은 끝내 일반화하지 못했습니다.
2. 과제: 나머지 셈(모듈러 덧셈)
Power 외가 쓴 과제는 p = 97 의 나머지 셈(덧셈, 뺄셈, 나눗셈 등)과 순열 연산이었고, 모델은 디코더만 쓰는 2층 트랜스포머(너비 128, 헤드 4)를 AdamW 로 학습한 것이었습니다. 이 쪽은 그 가운데 덧셈 하나만 봅니다.
(a + b) mod p = a + b 를 p 로 나눈 나머지
a,b: 0 부터 p − 1 까지의 정수.p: 수의 가짓수. Power 외는 97 을 썼습니다.mod p: 모듈러 연산(modular arithmetic). p 로 나눈 나머지만 남긴다는 뜻입니다.
시계가 바로 이것입니다. 12시간 시계에서 9시에 5시간이 지나면 14시가 아니라 2시입니다. 12 를 넘은 만큼이 한 바퀴로 빠집니다(시계는 0 대신 12 라고 적지만 여기서는 0 으로 씁니다).
- (9 + 5) mod 12 = 14 − 12 = 2. 12 를 넘어서 한 바퀴를 뺍니다.
- (3 + 4) mod 12 = 7. 12 를 넘지 않으면 보통 더하기와 같습니다.
- (5 + 4) mod 7 = 9 − 7 = 2.
- (96 + 96) mod 97 = 192 − 97 = 95.
a 와 b 가 p 가지씩이니 문제는 p × p 개뿐입니다(p = 97 이면 9409 개). 그 표의 일부만 훈련에 보여 주고, 나머지 칸을 맞히는지로 일반화를 잽니다. 칸마다 답을 외우기만 해서는 보지 못한 칸에 답할 길이 없습니다. 보지 못한 칸을 맞히려면 셈의 규칙을 찾아야 합니다.
3. 모델이 찾은 풀이: 더하기를 원 위의 회전으로
Nanda 외(2023)는 나머지 덧셈을 배운 작은 트랜스포머를 거꾸로 풀어 봤습니다. 이런 일을 기계적 해석 가능성(mechanistic interpretability)이라고 부릅니다. 학습된 가중치를 뜯어 모델이 실제로 하는 셈을 사람이 읽을 수 있게 밝히는 일입니다. 모델은 이산 푸리에 변환(discrete Fourier transform, DFT)과 삼각함수 항등식을 써서 덧셈을 원 위의 회전으로 바꾸고 있었습니다. 식으로 적으면 이렇습니다.
θ(x) = 2π · x ÷ p 자리 x 의 각도(360° × x ÷ p)
θ(a) + θ(b) = θ(a + b) 돌기를 이어 붙이면 각도가 더해진다
cos(θa + θb) = cos θa · cos θb − sin θa · sin θb 삼각함수의 덧셈정리
sin(θa + θb) = sin θa · cos θb + cos θa · sin θb
θ 와 θ + 2π 는 같은 자리 한 바퀴(p 칸)는 저절로 빠진다 → (a + b) mod p
x: 0 부터 p − 1 까지의 수 하나. 원 위의 자리 하나에 놓입니다.θ(x),θa,θb: 각도.θa는θ(a)를 줄여 쓴 것입니다.2π: 한 바퀴(360°)를 라디안으로 적은 것.cos θ,sin θ: 반지름 1 인 원에서 각도 θ 인 점의 가로 자리와 세로 자리.p: 수의 가짓수. 원을 p 칸으로 나눕니다.
초록 화살표는 a 만큼 돌기, 파랑 화살표는 b 만큼 더 돌기, 주황 점은 닿은 자리입니다. 지난 걸음의 화살표는 흐리게 남깁니다. 0 은 오른쪽이고, 시계와 달리 시계 반대 방향(수학에서 각도를 재는 방향)으로 돕니다. 학습한 모델의 값이 아니라 위 식을 그대로 셈한 그림입니다.
해 볼 것. ① 처음 그대로(p = 12, a = 9, b = 5) 「다음」을 네 번 누르면: 270° + 150° = 420° 는 한 바퀴에 60° 를 더한 것이라 자리 2. 마지막 걸음에서 cos = 0 × (−0.87) − (−1) × 0.5 ≈ 0.5, sin = (−1) × (−0.87) + 0 × 0.5 ≈ 0.87 이고, 이 점도 60°, 자리 2 입니다. ② p = 97, a = 96, b = 96 이면 356.3° + 356.3° = 712.6° 가 한 바퀴에 352.6° 를 더한 것이라 자리 95 입니다. ③ p = 7, a = 5, b = 4 이면 462.9° 가 한 바퀴에 102.9° 를 더한 것이라 자리 2 입니다.
왜 cos·sin 인가. 덧셈정리는 곱하기와 더하기뿐입니다. 각도 θ 를 직접 들고 있지 않아도, cos θ 와 sin θ 두 값만 있으면 돌기를 셈할 수 있습니다. 그리고 θ 대신 k·θ 를 써도 셈은 같습니다. p 가 97 처럼 소수면 k 가 1 부터 p − 1 가운데 무엇이든 p 개의 자리가 모두 다른 각도에 놓이기 때문입니다. 이 k 를 주파수(frequency)라고 부릅니다. 원을 몇 번 감는가를 뜻하고, 다음 절의 실험에 나옵니다.
4. 뉴런 둘을 견주면: 원, 타원, 리사주 도형
어떤 뉴런의 값이 입력 x 에 따라 cos 물결처럼 오르내린다고 해 봅시다. 뉴런 둘의 값을 가로와 세로로 놓고 x 마다 점을 하나씩 찍은 그림이 산점도(scatter plot)입니다. 산점도의 모양은 두 물결이 어떤 사이인가로 정해집니다.
뉴런 1 = cos(2π · k₁ · x ÷ p)
뉴런 2 = sin(2π · k₂ · x ÷ p + φ)
x: 입력 수, 0 부터 96 까지. 실험은 p = 97 입니다.k₁,k₂: 주파수. x 가 0 에서 96 까지 갈 동안 물결이 오르내리는 횟수입니다.φ: 위상(phase). 물결을 옆으로 민 정도이고 도(°)로 적습니다. φ = 90° 이면 sin 이 cos 가 됩니다.
| 두 뉴런 | 산점도 | 왜 |
|---|---|---|
| k₁ = k₂, φ = 0° 또는 180° | 원 | 같은 각도의 cos 와 sin 이라 cos² + sin² = 1 |
| k₁ = k₂, φ = 90° | 직선(대각선) | sin(θ + 90°) = cos θ 라 두 값이 늘 같다 |
| k₁ = k₂, 그 밖의 φ | 타원 | 같은 각도를 보지만 어긋나게 본다 |
| k₁ ≠ k₂ | 리사주 도형 | 두 물결이 다른 빠르기로 돈다. 주파수가 크고 많이 다르면 뒤죽박죽으로 보인다 |
이 그림은 실제 모델에서 잰 값이 아니라 위 식으로 그린 것입니다. 왼쪽은 x 마다 두 뉴런의 값, 오른쪽은 그 둘을 가로·세로로 놓은 산점도입니다. 회색 점선은 반지름 1 인 원입니다.
해 볼 것. ① 처음(k₁ = k₂ = 1, φ = 0°)은 원입니다. ② φ 를 45° 로 두면 대각선 쪽으로 눌린 타원, 90° 면 대각선 한 줄, 180° 면 다시 원입니다. ③ k₂ = 2, φ = 90° 로 두면 포물선이 나옵니다. 뉴런 2 = cos 2θ = 2 cos²θ − 1 = 2 × (뉴런 1)² − 1 이라서입니다. ④ k₁ = 3, k₂ = 7 이면 뒤죽박죽입니다.
거꾸로 읽으면 이렇습니다. 진짜 모델의 뉴런을 둘씩 견줘 산점도에 원이 보이면, 두 뉴런이 같은 주파수의 cos·sin 짝처럼 움직인다는 단서입니다. 뒤죽박죽이면 주파수가 다른 둘이거나, 이런 구조가 아닌 것입니다. 이것은 위 식에서 끌어낸 읽는 법이고, 이 쪽이 실제 모델을 잰 것은 아닙니다.
5. 세 단계: 암기 → 회로 형성 → 정리
Nanda 외는 학습을 세 단계로 나눴습니다. 1절 그림의 아래 띠가 이것입니다.
- 암기(memorization). 훈련 칸을 외워 훈련 정확도가 먼저 100% 가 됩니다. 보지 못한 칸은 맞히지 못합니다.
- 회로 형성(circuit formation). 3절의 원 위 회전 풀이가 가중치 안에서 서서히 커집니다. 회로(circuit)는 여러 가중치가 함께 하나의 셈을 하는 덩어리를 말합니다. 외운 부분이 아직 남아 있어 겉의 시험 정확도는 낮게 머물 수 있습니다.
- 정리(cleanup). 외운 부분이 지워집니다.
논문의 요점은 그로킹이 갑작스러운 전환이 아니라는 것입니다. 구조 있는 풀이가 가중치 안에서 서서히 커지고, 그 뒤 외운 부분이 지워진 결과입니다. 시험 정확도 곡선만 보면 어느 순간 뛰는 것 같지만(1절 그림), 안에서는 둘째 단계 내내 풀이가 자라고 있었다는 뜻입니다.
6. 가중치 감쇠와 조기 종료
가중치 감쇠(weight decay)는 스텝마다 가중치를 조금씩 0 쪽으로 줄이는 규제입니다. Power 외는 여러 방법을 견줘 보고, 가중치 감쇠가 자료 효율(적은 훈련 자료로 일반화에 닿기)에 가장 큰 효과를 냈다고 적었습니다.
왜 도움이 되는지에 대한 이 쪽의 짐작입니다(추측, 출처가 이렇게 말하지는 않습니다). 가중치 감쇠는 손실이 붙들지 않는 가중치를 계속 줄입니다. 훈련 칸을 다 맞히는 길이 둘, 칸마다 외우기와 원 위 회전이 있다면, 더 작은 가중치로 되는 쪽이 오래 남을 것입니다. 정리 단계에서 외운 부분이 지워지는 것과 어긋나지 않는 짐작입니다.
조기 종료(early stopping)는 검증 성능이 참을성(patience)만큼 나아지지 않으면 학습을 멈춥니다. 그로킹에서는 훈련 정확도가 100% 가 된 뒤 시험 정확도가 오래 우연 수준에 머뭅니다. 그 사이에 참을성이 다 떨어지면 오르기 전에 멈춥니다. 곧 일찍 멈추면 그로킹을 못 봅니다. 이것은 실험으로 잰 것이 아니라 두 규칙을 맞대어 식에서 끌어낸 말입니다(1절 그림의 주황 점선).
반대로, 오래 돌린다고 반드시 오르지도 않습니다. Power 외의 과제 가운데 일부 연산은 끝내 일반화하지 못했습니다. 학습을 한 스텝, 한 에폭씩 도는 고리는 학습 루프 쪽에 있습니다.
7. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 조기 종료 | 계산을 아끼고, 과적합 전의 가중치를 남긴다 | 시험 정확도가 오래 평평하다가 늦게 오르는 자료에서는 오르기 전에 멈출 수 있다(6절, 끌어낸 말) | 보통의 학습. 늦은 일반화를 기대하지 않을 때 |
| 훈련 정확도 100% 뒤에도 오래 돌리기 | 늦은 일반화를 볼 수 있다 | 계산이 많이 든다. 자료가 적을수록 더 든다. 끝내 오르지 않을 수도 있다 | 나머지 셈처럼 규칙이 있는 작은 과제를 연구할 때 |
| 가중치 감쇠 더하기 | Power 외의 실험에서 자료 효율에 가장 큰 효과를 냈다 | 세기를 하이퍼파라미터로 골라야 한다 | 적은 자료로 일반화에 닿고 싶을 때 |
| 훈련 자료 늘리기 | 자료가 적을수록 일반화에 더 많은 최적화가 드니, 늘리면 덜 든다 | 자료를 더 모아야 한다 | 자료를 더 만들 수 있을 때(나머지 셈은 p × p 칸 표라 쉽다) |
어디에 쓰나
- 학습 곡선 읽기. 「훈련 100%, 시험 낮음」을 곧 끝이라고 단정하지 않습니다. 작은 알고리즘 자료에서는 그 뒤에 오를 수 있었습니다.
- 모델 안 들여다보기. 겉의 정확도가 평평한 동안에도 안에서는 풀이가 자랄 수 있다는 것이 Nanda 외의 요점입니다. 정확도 말고 안의 구조를 재야 보입니다.
- 산점도 읽기. 뉴런 둘의 산점도에서 원이 보이면 같은 주파수의 cos·sin 짝일 수 있다는 단서입니다(4절).
자주 묻는 것
그로킹은 과적합의 반대인가요?
아닙니다. 그로킹은 과적합이 먼저 일어난 뒤의 일입니다. 훈련 자료에 과적합한 한참 뒤에 시험 정확도가 우연 수준에서 완벽한 일반화로 넘어갑니다. 과적합을 거쳐서 일반화에 닿는 것입니다.
정말 어느 순간 갑자기 깨우치나요?
시험 정확도 곡선만 보면 갑자기 뛰는 것처럼 보입니다. 하지만 Nanda 외(2023)는 구조 있는 풀이가 가중치 안에서 서서히 커지고, 그 뒤 외운 부분이 지워진 결과라고 설명합니다. 겉은 갑자기, 안은 천천히입니다.
왜 하필 원인가요?
나머지 셈은 p 를 넘으면 처음으로 돌아옵니다. 원 위에서는 한 바퀴 돌면 제자리라 이 돌아옴이 저절로 생깁니다. 그리고 삼각함수의 덧셈정리는 곱하기와 더하기뿐이라, 각도를 몰라도 cos·sin 값만으로 돌기를 셈할 수 있습니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 외운 한참 뒤에 일반화하기 | 그로킹(grokking) |
| 훈련 자료만 맞히기 · 처음 보는 자료도 맞히기 | 과적합(overfitting) · 일반화(generalization) |
| 나머지 셈, 시계 셈 | 모듈러 덧셈(modular addition), 모듈러 연산(modular arithmetic) |
| 원 위에서 돌기 | 회전(rotation) |
| cos·sin 으로 각도의 합 만들기 | 삼각함수의 덧셈정리(angle addition formulas), 삼각함수 항등식(trigonometric identities) |
| 값을 주파수별 물결로 나누기 | 이산 푸리에 변환(discrete Fourier transform, DFT) |
| 물결이 오르내리는 횟수 · 옆으로 민 정도 | 주파수(frequency) · 위상(phase) |
| 두 값을 가로·세로로 찍은 그림 · 꼬인 무늬 | 산점도(scatter plot) · 리사주 도형(Lissajous figure) |
| 모델 속 셈을 사람이 읽게 밝히기 | 기계적 해석 가능성(mechanistic interpretability) |
| 세 단계 | 암기(memorization) · 회로 형성(circuit formation) · 정리(cleanup) |
| 큰 가중치 줄이기 · 일찍 멈추기 | 가중치 감쇠(weight decay) · 조기 종료(early stopping) |
| 훈련·시험 정확도 | 훈련 정확도(training accuracy) · 테스트 정확도(test accuracy) |
출처
- Power 외, Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets, 2022(작은 알고리즘 자료에서 과적합 한참 뒤에 우연 수준에서 완벽한 일반화로 넘어감, 자료가 적을수록 더 많은 최적화, 3.3절 가중치 감쇠의 자료 효율, p = 97 의 나머지 셈과 순열 연산, 2층 디코더 트랜스포머·AdamW, 끝내 일반화하지 못한 연산).
- Nanda 외, Progress measures for grokking via mechanistic interpretability, 2023(이산 푸리에 변환과 삼각함수 항등식으로 덧셈을 원 위의 회전으로, 암기·회로 형성·정리의 세 단계, 서서히 커지는 풀이와 외운 부분의 제거).