데이터 증강: 가진 자료를 바꿔 늘리기
고양이 사진 100장으로 모델을 가르치면, 모델은 고양이보다 그 100장을 외우기 쉽습니다. 같은 사진을 조금 뒤집고, 옮기고, 밝게 해서 보여 주면 외울 수 없게 됩니다. 아래 격자 그림에 변형 단추를 눌러 보고, 어떤 변형이 정답을 바꾸는지 찾아보세요.
한 줄 답. 데이터 증강은 가진 훈련 자료를 정답이 바뀌지 않는 만큼만 바꿔 연습 문제를 늘리는 일입니다. 같은 그림이 학습할 때마다 조금씩 다르게 나오니 모델이 그림 하나하나를 외우기 어렵고, 옮겨지거나 밝기가 달라도 변하지 않는 특징을 배웁니다. 그래서 과적합이 줄어듭니다. 증강은 훈련 자료에만 쓰고, 검증·시험 자료는 그대로 둡니다.
그림 셋은 지어낸 16 × 16 격자입니다. 칸 하나의 값은 0(빈칸) ~ 1(가장 진함)입니다. 단추는 늘 원래 그림에 변형 하나를 합니다. 실제 학습에서는 옮기는 칸 수, 돌리는 각도, 가리는 자리를 부를 때마다 무작위로 고르지만, 여기서는 비교하기 쉽게 고정했습니다(오른쪽 2칸·아래 1칸, 15°, 5 × 5 네모).
해 볼 것. ① 집을 「수평 뒤집기」하면 창과 문이 자리를 바꿔 16칸이 바뀌지만 정답은 그대로 집입니다. ② 오른쪽 화살표를 「수평 뒤집기」하면 28칸만 바뀌는데 정답이 왼쪽 화살표로 바뀝니다. 집을 「무작위 자르기」하면 84칸이 바뀌어도 정답은 그대로입니다. 바뀐 칸 수가 아니라 사람이 같은 정답을 말할지가 기준입니다. ③ 숫자 6 을 「거꾸로 180°」 하면 54칸이 바뀌고 9 처럼 보입니다. 「수평 뒤집기」 하면 어느 숫자도 아닌 거울 글자가 됩니다. ④ 「밝게」는 잉크가 있는 칸만 바뀝니다(집 76칸). 모양은 그대로라 어느 그림이든 정답이 바뀌지 않습니다.
1. 데이터 증강이란, 왜 과적합을 줄이나
데이터 증강은 훈련 자료 하나를 정답이 그대로인 채로 조금 바꿔 새 훈련 자료처럼 쓰는 일입니다. 고양이 사진을 좌우로 뒤집어도 고양이이고, 조금 밝게 해도 고양이입니다. 사진 한 장이 여러 장의 연습 문제가 됩니다.
과적합은 모델이 훈련 자료의 우연한 생김새(이 사진에서는 고양이가 왼쪽에 있었다, 이 사진은 어두웠다)까지 외워서 새 자료에서 틀리는 일입니다. 증강을 하면 같은 사진이 학습할 때마다 다른 자리, 다른 밝기로 나옵니다. 칸 하나하나를 외워서는 맞힐 수 없으니 모델은 자리와 밝기가 달라도 변하지 않는 것, 곧 모양을 보게 됩니다. 「이 정도 바뀌어도 정답은 같다」는 사람의 지식을 자료로 넣어 주는 셈입니다.
증강은 새 정보를 만들지 않습니다. 가진 사진을 바꿀 뿐이라, 한 번도 찍지 않은 각도나 품종은 만들 수 없습니다. 그래서 진짜 자료를 더 모으는 일을 대신하지는 못하고, 그 일을 거들어 줍니다.
2. 그림의 기본 변형
| 변형 | 하는 일 | 정답이 바뀌거나 망가지는 경우 |
|---|---|---|
| 수평 뒤집기(horizontal flip) | 거울에 비춘 것처럼 왼쪽과 오른쪽을 바꾼다 | 글자, 숫자, 방향(화살표, 왼쪽·오른쪽) |
| 무작위 자르기(random crop) | 조금 옮기거나 일부를 잘라 낸 뒤 원래 크기로 맞춘다 | 너무 크게 자르면 물체가 화면 밖으로 나간다 |
| 회전(rotation) | 작은 각도로 돌린다 | 크게 돌리면 6 이 9 가 된다. 모서리가 빈다 |
| 색 변형(color jitter) | 밝기, 대비, 채도, 색조를 조금 바꾼다 | 색이 정답인 일(익은 과일 고르기, 신호등의 불빛) |
| cutout | 네모 하나를 지운다 | 정답을 가르는 작은 부분을 통째로 가릴 수 있다 |
실제로는 이 변형들을 이어 붙이고, 변형마다 세기를 부를 때마다 무작위로 뽑습니다. 학습은 같은 자료를 여러 바퀴 도는데, 바퀴마다 같은 사진이 다른 모습으로 나옵니다. PyTorch 의 torchvision 으로 적으면 이렇습니다.
from torchvision.transforms import v2
train_transform = v2.Compose([
v2.RandomResizedCrop(224), # 무작위로 잘라 224 × 224 로 맞춘다
v2.RandomHorizontalFlip(), # 반의 확률로 수평 뒤집기
v2.RandomRotation(15), # −15° ~ 15° 사이에서 회전
v2.ColorJitter(brightness=0.3), # 밝기를 조금 바꾸기
])
eval_transform = v2.Compose([v2.Resize(256), v2.CenterCrop(224)]) # 검증·시험: 무작위 없이 늘 같게
3. 정답이 바뀌는 변형은 쓰지 않는다
변형을 고르는 물음은 하나입니다. 바꾼 그림을 사람에게 보여 줘도 같은 정답을 말할까? 아니라면 그 변형은 틀린 답을 가르칩니다.
- 숫자 6 을 거꾸로(180°) 돌리면 9 처럼 보입니다. 정답을 6 으로 둔 채 학습하면 모델은 9 처럼 생긴 것도 6 이라고 배웁니다. 실험의 「거꾸로 180°」에서 경고가 뜹니다.
- 방향이 정답이면 뒤집기가 정답을 바꿉니다. 오른쪽 화살표를 좌우로 뒤집으면 왼쪽 화살표입니다.
- 정답은 그대로여도 실제에 없는 모양이면 쓸모가 적습니다. 거꾸로 선 집, 거울 글자는 실제로 들어오지 않습니다. 모델이 쓸 일 없는 연습에 힘을 씁니다.
- 정답이 그림 안의 자리라면 정답도 같이 바꿉니다. 물체를 둘러싼 상자를 찾는 일에서 그림을 좌우로 뒤집으면 상자의 가로 자리도 같이 뒤집어야 합니다.
4. 식이 만들어지는 과정: 두 그림을 섞는 mixup
위의 변형은 그림 하나를 바꿉니다. mixup 은 그림 둘을 겹쳐 새 그림을 만들고, 정답도 같은 비율로 섞습니다. 「다음」을 눌러 한 단계씩 보세요. λ(람다)는 0 ~ 1 사이의 섞는 비율입니다.
- 두 자료와 정답:
(x₁, y₁), (x₂, y₂). 정답은 칸 셋(집, 오른쪽 화살표, 6) 가운데 맞는 칸만 1 로 적습니다. 집은y₁ = (1, 0, 0), 6 은y₂ = (0, 0, 1)입니다. - 그림 겹치기:
x′ = λ·x₁ + (1 − λ)·x₂. 칸마다 x₁ 의 값에 λ 를, x₂ 의 값에 1 − λ 를 곱해 더합니다. 까닭: 두 비율의 합이 1 이라 결과도 0 ~ 1 안에 머물고, λ 가 1 이면 x₁, 0 이면 x₂ 로 돌아갑니다. - 정답도 같은 비율로:
y′ = λ·y₁ + (1 − λ)·y₂. 까닭: 그림에 6 이 30% 섞였는데 정답을 「집」으로만 두면 거짓을 가르칩니다. 그림을 섞은 비율 그대로 정답을 섞어야 그림과 정답이 맞습니다. - 완성: λ 는 매번 새로,
λ ~ Beta(α, α). 학습하는 동안 λ 를 베타 분포에서 계속 새로 뽑습니다. α 는 사람이 정하는 값이고, torchvision 의 MixUp 은 기본값이 1 입니다. 손실은 섞인 정답 y′ 를 그대로 받는 교차 엔트로피를 씁니다.
해 볼 것. ① 처음 λ = 0.7 에서 「다음」을 두 번 누르면 칸 A 는 0.7 × 1 + 0.3 × 0 = 0.7, 칸 B 는 0.3, 칸 C 는 1 입니다. ② 한 번 더 누르면 y′ = (0.7, 0, 0.3) 이 됩니다. ③ λ 를 0.5 로 두면 y′ = (0.5, 0, 0.5) 이고, 두 그림 모두 잉크가 있는 31칸만 진한 1 로 남고 나머지 잉크는 0.5 로 옅어집니다. ④ λ 를 1 로 두면 x′ 가 집과 똑같고 y′ = (1, 0, 0) 입니다. 섞지 않은 원래 자료입니다.
섞는 다른 방법 둘. cutout 은 그림 하나에서 네모 하나를 지웁니다(실험 ① 의 「cutout」). 정답은 그대로입니다. CutMix 는 한 그림의 네모를 오려 다른 그림의 같은 자리에 붙이고, 정답을 붙인 넓이의 비율로 섞습니다. 16 × 16 집 그림에 6 의 8 × 8 조각을 붙이면 조각의 넓이가 64 ÷ 256 = 1/4 이라, 정답은 집 0.75, 6 0.25 곧 (0.75, 0, 0.25) 입니다.
5. 손으로 풀어 보기: λ = 0.7
실험의 처음 값과 같습니다. 집(x₁)과 6(x₂)의 칸 셋을 따라갑니다.
| 칸 | x₁ (집) | x₂ (6) | 0.7 × x₁ + 0.3 × x₂ |
|---|---|---|---|
| A (집에만 잉크) | 1 | 0 | 0.7 + 0 = 0.7 |
| B (6 에만 잉크) | 0 | 1 | 0 + 0.3 = 0.3 |
| C (둘 다 잉크) | 1 | 1 | 0.7 + 0.3 = 1 |
| 정답 y | (1, 0, 0) | (0, 0, 1) | (0.7, 0, 0.3) |
섞은 정답의 칸을 더하면 0.7 + 0 + 0.3 = 1 입니다. λ 가 무엇이든 합이 1 이라, 여전히 「어느 정답일지의 비율」로 읽을 수 있습니다.
6. 훈련 자료에만, 검증·시험에는 쓰지 않는다
- 검증·시험 자료는 그대로 둡니다. 시험 점수는 실제로 들어올 입력에서 얼마나 맞히는지를 재는 잣대입니다. 시험 그림을 뒤집거나 섞으면 잣대가 실제와 달라집니다.
- 나누기를 먼저, 증강은 그다음 훈련 쪽에만. 증강한 그림을 먼저 만들고 훈련·시험으로 나누면, 같은 사진의 변형이 양쪽에 들어갑니다. 시험 점수가 실제보다 좋게 나옵니다(데이터 누수).
- 테스트 시 증강(TTA) 은 쓸 때 입력 하나를 몇 가지로 바꿔(예: 원래 + 수평 뒤집기) 각각 예측하고 평균 내는 방법입니다. 예측 계산이 그 수만큼 늘어납니다. 시험 자료를 바꾸는 것이 아니라 예측하는 방법이라, 쓰려면 시험 점수도 같은 방법으로 잽니다.
7. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 정답은 그대로 | 바꾼 그림의 정답은 원래 정답이다. mixup·CutMix 는 섞은 비율만큼 정답도 섞는다 |
| 매번 새로 뽑는다 | 저장해 두지 않고 학습 중에 무작위로 만든다. 같은 사진이 바퀴마다 다르게 나온다 |
| 훈련에만 | 검증·시험 자료는 실제 입력과 같은 모습으로 둔다 |
| 새 정보는 만들지 않는다 | 가진 자료를 바꿀 뿐이다. 없던 종류는 만들 수 없다 |
| 일에 따라 고른다 | 같은 변형이 어떤 일에는 안전하고 어떤 일에는 정답을 바꾼다(실험의 집과 화살표) |
8. 글과 소리의 증강
- 글: 낱말을 뜻이 비슷한 말로 바꾸기, 낱말 몇 개 빼기, 다른 언어로 옮겼다가 다시 옮기기(역번역). 낱말 하나로 뜻이 뒤집힐 수 있어(「좋다」 → 「안 좋다」) 그림보다 조심합니다.
- 소리: 잡음 섞기, 빠르기나 높이를 조금 바꾸기, 소리를 그림(스펙트로그램)으로 바꾼 뒤 시간 띠나 주파수 띠 일부 가리기.
9. 언제 무엇을 쓰나
| 선택지 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 수평 뒤집기 | 쉽고, 사물 사진에는 거의 늘 안전하다 | 글자·숫자·방향은 정답이 바뀐다 | 사물·동물·풍경 사진 |
| 무작위 자르기 | 물체의 자리와 크기가 달라도 맞힌다 | 너무 크게 자르면 물체가 빠진다 | 그림 분류의 기본 |
| 작은 각도 회전 | 비스듬히 찍힌 사진에 강해진다 | 모서리가 비고, 크게 돌리면 정답이 바뀐다 | 손글씨, 문서 사진, 기울어 찍힐 수 있는 것 |
| 색 변형 | 조명과 카메라가 달라도 맞힌다 | 색이 정답이면 쓸 수 없다 | 밖에서 찍은 사진, 카메라가 여럿일 때 |
| cutout | 한 부분에만 기대지 않게 된다 | 작은 핵심을 가릴 수 있다 | 물체 일부가 가려져 들어오는 사진 |
| mixup | 두 자료 사이를 부드럽게 배운다. 논문은 틀린 정답을 외우는 일이 줄었다고 보고했다 | 섞인 그림은 실제에 없는 모양이다. 정답이 섞여 있어 그것을 받는 손실을 써야 한다 | 분류. 다른 증강 위에 더해서 |
| CutMix | 지우지 않고 다른 그림의 실제 조각을 붙여 정보를 덜 버린다 | 붙인 조각이 배경뿐이어도 정답은 넓이만큼 섞인다 | 그림 분류 |
| 증강 안 함 | 빠르고 단순하다 | 자료가 적으면 과적합하기 쉽다 | 검증·시험 자료. 훈련 자료가 이미 충분히 많고 다양할 때 |
어디에 쓰나
- 그림 분류. 사진으로 물건·동물을 가르는 합성곱 신경망을 학습할 때 무작위 자르기와 수평 뒤집기를 기본으로 씁니다.
- 자료가 적을 때. 사진을 더 모으기 어려운 일에서 가진 사진을 여러 번 쓰게 합니다.
- 환경이 달라질 때. 조명, 카메라, 찍는 각도가 학습 때와 달라질 것 같으면 그 차이를 흉내 내는 변형을 넣습니다.
- 글과 소리. 문장 분류의 역번역, 음성 인식의 잡음 섞기와 띠 가리기.
자주 묻는 것
증강한 그림을 저장해서 자료를 몇 배로 늘리면 되나요?
보통은 저장하지 않고 학습하는 중에 그때그때 무작위로 만듭니다. 저장하면 정해 둔 몇 가지만 되풀이되지만, 그때그때 만들면 에폭(epoch, 학습 한 바퀴)마다 다른 변형을 봅니다. 디스크도 더 들지 않습니다.
검증·시험 자료에도 증강하면 안 되나요?
안 됩니다. 검증·시험 점수는 실제로 들어올 입력에서 얼마나 맞히는지를 재는 잣대라서, 실제 입력과 같은 모습으로 둡니다. 쓸 때 여러 변형의 예측을 평균 내는 방법(TTA)을 쓴다면, 시험 점수도 그 방법 그대로 잽니다.
증강은 세게 할수록 좋은가요?
아닙니다. 너무 세게 바꾸면 정답이 흐려지거나, 실제로는 들어오지 않을 모양을 연습하느라 힘을 씁니다. 어떤 변형을 얼마나 셀지는 검증 점수를 보며 고릅니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 자료를 바꿔 늘리기 | 데이터 증강(data augmentation) |
| 훈련 자료를 외워 버림 | 과적합(overfitting) |
| 좌우 뒤집기 | 수평 뒤집기(horizontal flip) |
| 옮겨 자르기 | 무작위 자르기(random crop), 평행 이동(translation) |
| 돌리기 | 회전(rotation) |
| 밝기·색 바꾸기 | 색 변형(color jitter) |
| 네모 가리기 | 컷아웃(cutout), 무작위 지우기(random erasing) |
| 두 그림 섞기 | 믹스업(mixup) |
| 조각 오려 붙이기 | 컷믹스(CutMix) |
| 섞는 비율 λ 를 뽑는 분포 | 베타 분포(Beta distribution) |
| 맞는 칸만 1 인 정답 | 원-핫 벡터(one-hot vector) |
| 섞인 정답 | 소프트 레이블(soft label) |
| 바뀌어도 답이 같은 성질 | 불변성(invariance) |
| 학습 한 바퀴 | 에폭(epoch) |
| 쓸 때 여러 변형의 예측을 평균 | 테스트 시 증강(test-time augmentation, TTA) |
| 시험 자료가 훈련에 새어 듦 | 데이터 누수(data leakage) |
| 과적합을 막는 방법들 | 규제, 정칙화(regularization) |
출처
- Hongyi Zhang, Moustapha Cisse, Yann N. Dauphin, David Lopez-Paz, mixup: Beyond Empirical Risk Minimization, arXiv:1710.09412. 두 자료와 정답을 함께 섞는 것, 틀린 정답을 외우는 일이 줄었다는 실험.
- Terrance DeVries, Graham W. Taylor, Improved Regularization of Convolutional Neural Networks with Cutout, arXiv:1708.04552. 학습할 때 입력의 네모 자리를 무작위로 가리는 것.
- Sangdoo Yun 외, CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features, arXiv:1905.04899. 조각을 오려 붙이고 정답을 넓이의 비율로 섞는 것.
- torchvision 문서: Transforming images(RandomResizedCrop, RandomHorizontalFlip, RandomRotation, ColorJitter, RandomErasing), MixUp(λ 를 뽑는 베타 분포의 α, 기본값 1).