데이터 증강: 가진 자료를 바꿔 늘리기

고양이 사진 100장으로 모델을 가르치면, 모델은 고양이보다 그 100장을 외우기 쉽습니다. 같은 사진을 조금 뒤집고, 옮기고, 밝게 해서 보여 주면 외울 수 없게 됩니다. 아래 격자 그림에 변형 단추를 눌러 보고, 어떤 변형이 정답을 바꾸는지 찾아보세요.

한 줄 답. 데이터 증강은 가진 훈련 자료를 정답이 바뀌지 않는 만큼만 바꿔 연습 문제를 늘리는 일입니다. 같은 그림이 학습할 때마다 조금씩 다르게 나오니 모델이 그림 하나하나를 외우기 어렵고, 옮겨지거나 밝기가 달라도 변하지 않는 특징을 배웁니다. 그래서 과적합이 줄어듭니다. 증강은 훈련 자료에만 쓰고, 검증·시험 자료는 그대로 둡니다.

그림 셋은 지어낸 16 × 16 격자입니다. 칸 하나의 값은 0(빈칸) ~ 1(가장 진함)입니다. 단추는 늘 원래 그림에 변형 하나를 합니다. 실제 학습에서는 옮기는 칸 수, 돌리는 각도, 가리는 자리를 부를 때마다 무작위로 고르지만, 여기서는 비교하기 쉽게 고정했습니다(오른쪽 2칸·아래 1칸, 15°, 5 × 5 네모).

해 볼 것. ① 집을 「수평 뒤집기」하면 창과 문이 자리를 바꿔 16칸이 바뀌지만 정답은 그대로 집입니다. ② 오른쪽 화살표를 「수평 뒤집기」하면 28칸만 바뀌는데 정답이 왼쪽 화살표로 바뀝니다. 집을 「무작위 자르기」하면 84칸이 바뀌어도 정답은 그대로입니다. 바뀐 칸 수가 아니라 사람이 같은 정답을 말할지가 기준입니다. ③ 숫자 6 을 「거꾸로 180°」 하면 54칸이 바뀌고 9 처럼 보입니다. 「수평 뒤집기」 하면 어느 숫자도 아닌 거울 글자가 됩니다. ④ 「밝게」는 잉크가 있는 칸만 바뀝니다(집 76칸). 모양은 그대로라 어느 그림이든 정답이 바뀌지 않습니다.

1. 데이터 증강이란, 왜 과적합을 줄이나

데이터 증강은 훈련 자료 하나를 정답이 그대로인 채로 조금 바꿔 새 훈련 자료처럼 쓰는 일입니다. 고양이 사진을 좌우로 뒤집어도 고양이이고, 조금 밝게 해도 고양이입니다. 사진 한 장이 여러 장의 연습 문제가 됩니다.

과적합은 모델이 훈련 자료의 우연한 생김새(이 사진에서는 고양이가 왼쪽에 있었다, 이 사진은 어두웠다)까지 외워서 새 자료에서 틀리는 일입니다. 증강을 하면 같은 사진이 학습할 때마다 다른 자리, 다른 밝기로 나옵니다. 칸 하나하나를 외워서는 맞힐 수 없으니 모델은 자리와 밝기가 달라도 변하지 않는 것, 곧 모양을 보게 됩니다. 「이 정도 바뀌어도 정답은 같다」는 사람의 지식을 자료로 넣어 주는 셈입니다.

증강은 새 정보를 만들지 않습니다. 가진 사진을 바꿀 뿐이라, 한 번도 찍지 않은 각도나 품종은 만들 수 없습니다. 그래서 진짜 자료를 더 모으는 일을 대신하지는 못하고, 그 일을 거들어 줍니다.

2. 그림의 기본 변형

변형하는 일정답이 바뀌거나 망가지는 경우
수평 뒤집기(horizontal flip)거울에 비춘 것처럼 왼쪽과 오른쪽을 바꾼다글자, 숫자, 방향(화살표, 왼쪽·오른쪽)
무작위 자르기(random crop)조금 옮기거나 일부를 잘라 낸 뒤 원래 크기로 맞춘다너무 크게 자르면 물체가 화면 밖으로 나간다
회전(rotation)작은 각도로 돌린다크게 돌리면 6 이 9 가 된다. 모서리가 빈다
색 변형(color jitter)밝기, 대비, 채도, 색조를 조금 바꾼다색이 정답인 일(익은 과일 고르기, 신호등의 불빛)
cutout네모 하나를 지운다정답을 가르는 작은 부분을 통째로 가릴 수 있다

실제로는 이 변형들을 이어 붙이고, 변형마다 세기를 부를 때마다 무작위로 뽑습니다. 학습은 같은 자료를 여러 바퀴 도는데, 바퀴마다 같은 사진이 다른 모습으로 나옵니다. PyTorch 의 torchvision 으로 적으면 이렇습니다.

from torchvision.transforms import v2

train_transform = v2.Compose([
    v2.RandomResizedCrop(224),        # 무작위로 잘라 224 × 224 로 맞춘다
    v2.RandomHorizontalFlip(),        # 반의 확률로 수평 뒤집기
    v2.RandomRotation(15),            # −15° ~ 15° 사이에서 회전
    v2.ColorJitter(brightness=0.3),   # 밝기를 조금 바꾸기
])
eval_transform = v2.Compose([v2.Resize(256), v2.CenterCrop(224)])   # 검증·시험: 무작위 없이 늘 같게

3. 정답이 바뀌는 변형은 쓰지 않는다

변형을 고르는 물음은 하나입니다. 바꾼 그림을 사람에게 보여 줘도 같은 정답을 말할까? 아니라면 그 변형은 틀린 답을 가르칩니다.

4. 식이 만들어지는 과정: 두 그림을 섞는 mixup

위의 변형은 그림 하나를 바꿉니다. mixup 은 그림 둘을 겹쳐 새 그림을 만들고, 정답도 같은 비율로 섞습니다. 「다음」을 눌러 한 단계씩 보세요. λ(람다)는 0 ~ 1 사이의 섞는 비율입니다.

  1. 두 자료와 정답: (x₁, y₁), (x₂, y₂). 정답은 칸 셋(집, 오른쪽 화살표, 6) 가운데 맞는 칸만 1 로 적습니다. 집은 y₁ = (1, 0, 0), 6 은 y₂ = (0, 0, 1) 입니다.
  2. 그림 겹치기: x′ = λ·x₁ + (1 − λ)·x₂. 칸마다 x₁ 의 값에 λ 를, x₂ 의 값에 1 − λ 를 곱해 더합니다. 까닭: 두 비율의 합이 1 이라 결과도 0 ~ 1 안에 머물고, λ 가 1 이면 x₁, 0 이면 x₂ 로 돌아갑니다.
  3. 정답도 같은 비율로: y′ = λ·y₁ + (1 − λ)·y₂. 까닭: 그림에 6 이 30% 섞였는데 정답을 「집」으로만 두면 거짓을 가르칩니다. 그림을 섞은 비율 그대로 정답을 섞어야 그림과 정답이 맞습니다.
  4. 완성: λ 는 매번 새로, λ ~ Beta(α, α). 학습하는 동안 λ 를 베타 분포에서 계속 새로 뽑습니다. α 는 사람이 정하는 값이고, torchvision 의 MixUp 은 기본값이 1 입니다. 손실은 섞인 정답 y′ 를 그대로 받는 교차 엔트로피를 씁니다.

해 볼 것. ① 처음 λ = 0.7 에서 「다음」을 두 번 누르면 칸 A 는 0.7 × 1 + 0.3 × 0 = 0.7, 칸 B 는 0.3, 칸 C 는 1 입니다. ② 한 번 더 누르면 y′ = (0.7, 0, 0.3) 이 됩니다. ③ λ 를 0.5 로 두면 y′ = (0.5, 0, 0.5) 이고, 두 그림 모두 잉크가 있는 31칸만 진한 1 로 남고 나머지 잉크는 0.5 로 옅어집니다. ④ λ 를 1 로 두면 x′ 가 집과 똑같고 y′ = (1, 0, 0) 입니다. 섞지 않은 원래 자료입니다.

섞는 다른 방법 둘. cutout 은 그림 하나에서 네모 하나를 지웁니다(실험 ① 의 「cutout」). 정답은 그대로입니다. CutMix 는 한 그림의 네모를 오려 다른 그림의 같은 자리에 붙이고, 정답을 붙인 넓이의 비율로 섞습니다. 16 × 16 집 그림에 6 의 8 × 8 조각을 붙이면 조각의 넓이가 64 ÷ 256 = 1/4 이라, 정답은 집 0.75, 6 0.25 곧 (0.75, 0, 0.25) 입니다.

5. 손으로 풀어 보기: λ = 0.7

실험의 처음 값과 같습니다. 집(x₁)과 6(x₂)의 칸 셋을 따라갑니다.

칸x₁ (집)x₂ (6)0.7 × x₁ + 0.3 × x₂
A (집에만 잉크)100.7 + 0 = 0.7
B (6 에만 잉크)010 + 0.3 = 0.3
C (둘 다 잉크)110.7 + 0.3 = 1
정답 y(1, 0, 0)(0, 0, 1)(0.7, 0, 0.3)

섞은 정답의 칸을 더하면 0.7 + 0 + 0.3 = 1 입니다. λ 가 무엇이든 합이 1 이라, 여전히 「어느 정답일지의 비율」로 읽을 수 있습니다.

6. 훈련 자료에만, 검증·시험에는 쓰지 않는다

7. 꼭 알아야 할 성질

성질쉬운 말
정답은 그대로바꾼 그림의 정답은 원래 정답이다. mixup·CutMix 는 섞은 비율만큼 정답도 섞는다
매번 새로 뽑는다저장해 두지 않고 학습 중에 무작위로 만든다. 같은 사진이 바퀴마다 다르게 나온다
훈련에만검증·시험 자료는 실제 입력과 같은 모습으로 둔다
새 정보는 만들지 않는다가진 자료를 바꿀 뿐이다. 없던 종류는 만들 수 없다
일에 따라 고른다같은 변형이 어떤 일에는 안전하고 어떤 일에는 정답을 바꾼다(실험의 집과 화살표)

8. 글과 소리의 증강

9. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
수평 뒤집기쉽고, 사물 사진에는 거의 늘 안전하다글자·숫자·방향은 정답이 바뀐다사물·동물·풍경 사진
무작위 자르기물체의 자리와 크기가 달라도 맞힌다너무 크게 자르면 물체가 빠진다그림 분류의 기본
작은 각도 회전비스듬히 찍힌 사진에 강해진다모서리가 비고, 크게 돌리면 정답이 바뀐다손글씨, 문서 사진, 기울어 찍힐 수 있는 것
색 변형조명과 카메라가 달라도 맞힌다색이 정답이면 쓸 수 없다밖에서 찍은 사진, 카메라가 여럿일 때
cutout한 부분에만 기대지 않게 된다작은 핵심을 가릴 수 있다물체 일부가 가려져 들어오는 사진
mixup두 자료 사이를 부드럽게 배운다. 논문은 틀린 정답을 외우는 일이 줄었다고 보고했다섞인 그림은 실제에 없는 모양이다. 정답이 섞여 있어 그것을 받는 손실을 써야 한다분류. 다른 증강 위에 더해서
CutMix지우지 않고 다른 그림의 실제 조각을 붙여 정보를 덜 버린다붙인 조각이 배경뿐이어도 정답은 넓이만큼 섞인다그림 분류
증강 안 함빠르고 단순하다자료가 적으면 과적합하기 쉽다검증·시험 자료. 훈련 자료가 이미 충분히 많고 다양할 때

어디에 쓰나

자주 묻는 것

증강한 그림을 저장해서 자료를 몇 배로 늘리면 되나요?

보통은 저장하지 않고 학습하는 중에 그때그때 무작위로 만듭니다. 저장하면 정해 둔 몇 가지만 되풀이되지만, 그때그때 만들면 에폭(epoch, 학습 한 바퀴)마다 다른 변형을 봅니다. 디스크도 더 들지 않습니다.

검증·시험 자료에도 증강하면 안 되나요?

안 됩니다. 검증·시험 점수는 실제로 들어올 입력에서 얼마나 맞히는지를 재는 잣대라서, 실제 입력과 같은 모습으로 둡니다. 쓸 때 여러 변형의 예측을 평균 내는 방법(TTA)을 쓴다면, 시험 점수도 그 방법 그대로 잽니다.

증강은 세게 할수록 좋은가요?

아닙니다. 너무 세게 바꾸면 정답이 흐려지거나, 실제로는 들어오지 않을 모양을 연습하느라 힘을 씁니다. 어떤 변형을 얼마나 셀지는 검증 점수를 보며 고릅니다.

낱말

여기서 쓴 말책에서 부르는 말
자료를 바꿔 늘리기데이터 증강(data augmentation)
훈련 자료를 외워 버림과적합(overfitting)
좌우 뒤집기수평 뒤집기(horizontal flip)
옮겨 자르기무작위 자르기(random crop), 평행 이동(translation)
돌리기회전(rotation)
밝기·색 바꾸기색 변형(color jitter)
네모 가리기컷아웃(cutout), 무작위 지우기(random erasing)
두 그림 섞기믹스업(mixup)
조각 오려 붙이기컷믹스(CutMix)
섞는 비율 λ 를 뽑는 분포베타 분포(Beta distribution)
맞는 칸만 1 인 정답원-핫 벡터(one-hot vector)
섞인 정답소프트 레이블(soft label)
바뀌어도 답이 같은 성질불변성(invariance)
학습 한 바퀴에폭(epoch)
쓸 때 여러 변형의 예측을 평균테스트 시 증강(test-time augmentation, TTA)
시험 자료가 훈련에 새어 듦데이터 누수(data leakage)
과적합을 막는 방법들규제, 정칙화(regularization)

출처

← 그로킹: 외운 뒤에 뒤늦게 깨우치기전이 학습과 미세 조정 →