자료 나누기와 데이터 누수
모델을 만들면 「얼마나 잘 맞히나」를 숫자로 재야 합니다. 그런데 어떤 자료로 재느냐에 따라 같은 모델이 94% 도 되고 67% 도 됩니다. 같은 사람을 여러 번 잰 자료를 두 가지로 나눠 보며, 점수가 어디서 부풀어 오르는지 보세요.
한 줄 답. 모델의 점수는 학습에 한 번도 쓰지 않은 자료로 재야 믿을 수 있습니다. 훈련 세트(training set)로 배우고, 검증 세트(validation set)로 고르고, 테스트 세트(test set)로 마지막에 한 번 잽니다. 테스트 쪽의 정보가 학습이나 고르기에 섞여 드는 것을 데이터 누수(data leakage)라고 하고, 그러면 점수가 실제보다 좋게 나옵니다. 자료는 모델을 쓸 때 새로 들어오는 단위(새 사람, 다음 날)로 나눕니다.
점 60개는 사람 10명이 6번씩 잰 두 숫자입니다. 고정 시드(seed) 난수기로 지어낸 자료라 쪽을 열 때마다 같습니다. 사람마다 클래스(A 또는 B)가 정해져 있고, 모델은 측정 한 번을 보고 그 사람의 클래스를 맞힙니다. 모델은 최근접 이웃 분류기(nearest neighbor classifier)입니다. 학습 점 가운데 가장 가까운 하나를 찾아 그 클래스를 답합니다. 초록 동그라미는 클래스 A, 파랑 네모는 클래스 B, 검은 숫자는 사람 번호입니다. 속이 빈 큰 모양이 테스트 점, 작고 꽉 찬 모양이 학습 점, 회색 선은 테스트 점에서 가장 가까운 학습 점까지, 주황 고리는 틀린 테스트 점입니다. 두 쪽 모두 18개를 테스트로 둡니다.
해 볼 것. ① 처음(무작위로)에는 테스트 점 18개 가운데 17개를 맞혀 94% 입니다. 회색 선을 따라가 보면 18개 가운데 15개가 같은 사람의 다른 측정에 닿습니다. 모델이 클래스를 알아본 것이 아니라 사람을 알아본 것입니다. ② 「사람 단위로 나누기」를 누르면 사람 4, 8, 9 의 측정 18개가 모두 테스트로 가고, 12개를 맞혀 67% 입니다. 회색 선이 모두 다른 사람에게 닿습니다. ③ 모델도 자료도 같고 나누는 법만 바뀌었습니다. 모델을 처음 보는 사람에게 쓰는 상황을 흉내 낸 것은 ② 쪽입니다. 이 화면은 시드 1 의 자료입니다. 시드를 1 부터 200 까지 바꿔 자료를 200번 만들면 평균이 무작위로 90%, 사람 단위로 56% 입니다.
1. 학습, 검증, 테스트: 세 몫의 역할
모델이 새 자료에서 얼마나 맞힐지 알고 싶은데, 새 자료는 아직 없습니다. 그래서 가진 자료의 일부를 떼어 두고 그것을 「새 자료인 척」 씁니다. 떼어 둔 자료로 잰 점수는 모델이 그 자료를 한 번도 본 적이 없을 때만 새 자료의 점수를 흉내 냅니다. 이 일을 세 몫으로 나눕니다. 학교에 비교하면 문제집, 모의고사, 수능입니다.
| 몫 | 하는 일 | 몇 번 보나 |
|---|---|---|
| 훈련 세트(문제집) | 모델이 숫자(가중치)를 맞춘다 | 학습하는 내내 |
| 검증 세트(모의고사) | 하이퍼파라미터(학습률, 층 수, 언제 멈출지)와 모델을 고른다 | 고를 때마다 여러 번 |
| 테스트 세트(수능) | 다 고른 뒤 마지막 점수를 잰다 | 한 번 |
검증 세트로 여러 번 고르면 고른 쪽이 그 검증 세트에 맞춰집니다. 그래서 마지막 점수는 고르는 데 쓰지 않은 테스트 세트로 다시 잽니다. 이름은 책과 도구마다 바꿔 쓰기도 해서, 「검증」이 이 쪽의 「테스트」를 뜻하는 곳도 있습니다. 학습 점수와 테스트 점수의 차이가 뜻하는 것은 과적합 쪽에 있습니다.
2. 데이터 누수: 흔한 네 가지 꼴
데이터 누수는 모델을 실제로 쓸 때는 얻을 수 없는 정보가 학습이나 고르기에 섞여 드는 것입니다. 테스트 점수는 좋게 나오는데, 실제로 쓰면 그만큼 맞히지 못합니다. 오류가 나지 않아서 알아채기 어렵습니다.
| 꼴 | 무엇이 새나 | 막는 법 |
|---|---|---|
| 나누기 전에 정규화 | 전체 자료로 평균과 표준편차를 구하면 테스트 세트의 평균과 표준편차가 학습에 섞인다. 빈칸 채우기, 특징 고르기도 같다 | 먼저 나누고, 학습 쪽으로만 구해서 테스트 쪽에는 그 숫자를 쓴다(정규화 7절). 교차 검증에서는 전처리와 모델을 파이프라인 하나로 묶는다 |
| 같은 사람·같은 날의 자료가 양쪽에 | 같은 사람의 측정, 같은 환자의 사진 여러 장, 같은 날 같은 기계로 찍은 사진은 서로 닮았다. 모델이 사람이나 기계를 외워도 점수가 나온다(위 실험) | 그룹(사람, 환자, 날짜) 단위로 나눠 한 그룹은 한쪽에만 둔다 |
| 미래 자료로 과거 예측 | 시간 순 자료를 무작위로 섞으면 내일 값을 보고 어제를 맞히는 문제가 섞인다. 결과가 난 뒤에야 채워지는 칸(환불을 맞히는데 「환불 처리일」 칸)이 특징에 들어 있어도 같다 | 시간으로 자른다. 칸마다 「예측하는 순간에 이 값을 알 수 있나」를 묻는다 |
| 테스트 세트로 여러 번 고르기 | 테스트 점수를 보고 하이퍼파라미터를 바꾸고 다시 재기를 되풀이하면, 테스트 세트에 맞는 하이퍼파라미터가 뽑힌다 | 고르기는 검증 세트나 교차 검증으로 하고, 테스트 세트는 마지막에 한 번 본다 |
3. 식이 만들어지는 과정: k겹 교차 검증
한 번만 나누면 어느 자료가 테스트에 들어갔느냐에 따라 점수가 크게 바뀝니다. k겹 교차 검증은 자료를 k 폴드(fold)로 나누고, 폴드마다 한 번씩 테스트를 맡겨 k 판을 합니다. 아래는 위 실험의 자료 60개를 사람 단위로 5폴드로 나눈 것입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 격자에 판이 늘어나고, 아래에 까닭이 나옵니다. 칸 안의 글자가 「테스트」인지 「학습」인지 적혀 있습니다.
- 폴드 나누기:
k = 5. 사람 10명을 2명씩 5폴드로 나눕니다. 한 사람의 측정은 모두 한 폴드에 들어갑니다. - 첫 판:
s₁. 폴드 1 을 테스트로, 나머지 4폴드를 학습으로 두고 맞힌 비율 s₁ 을 잽니다. 여기까지는 한 번 나눈 것과 같습니다. - 돌려 가며:
s₁ + s₂ + s₃ + s₄ + s₅. 테스트 폴드를 옮겨 가며 다섯 판을 합니다. 모든 자료가 꼭 한 번 테스트에 쓰입니다. - 평균:
CV = (s₁ + s₂ + s₃ + s₄ + s₅) ÷ 5. 판마다 점수의 평균이 교차 검증 점수입니다. 폴드 k 개면CV = (s₁ + s₂ + … + s_k) ÷ k.
판마다 테스트 점의 수가 같으면 이 평균은 전체 자료에서 맞힌 비율과 같습니다. 폴드 크기가 다르면 둘이 조금 다릅니다. k 를 자료의 수와 같게 하면 하나씩 빼기(leave-one-out)가 됩니다. 점수를 낸 뒤 실제로 쓸 모델은 보통 자료 전체로 다시 학습합니다. 교차 검증은 「이 만드는 법이 얼마나 맞히나」를 재는 것이고, 판마다 만든 모델 다섯 개는 버립니다.
해 볼 것. ① 처음에는 사람 10명이 폴드 5개로 묶인 모습만 있습니다. ② 「다음」: 첫 판의 테스트는 사람 1, 2 의 측정 12개이고 6개를 맞혀 s₁ = 0.5 입니다. ③ 「다음」: 다섯 판의 점수가 0.5, 0.67, 0.75, 0.42, 1 입니다. 한 번만 나눴다면 0.42 도, 1 도 나올 수 있었습니다. ④ 「다음」: 평균 0.67 이 주황 점선으로 나옵니다. 60개 가운데 40개를 맞힌 비율과 같습니다. 같은 자료를 무작위 5겹으로 나누면 평균이 1 입니다.
4. 손으로 따라가기
사람 넷이 숫자 하나를 두 번씩 쟀습니다. 사람 1, 2 는 클래스 A, 사람 3, 4 는 클래스 B 입니다. 모델은 위와 같은 최근접 이웃 분류기입니다.
| 사람 | 클래스 | 잰 값 |
|---|---|---|
| 1 | A | 1.0, 1.4 |
| 2 | A | 2.0, 2.4 |
| 3 | B | 3.0, 3.4 |
| 4 | B | 6.0, 6.4 |
- 측정 하나씩 빼기(무작위 쪽의 끝). 1.4 를 빼면 가장 가까운 값은 같은 사람의 1.0(거리 0.4)이라 맞힙니다. 어느 측정이든 같은 사람의 짝이 0.4 거리에 있고 다른 사람은 0.6 이상 떨어져 있어서, 8개 모두 맞힙니다. 점수 1.
- 사람 하나씩 빼기(그룹 단위 4겹).
사람 1 을 빼면 1.0 과 1.4 의 이웃은 2.0(A), 둘 다 맞혀
s₁ = 1. 사람 2 를 빼면 2.0 의 이웃은 1.4(A, 거리 0.6)라 맞고, 2.4 의 이웃은 3.0(B, 거리 0.6)이라 틀려s₂ = 0.5. 사람 3 을 빼면 3.0 과 3.4 의 이웃이 모두 2.4(A)라 둘 다 틀려s₃ = 0. 사람 4 를 빼면 6.0 과 6.4 의 이웃은 3.4(B), 둘 다 맞혀s₄ = 1. - 평균.
CV = (1 + 0.5 + 0 + 1) ÷ 4 = 2.5 ÷ 4 = 0.625. 8개 가운데 5개를 맞힌 비율 5 ÷ 8 과 같습니다.
같은 자료, 같은 모델인데 나누는 법에 따라 1 과 0.625 가 나왔습니다. 사람 2, 3 은 클래스 A 와 B 의 경계(2.4 와 3.0 사이) 가까이 있어서, 자기 짝이 빠지자 틀리기 시작합니다.
5. 언제 무엇을 쓰나
| 나누는 법 | 좋은 점 | 나쁜 점 | 쓰는 경우 |
|---|---|---|---|
| 무작위 KFold, train_test_split | 가장 쉽다. 자료 하나하나가 따로 모은 것이면 정직하다 | 자료끼리 묶여 있거나 시간 순이면 점수가 부푼다. 드문 클래스가 어느 폴드에 거의 안 들어갈 수 있다 | 자료가 서로 독립이고 클래스 비율이 고를 때 |
| 층화 StratifiedKFold | 폴드마다 클래스의 비율을 전체와 같게 맞춘다. 드문 클래스도 폴드마다 들어가 점수가 덜 흔들린다 | 그룹과 시간은 여전히 보지 않는다. 클래스가 있는 분류 문제에만 바로 쓴다 | 분류인데 클래스 비율이 치우쳐 있을 때(예: 사기 거래가 아주 적을 때). scikit-learn 이 분류기의 기본으로 쓴다 |
| 그룹 GroupKFold, StratifiedGroupKFold | 같은 사람·같은 기기·같은 날의 자료를 한쪽에만 둔다. 새 그룹에 쓸 때의 점수를 잰다 | 그룹 수가 적으면 판마다 점수가 크게 흔들린다. 그룹 크기가 다르면 폴드 크기도 다르다 | 한 사람, 한 환자, 한 가게에서 자료가 여럿 나오고, 모델을 새 사람·새 가게에 쓸 때 |
| 시간 순 TimeSeriesSplit | 과거로 학습하고 그 뒤의 기간으로 테스트해 실제 쓰임과 같다 | 앞쪽 판은 학습 자료가 적다. 시간이 흐르며 성질이 바뀌면 판마다 점수가 다르다 | 매출, 센서 기록, 주문처럼 시간 따라 쌓이는 자료로 앞날을 예측할 때 |
| 공간 블록, 현장 통째로 GroupKFold, LeaveOneGroupOut | 가까운 곳의 자료를 한쪽에만 둔다. 안 본 구역, 안 본 현장에 쓸 때의 점수를 잰다 | 점수가 낮게 나오고 판마다 크게 흔들린다. 구역이 작으면 옆 구역끼리 닮아 여전히 샌다 | 드론·위성 사진, 토양, 날씨처럼 자리마다 값이 있는 자료 |
그룹 자료를 나누는 법
무엇을 그룹으로 볼지는 모델을 쓸 때 새로 들어오는 단위로 정합니다. 새 환자에게 쓸 모델이면 환자, 새 가게에 쓸 모델이면 가게입니다. 자료마다 그룹 번호를 붙이고 그 번호로 나눕니다. 위 실험의 「사람 단위로」가 이것입니다. 클래스 비율까지 맞추려면 그룹과 층화를 같이 하는 StratifiedGroupKFold 를 씁니다.
시간 순 자료를 나누는 법
섞지 않습니다. 시간 순서로 늘어놓고, 앞쪽으로 학습하고 바로 뒤쪽으로 테스트합니다. 판마다 학습 구간을 뒤로 늘려 가며 다음 구간을 테스트합니다. 예측할 것이 며칠 뒤의 값이면 학습 구간 끝과 테스트 구간 사이를 그만큼 비웁니다. TimeSeriesSplit 의 gap 이 이 빈칸입니다.
# scikit-learn: 전처리와 모델을 묶고, 나누는 법을 cv 에 준다
from sklearn.model_selection import GroupKFold, LeaveOneGroupOut, TimeSeriesSplit, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=1))
scores = cross_val_score(model, x, y, groups=person_ids, cv=GroupKFold(n_splits=5)) # 그룹: 사람 번호
scores = cross_val_score(model, x, y, cv=TimeSeriesSplit(n_splits=5)) # 시간 순: x 는 시간 순서로
scores = cross_val_score(model, x, y, groups=block_ids, cv=GroupKFold(n_splits=4)) # 공간 블록: 구역 번호
scores = cross_val_score(model, x, y, groups=site_ids, cv=LeaveOneGroupOut()) # 현장 통째로(LOSO): 현장 번호
print(scores.mean(), scores.std()) # 평균과 흔들림
위치가 있는 자료를 나누는 법: 공간 블록과 LOSO
지도 위의 자료는 가까운 곳끼리 닮았습니다. 옆 칸의 흙, 옆 밭의 작물은 거의 같습니다. 무작위로 나누면 테스트 칸 바로 옆의 칸이 학습 쪽에 들어가서, 모델은 원리가 아니라 「그 자리」를 외워 맞힙니다. 그룹 자료에서 같은 사람이 양쪽에 있는 것과 같은 일입니다. 그래서 그룹을 자리로 잡습니다.
| 나누는 법 | 그룹 | 답하는 질문 |
|---|---|---|
| 공간 블록 | 지도를 큰 칸(구역)으로 자르고 구역째로 학습이나 테스트에 둔다 | 같은 현장의 안 본 구역에서도 되나 |
| 현장 통째로(LOSO, leave-one-site-out) | 현장 하나를 통째로 테스트에 두고 나머지 현장으로 학습한다. 현장 수만큼 돌린다 | 처음 가는 현장에서도 되나 |
둘을 같이 쓰기도 합니다. 현장 하나를 마지막 테스트용으로 빼 두고(LOSO), 남은 현장 안에서는 구역 단위로 나눠 하이퍼파라미터를 고릅니다(공간 블록). LOSO 는 분야에 따라 사람 한 명을 빼는 leave-one-subject-out 을 뜻하기도 합니다. 둘 다 「그룹 하나씩 빼기」이고 그룹이 현장이냐 사람이냐만 다릅니다.
현장 셋을 8 × 8 칸으로 찍은 지어낸 자료 192칸입니다. 칸마다 두 숫자와 클래스(A 또는 B)가 있습니다. 클래스는 자리 따라 완만하게 바뀌고, 두 숫자에는 클래스의 신호보다 큰 「자리 따라 천천히 바뀌는 값」과 「현장마다 다른 값」이 섞여 있습니다. 모델은 위 실험과 같은 최근접 이웃 분류기입니다.
해 볼 것. ① 「무작위로」는 평균 89% 입니다. 첫 판의 테스트 64칸 가운데 37칸은 가장 가까운 학습 칸이 같은 구역에 있습니다. ② 「공간 블록」을 누르면 구역이 통째로 테스트로 가고 평균이 77% 로 내려갑니다. 판마다 65% ~ 90% 로 흔들립니다. ③ 「현장 통째로」는 평균 68%, 현장별로 73%, 70%, 61% 입니다. 192칸 가운데 117칸이 클래스 A 라서 늘 A 라고만 답해도 61% 입니다. 처음 가는 현장에서 이 모델은 그보다 조금 나을 뿐인데, 무작위로 나눈 점수 89% 는 그것을 가렸습니다.
구역의 크기는 자료가 서로 닮은 거리보다 커야 합니다. 구역이 작으면 옆 구역끼리 닮아서 여전히 샙니다. 현장 수가 적으면 LOSO 점수가 현장마다 크게 다르니 평균과 함께 현장별 점수를 적습니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 | 실험에서 |
|---|---|---|
| 처음 보는 자료일 때만 믿는다 | 테스트 세트가 학습에 쓴 자료와 닮은 만큼 점수가 부푼다 | 무작위 94%, 사람 단위 67% |
| 나누는 단위 = 쓸 때 새로 오는 단위 | 새 사람에게 쓸 모델은 사람 단위로, 앞날을 맞힐 모델은 시간 순으로 나눈다 | 「사람 단위로」 |
| 교차 검증 점수는 판마다 점수의 평균 | 한 번 나눈 운을 줄인다. 흔들림(가장 낮은 판, 가장 높은 판)을 같이 적는다 | 0.42 ~ 1, 평균 0.67 |
| 자료에서 구하는 모든 것은 학습 쪽 안에서 | 평균, 표준편차, 빈칸 채울 값, 고른 특징까지 판마다 학습 쪽으로만 다시 구한다 | 2절의 첫 줄 |
| 테스트 세트는 볼 때마다 닳는다 | 테스트 점수를 보고 고칠수록 테스트 세트에 맞춰진다. 마지막에 한 번 본다 | 2절의 끝 줄 |
어디에 쓰나
- 모델과 하이퍼파라미터 고르기. 이웃 수, 학습률, 층 수 같은 하이퍼파라미터 후보마다 교차 검증 점수를 내고 가장 좋은 것을 고릅니다. scikit-learn 의 GridSearchCV 가 이 일을 합니다.
- 딥러닝의 조기 종료. 학습 중에 검증 세트의 손실을 보다가 더 내려가지 않으면 멈춥니다. 검증 세트가 학습에 섞이면 언제 멈출지도 틀립니다(과적합).
- 마지막 점수 보고. 다 고른 모델의 점수를 테스트 세트로 한 번 재서 적습니다. 어떻게 나눴는지(무작위, 그룹, 시간 순)를 같이 적어야 읽는 사람이 믿을 수 있습니다.
- 점수가 너무 좋을 때 의심하기. 쉬워 보이지 않는 문제에서 점수가 유난히 높으면, 먼저 2절의 네 가지 꼴을 하나씩 확인합니다.
자주 묻는 것
검증 세트와 테스트 세트는 왜 따로 두나요?
검증 점수를 보고 하이퍼파라미터나 모델을 고르면, 고른 쪽은 그 검증 세트에 잘 맞는 쪽으로 기웁니다. 그래서 검증 점수는 조금 좋게 나옵니다. 고른 결과를 한 번도 보지 않은 테스트 세트로 다시 재야 새 자료에서의 점수에 가깝습니다.
k 는 얼마로 하나요?
흔히 5 나 10 을 씁니다. k 가 크면 판마다 학습 자료가 많아 자료 전체로 만든 모델에 가깝지만, 학습을 k 번 해야 해서 오래 걸립니다. 학습 한 번이 비싼 딥러닝에서는 교차 검증 대신 검증 세트 하나를 떼어 두는 경우가 흔합니다. scikit-learn 의 cross_val_score 는 따로 정하지 않으면 5겹입니다.
교차 검증을 하면 테스트 세트는 없어도 되나요?
교차 검증 점수를 보고 하이퍼파라미터까지 골랐다면 그 평균 점수도 고른 쪽으로 기웁니다. 마지막 점수는 따로 떼어 둔 테스트 세트로 재거나, 하이퍼파라미터 고르기를 안쪽 교차 검증에 넣고 바깥쪽 교차 검증으로 점수를 내는 중첩 교차 검증(nested cross-validation)을 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 배우는 몫, 고르는 몫, 마지막에 재는 몫 | 훈련 세트(training set), 검증 세트(validation set, dev set), 테스트 세트(test set) |
| 떼어 두기 | 홀드아웃(hold-out) |
| 테스트 쪽 정보가 섞여 드는 것 | 데이터 누수(data leakage). 결과가 난 뒤에야 채워지는 칸이 새는 것은 타깃 누수(target leakage) |
| k겹 교차 검증, 판 | k-fold cross-validation, 폴드(fold), 분할(split) |
| 층화 | 층화 추출(stratification, stratified k-fold) |
| 그룹 단위로 나누기 | 그룹 k겹(group k-fold), 하나씩 빼면 leave-one-group-out |
| 공간 블록 | 공간 블록 교차 검증(spatial block cross-validation, spatial k-fold) |
| 현장 통째로 빼기 | LOSO(leave-one-site-out). 사람을 빼면 leave-one-subject-out. scikit-learn 에서는 LeaveOneGroupOut |
| 가까운 곳끼리 닮음 | 공간 자기상관(spatial autocorrelation) |
| 하나씩 빼기 | leave-one-out(LOO) |
| 시간 순 나누기 | 시계열 교차 검증(time series split) |
| 가장 가까운 이웃 분류기 | 최근접 이웃(1-nearest neighbor, k-NN 에서 k = 1) |
| 학습 전에 정해 두는 값 | 하이퍼파라미터(hyperparameter) |
| 안쪽과 바깥쪽 두 겹의 교차 검증 | 중첩 교차 검증(nested cross-validation) |
| 전처리와 모델을 하나로 묶은 것 | 파이프라인(pipeline) |
출처
- scikit-learn 문서: Cross-validation: evaluating estimator performance. 학습·검증·테스트, k겹, 층화, 그룹, 시간 순 나누기, cross_val_score.
- scikit-learn 문서: Common pitfalls and recommended practices. 나누기 전의 전처리로 생기는 데이터 누수와 파이프라인.
- scikit-learn API: GroupKFold, StratifiedGroupKFold, TimeSeriesSplit(gap).
- Roberts 외, Ecography 40권(2017): Cross-validation strategies for data with temporal, spatial, hierarchical, or phylogenetic structure. 공간·시간·그룹 구조가 있는 자료에서 무작위 나누기가 점수를 부풀리는 까닭과 블록 단위 교차 검증. scikit-learn API: LeaveOneGroupOut.