자료 나누기와 데이터 누수

모델을 만들면 「얼마나 잘 맞히나」를 숫자로 재야 합니다. 그런데 어떤 자료로 재느냐에 따라 같은 모델이 94% 도 되고 67% 도 됩니다. 같은 사람을 여러 번 잰 자료를 두 가지로 나눠 보며, 점수가 어디서 부풀어 오르는지 보세요.

한 줄 답. 모델의 점수는 학습에 한 번도 쓰지 않은 자료로 재야 믿을 수 있습니다. 훈련 세트(training set)로 배우고, 검증 세트(validation set)로 고르고, 테스트 세트(test set)로 마지막에 한 번 잽니다. 테스트 쪽의 정보가 학습이나 고르기에 섞여 드는 것을 데이터 누수(data leakage)라고 하고, 그러면 점수가 실제보다 좋게 나옵니다. 자료는 모델을 쓸 때 새로 들어오는 단위(새 사람, 다음 날)로 나눕니다.

점 60개는 사람 10명이 6번씩 잰 두 숫자입니다. 고정 시드(seed) 난수기로 지어낸 자료라 쪽을 열 때마다 같습니다. 사람마다 클래스(A 또는 B)가 정해져 있고, 모델은 측정 한 번을 보고 그 사람의 클래스를 맞힙니다. 모델은 최근접 이웃 분류기(nearest neighbor classifier)입니다. 학습 점 가운데 가장 가까운 하나를 찾아 그 클래스를 답합니다. 초록 동그라미는 클래스 A, 파랑 네모는 클래스 B, 검은 숫자는 사람 번호입니다. 속이 빈 큰 모양이 테스트 점, 작고 꽉 찬 모양이 학습 점, 회색 선은 테스트 점에서 가장 가까운 학습 점까지, 주황 고리는 틀린 테스트 점입니다. 두 쪽 모두 18개를 테스트로 둡니다.

해 볼 것. ① 처음(무작위로)에는 테스트 점 18개 가운데 17개를 맞혀 94% 입니다. 회색 선을 따라가 보면 18개 가운데 15개가 같은 사람의 다른 측정에 닿습니다. 모델이 클래스를 알아본 것이 아니라 사람을 알아본 것입니다. ② 「사람 단위로 나누기」를 누르면 사람 4, 8, 9 의 측정 18개가 모두 테스트로 가고, 12개를 맞혀 67% 입니다. 회색 선이 모두 다른 사람에게 닿습니다. ③ 모델도 자료도 같고 나누는 법만 바뀌었습니다. 모델을 처음 보는 사람에게 쓰는 상황을 흉내 낸 것은 ② 쪽입니다. 이 화면은 시드 1 의 자료입니다. 시드를 1 부터 200 까지 바꿔 자료를 200번 만들면 평균이 무작위로 90%, 사람 단위로 56% 입니다.

1. 학습, 검증, 테스트: 세 몫의 역할

모델이 새 자료에서 얼마나 맞힐지 알고 싶은데, 새 자료는 아직 없습니다. 그래서 가진 자료의 일부를 떼어 두고 그것을 「새 자료인 척」 씁니다. 떼어 둔 자료로 잰 점수는 모델이 그 자료를 한 번도 본 적이 없을 때만 새 자료의 점수를 흉내 냅니다. 이 일을 세 몫으로 나눕니다. 학교에 비교하면 문제집, 모의고사, 수능입니다.

몫하는 일몇 번 보나
훈련 세트(문제집)모델이 숫자(가중치)를 맞춘다학습하는 내내
검증 세트(모의고사)하이퍼파라미터(학습률, 층 수, 언제 멈출지)와 모델을 고른다고를 때마다 여러 번
테스트 세트(수능)다 고른 뒤 마지막 점수를 잰다한 번

검증 세트로 여러 번 고르면 고른 쪽이 그 검증 세트에 맞춰집니다. 그래서 마지막 점수는 고르는 데 쓰지 않은 테스트 세트로 다시 잽니다. 이름은 책과 도구마다 바꿔 쓰기도 해서, 「검증」이 이 쪽의 「테스트」를 뜻하는 곳도 있습니다. 학습 점수와 테스트 점수의 차이가 뜻하는 것은 과적합 쪽에 있습니다.

2. 데이터 누수: 흔한 네 가지 꼴

데이터 누수는 모델을 실제로 쓸 때는 얻을 수 없는 정보가 학습이나 고르기에 섞여 드는 것입니다. 테스트 점수는 좋게 나오는데, 실제로 쓰면 그만큼 맞히지 못합니다. 오류가 나지 않아서 알아채기 어렵습니다.

꼴무엇이 새나막는 법
나누기 전에 정규화전체 자료로 평균과 표준편차를 구하면 테스트 세트의 평균과 표준편차가 학습에 섞인다. 빈칸 채우기, 특징 고르기도 같다먼저 나누고, 학습 쪽으로만 구해서 테스트 쪽에는 그 숫자를 쓴다(정규화 7절). 교차 검증에서는 전처리와 모델을 파이프라인 하나로 묶는다
같은 사람·같은 날의 자료가 양쪽에같은 사람의 측정, 같은 환자의 사진 여러 장, 같은 날 같은 기계로 찍은 사진은 서로 닮았다. 모델이 사람이나 기계를 외워도 점수가 나온다(위 실험)그룹(사람, 환자, 날짜) 단위로 나눠 한 그룹은 한쪽에만 둔다
미래 자료로 과거 예측시간 순 자료를 무작위로 섞으면 내일 값을 보고 어제를 맞히는 문제가 섞인다. 결과가 난 뒤에야 채워지는 칸(환불을 맞히는데 「환불 처리일」 칸)이 특징에 들어 있어도 같다시간으로 자른다. 칸마다 「예측하는 순간에 이 값을 알 수 있나」를 묻는다
테스트 세트로 여러 번 고르기테스트 점수를 보고 하이퍼파라미터를 바꾸고 다시 재기를 되풀이하면, 테스트 세트에 맞는 하이퍼파라미터가 뽑힌다고르기는 검증 세트나 교차 검증으로 하고, 테스트 세트는 마지막에 한 번 본다

3. 식이 만들어지는 과정: k겹 교차 검증

한 번만 나누면 어느 자료가 테스트에 들어갔느냐에 따라 점수가 크게 바뀝니다. k겹 교차 검증은 자료를 k 폴드(fold)로 나누고, 폴드마다 한 번씩 테스트를 맡겨 k 판을 합니다. 아래는 위 실험의 자료 60개를 사람 단위로 5폴드로 나눈 것입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 격자에 판이 늘어나고, 아래에 까닭이 나옵니다. 칸 안의 글자가 「테스트」인지 「학습」인지 적혀 있습니다.

  1. 폴드 나누기: k = 5. 사람 10명을 2명씩 5폴드로 나눕니다. 한 사람의 측정은 모두 한 폴드에 들어갑니다.
  2. 첫 판: s₁. 폴드 1 을 테스트로, 나머지 4폴드를 학습으로 두고 맞힌 비율 s₁ 을 잽니다. 여기까지는 한 번 나눈 것과 같습니다.
  3. 돌려 가며: s₁ + s₂ + s₃ + s₄ + s₅. 테스트 폴드를 옮겨 가며 다섯 판을 합니다. 모든 자료가 꼭 한 번 테스트에 쓰입니다.
  4. 평균: CV = (s₁ + s₂ + s₃ + s₄ + s₅) ÷ 5. 판마다 점수의 평균이 교차 검증 점수입니다. 폴드 k 개면 CV = (s₁ + s₂ + … + s_k) ÷ k.

판마다 테스트 점의 수가 같으면 이 평균은 전체 자료에서 맞힌 비율과 같습니다. 폴드 크기가 다르면 둘이 조금 다릅니다. k 를 자료의 수와 같게 하면 하나씩 빼기(leave-one-out)가 됩니다. 점수를 낸 뒤 실제로 쓸 모델은 보통 자료 전체로 다시 학습합니다. 교차 검증은 「이 만드는 법이 얼마나 맞히나」를 재는 것이고, 판마다 만든 모델 다섯 개는 버립니다.

해 볼 것. ① 처음에는 사람 10명이 폴드 5개로 묶인 모습만 있습니다. ② 「다음」: 첫 판의 테스트는 사람 1, 2 의 측정 12개이고 6개를 맞혀 s₁ = 0.5 입니다. ③ 「다음」: 다섯 판의 점수가 0.5, 0.67, 0.75, 0.42, 1 입니다. 한 번만 나눴다면 0.42 도, 1 도 나올 수 있었습니다. ④ 「다음」: 평균 0.67 이 주황 점선으로 나옵니다. 60개 가운데 40개를 맞힌 비율과 같습니다. 같은 자료를 무작위 5겹으로 나누면 평균이 1 입니다.

4. 손으로 따라가기

사람 넷이 숫자 하나를 두 번씩 쟀습니다. 사람 1, 2 는 클래스 A, 사람 3, 4 는 클래스 B 입니다. 모델은 위와 같은 최근접 이웃 분류기입니다.

사람클래스잰 값
1A1.0, 1.4
2A2.0, 2.4
3B3.0, 3.4
4B6.0, 6.4
  1. 측정 하나씩 빼기(무작위 쪽의 끝). 1.4 를 빼면 가장 가까운 값은 같은 사람의 1.0(거리 0.4)이라 맞힙니다. 어느 측정이든 같은 사람의 짝이 0.4 거리에 있고 다른 사람은 0.6 이상 떨어져 있어서, 8개 모두 맞힙니다. 점수 1.
  2. 사람 하나씩 빼기(그룹 단위 4겹). 사람 1 을 빼면 1.0 과 1.4 의 이웃은 2.0(A), 둘 다 맞혀 s₁ = 1. 사람 2 를 빼면 2.0 의 이웃은 1.4(A, 거리 0.6)라 맞고, 2.4 의 이웃은 3.0(B, 거리 0.6)이라 틀려 s₂ = 0.5. 사람 3 을 빼면 3.0 과 3.4 의 이웃이 모두 2.4(A)라 둘 다 틀려 s₃ = 0. 사람 4 를 빼면 6.0 과 6.4 의 이웃은 3.4(B), 둘 다 맞혀 s₄ = 1.
  3. 평균. CV = (1 + 0.5 + 0 + 1) ÷ 4 = 2.5 ÷ 4 = 0.625. 8개 가운데 5개를 맞힌 비율 5 ÷ 8 과 같습니다.

같은 자료, 같은 모델인데 나누는 법에 따라 1 과 0.625 가 나왔습니다. 사람 2, 3 은 클래스 A 와 B 의 경계(2.4 와 3.0 사이) 가까이 있어서, 자기 짝이 빠지자 틀리기 시작합니다.

5. 언제 무엇을 쓰나

나누는 법좋은 점나쁜 점쓰는 경우
무작위
KFold, train_test_split
가장 쉽다. 자료 하나하나가 따로 모은 것이면 정직하다자료끼리 묶여 있거나 시간 순이면 점수가 부푼다. 드문 클래스가 어느 폴드에 거의 안 들어갈 수 있다자료가 서로 독립이고 클래스 비율이 고를 때
층화
StratifiedKFold
폴드마다 클래스의 비율을 전체와 같게 맞춘다. 드문 클래스도 폴드마다 들어가 점수가 덜 흔들린다그룹과 시간은 여전히 보지 않는다. 클래스가 있는 분류 문제에만 바로 쓴다분류인데 클래스 비율이 치우쳐 있을 때(예: 사기 거래가 아주 적을 때). scikit-learn 이 분류기의 기본으로 쓴다
그룹
GroupKFold, StratifiedGroupKFold
같은 사람·같은 기기·같은 날의 자료를 한쪽에만 둔다. 새 그룹에 쓸 때의 점수를 잰다그룹 수가 적으면 판마다 점수가 크게 흔들린다. 그룹 크기가 다르면 폴드 크기도 다르다한 사람, 한 환자, 한 가게에서 자료가 여럿 나오고, 모델을 새 사람·새 가게에 쓸 때
시간 순
TimeSeriesSplit
과거로 학습하고 그 뒤의 기간으로 테스트해 실제 쓰임과 같다앞쪽 판은 학습 자료가 적다. 시간이 흐르며 성질이 바뀌면 판마다 점수가 다르다매출, 센서 기록, 주문처럼 시간 따라 쌓이는 자료로 앞날을 예측할 때
공간 블록, 현장 통째로
GroupKFold, LeaveOneGroupOut
가까운 곳의 자료를 한쪽에만 둔다. 안 본 구역, 안 본 현장에 쓸 때의 점수를 잰다점수가 낮게 나오고 판마다 크게 흔들린다. 구역이 작으면 옆 구역끼리 닮아 여전히 샌다드론·위성 사진, 토양, 날씨처럼 자리마다 값이 있는 자료

그룹 자료를 나누는 법

무엇을 그룹으로 볼지는 모델을 쓸 때 새로 들어오는 단위로 정합니다. 새 환자에게 쓸 모델이면 환자, 새 가게에 쓸 모델이면 가게입니다. 자료마다 그룹 번호를 붙이고 그 번호로 나눕니다. 위 실험의 「사람 단위로」가 이것입니다. 클래스 비율까지 맞추려면 그룹과 층화를 같이 하는 StratifiedGroupKFold 를 씁니다.

시간 순 자료를 나누는 법

섞지 않습니다. 시간 순서로 늘어놓고, 앞쪽으로 학습하고 바로 뒤쪽으로 테스트합니다. 판마다 학습 구간을 뒤로 늘려 가며 다음 구간을 테스트합니다. 예측할 것이 며칠 뒤의 값이면 학습 구간 끝과 테스트 구간 사이를 그만큼 비웁니다. TimeSeriesSplit 의 gap 이 이 빈칸입니다.

# scikit-learn: 전처리와 모델을 묶고, 나누는 법을 cv 에 준다
from sklearn.model_selection import GroupKFold, LeaveOneGroupOut, TimeSeriesSplit, cross_val_score
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

model = make_pipeline(StandardScaler(), KNeighborsClassifier(n_neighbors=1))
scores = cross_val_score(model, x, y, groups=person_ids, cv=GroupKFold(n_splits=5))   # 그룹: 사람 번호
scores = cross_val_score(model, x, y, cv=TimeSeriesSplit(n_splits=5))                 # 시간 순: x 는 시간 순서로
scores = cross_val_score(model, x, y, groups=block_ids, cv=GroupKFold(n_splits=4))    # 공간 블록: 구역 번호
scores = cross_val_score(model, x, y, groups=site_ids, cv=LeaveOneGroupOut())         # 현장 통째로(LOSO): 현장 번호
print(scores.mean(), scores.std())                                                    # 평균과 흔들림

위치가 있는 자료를 나누는 법: 공간 블록과 LOSO

지도 위의 자료는 가까운 곳끼리 닮았습니다. 옆 칸의 흙, 옆 밭의 작물은 거의 같습니다. 무작위로 나누면 테스트 칸 바로 옆의 칸이 학습 쪽에 들어가서, 모델은 원리가 아니라 「그 자리」를 외워 맞힙니다. 그룹 자료에서 같은 사람이 양쪽에 있는 것과 같은 일입니다. 그래서 그룹을 자리로 잡습니다.

나누는 법그룹답하는 질문
공간 블록지도를 큰 칸(구역)으로 자르고 구역째로 학습이나 테스트에 둔다같은 현장의 안 본 구역에서도 되나
현장 통째로(LOSO, leave-one-site-out)현장 하나를 통째로 테스트에 두고 나머지 현장으로 학습한다. 현장 수만큼 돌린다처음 가는 현장에서도 되나

둘을 같이 쓰기도 합니다. 현장 하나를 마지막 테스트용으로 빼 두고(LOSO), 남은 현장 안에서는 구역 단위로 나눠 하이퍼파라미터를 고릅니다(공간 블록). LOSO 는 분야에 따라 사람 한 명을 빼는 leave-one-subject-out 을 뜻하기도 합니다. 둘 다 「그룹 하나씩 빼기」이고 그룹이 현장이냐 사람이냐만 다릅니다.

현장 셋을 8 × 8 칸으로 찍은 지어낸 자료 192칸입니다. 칸마다 두 숫자와 클래스(A 또는 B)가 있습니다. 클래스는 자리 따라 완만하게 바뀌고, 두 숫자에는 클래스의 신호보다 큰 「자리 따라 천천히 바뀌는 값」과 「현장마다 다른 값」이 섞여 있습니다. 모델은 위 실험과 같은 최근접 이웃 분류기입니다.

해 볼 것. ① 「무작위로」는 평균 89% 입니다. 첫 판의 테스트 64칸 가운데 37칸은 가장 가까운 학습 칸이 같은 구역에 있습니다. ② 「공간 블록」을 누르면 구역이 통째로 테스트로 가고 평균이 77% 로 내려갑니다. 판마다 65% ~ 90% 로 흔들립니다. ③ 「현장 통째로」는 평균 68%, 현장별로 73%, 70%, 61% 입니다. 192칸 가운데 117칸이 클래스 A 라서 늘 A 라고만 답해도 61% 입니다. 처음 가는 현장에서 이 모델은 그보다 조금 나을 뿐인데, 무작위로 나눈 점수 89% 는 그것을 가렸습니다.

구역의 크기는 자료가 서로 닮은 거리보다 커야 합니다. 구역이 작으면 옆 구역끼리 닮아서 여전히 샙니다. 현장 수가 적으면 LOSO 점수가 현장마다 크게 다르니 평균과 함께 현장별 점수를 적습니다.

6. 꼭 알아야 할 성질

성질쉬운 말실험에서
처음 보는 자료일 때만 믿는다테스트 세트가 학습에 쓴 자료와 닮은 만큼 점수가 부푼다무작위 94%, 사람 단위 67%
나누는 단위 = 쓸 때 새로 오는 단위새 사람에게 쓸 모델은 사람 단위로, 앞날을 맞힐 모델은 시간 순으로 나눈다「사람 단위로」
교차 검증 점수는 판마다 점수의 평균한 번 나눈 운을 줄인다. 흔들림(가장 낮은 판, 가장 높은 판)을 같이 적는다0.42 ~ 1, 평균 0.67
자료에서 구하는 모든 것은 학습 쪽 안에서평균, 표준편차, 빈칸 채울 값, 고른 특징까지 판마다 학습 쪽으로만 다시 구한다2절의 첫 줄
테스트 세트는 볼 때마다 닳는다테스트 점수를 보고 고칠수록 테스트 세트에 맞춰진다. 마지막에 한 번 본다2절의 끝 줄

어디에 쓰나

자주 묻는 것

검증 세트와 테스트 세트는 왜 따로 두나요?

검증 점수를 보고 하이퍼파라미터나 모델을 고르면, 고른 쪽은 그 검증 세트에 잘 맞는 쪽으로 기웁니다. 그래서 검증 점수는 조금 좋게 나옵니다. 고른 결과를 한 번도 보지 않은 테스트 세트로 다시 재야 새 자료에서의 점수에 가깝습니다.

k 는 얼마로 하나요?

흔히 5 나 10 을 씁니다. k 가 크면 판마다 학습 자료가 많아 자료 전체로 만든 모델에 가깝지만, 학습을 k 번 해야 해서 오래 걸립니다. 학습 한 번이 비싼 딥러닝에서는 교차 검증 대신 검증 세트 하나를 떼어 두는 경우가 흔합니다. scikit-learn 의 cross_val_score 는 따로 정하지 않으면 5겹입니다.

교차 검증을 하면 테스트 세트는 없어도 되나요?

교차 검증 점수를 보고 하이퍼파라미터까지 골랐다면 그 평균 점수도 고른 쪽으로 기웁니다. 마지막 점수는 따로 떼어 둔 테스트 세트로 재거나, 하이퍼파라미터 고르기를 안쪽 교차 검증에 넣고 바깥쪽 교차 검증으로 점수를 내는 중첩 교차 검증(nested cross-validation)을 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
배우는 몫, 고르는 몫, 마지막에 재는 몫훈련 세트(training set), 검증 세트(validation set, dev set), 테스트 세트(test set)
떼어 두기홀드아웃(hold-out)
테스트 쪽 정보가 섞여 드는 것데이터 누수(data leakage). 결과가 난 뒤에야 채워지는 칸이 새는 것은 타깃 누수(target leakage)
k겹 교차 검증, 판k-fold cross-validation, 폴드(fold), 분할(split)
층화층화 추출(stratification, stratified k-fold)
그룹 단위로 나누기그룹 k겹(group k-fold), 하나씩 빼면 leave-one-group-out
공간 블록공간 블록 교차 검증(spatial block cross-validation, spatial k-fold)
현장 통째로 빼기LOSO(leave-one-site-out). 사람을 빼면 leave-one-subject-out. scikit-learn 에서는 LeaveOneGroupOut
가까운 곳끼리 닮음공간 자기상관(spatial autocorrelation)
하나씩 빼기leave-one-out(LOO)
시간 순 나누기시계열 교차 검증(time series split)
가장 가까운 이웃 분류기최근접 이웃(1-nearest neighbor, k-NN 에서 k = 1)
학습 전에 정해 두는 값하이퍼파라미터(hyperparameter)
안쪽과 바깥쪽 두 겹의 교차 검증중첩 교차 검증(nested cross-validation)
전처리와 모델을 하나로 묶은 것파이프라인(pipeline)

출처

← 혼동 행렬, 정밀도·재현율·F1하이퍼파라미터 찾기: 그리드 서치와 랜덤 서치 →