자료 분포 변화(드리프트)와 운영 감시

모델은 학습한 날의 자료를 배웁니다. 배포한 뒤 들어오는 자료가 달라지면, 코드 한 줄 바뀌지 않았는데 모델이 조용히 틀리기 시작합니다. 운영 자료의 분포를 옮기고 넓히며 PSI 가 어떻게 커지는지 보고, 그 식이 한 단계씩 만들어지는 과정을 따라가 보세요.

한 줄 답. 배포한 모델은 코드가 그대로여도 나빠질 수 있습니다. 들어오는 자료가 학습 때와 달라지기 때문입니다. 입력의 분포, 정답의 비율, 입력과 정답의 관계 가운데 무엇이든 바뀔 수 있습니다. 정답은 늦게 오니, 먼저 입력과 예측의 분포를 학습 때와 비교하여 감시합니다. 흔한 잣대가 PSI = Σ (qᵢ − pᵢ)·ln(qᵢ ÷ pᵢ) 입니다. 알림이 울리면 고장인지부터 보고, 다시 학습하거나 임계값(threshold)을 고치거나 앞 판으로 되돌립니다.

학습 때 값 1,000 개(초록 칠)는 고정이고, 운영 때 값 1,000 개(파란 테두리)는 막대로 옮기고(평균) 넓힙니다(폭 = 표준편차). 칸은 10 개입니다. 안쪽 8 칸은 폭 0.5 이고, 맨 끝 두 칸(1번, 10번)은 −2 미만과 2 이상을 모두 담습니다. 주황 바탕이 진할수록 그 칸이 PSI 에 보탠 몫이 큽니다. 가운데 줄이 칸마다의 몫, 맨 아래 막대가 그 합인 PSI 입니다(0 ~ 1, 1 을 넘으면 끝에 화살촉). 점선은 같은 분포에서 따로 뽑은 두 표본끼리의 PSI 입니다. 값은 고정 시드 난수기로 지어낸 정규분포 자료라 쪽을 열 때마다 같습니다. 작게 줄인 본보기입니다. 진짜 운영에서는 입력이 여럿이라 입력마다 이 계산을 하고, 예측 점수에도 같은 계산을 합니다.

해 볼 것. ① 처음(평균 0.5, 폭 1)에는 PSI 가 0.277 입니다. 가장 큰 몫은 10번 칸(2 이상)의 0.042 이지만, 왼쪽 칸들(0.025, 0.04, 0.041, 0.04)과 오른쪽 칸들(0.033, 0.038)도 비슷하게 보탭니다. 한쪽이 줄고 다른 쪽이 는 만큼 둘 다 셉니다. ② 평균 0, 폭 1 로 두면 학습 때와 같은 분포인데도 PSI 가 0 이 아니라 0.016 입니다. 이만큼이 노이즈입니다. ③ 평균을 0.1 로 옮기면 0.031, 0.2 면 0.052 입니다. 작은 변화는 노이즈와 가려내기 어렵습니다. ④ 평균 0 에서 폭만 2 로 넓히면 운영 평균은 −0.04 로 그대로인데 PSI 는 0.658 입니다. 폭을 0.5 로 좁히면 0.919 입니다. 평균만 감시하면 놓치는 변화입니다. ⑤ 평균을 1 로 옮기면 1.033 이 되어 막대 끝에 화살촉이 나옵니다.

1. 배포한 모델은 왜 나빠지나

모델은 학습 자료에서 「이런 입력이면 이런 정답」이라는 규칙을 배웁니다. 이 규칙은 앞으로 들어올 자료가 학습 자료와 같은 곳에서 나온다는 가정 위에 서 있습니다. 테스트 점수도 같은 가정으로 잽니다(자료 나누기).

배포한 뒤에는 이 가정이 깨질 수 있습니다. 계절이 바뀌고, 새 사용자층이 들어오고, 앞단 프로그램이 단위를 바꾸고, 사람들이 모델에 맞춰 행동을 바꿉니다. 코드와 가중치는 그대로인데 성능이 떨어지고, 오류 메시지도 없습니다. 학습 때와 운영 때 자료의 분포가 달라지는 것을 드리프트(drift)라고 부르고, 이것을 정답이 오기 전에 알아채려는 일이 운영 감시입니다.

2. 세 가지 변화

x 는 입력, y 는 정답입니다. P(x) 는 입력이 어떻게 퍼져 있나, P(y) 는 정답의 비율, P(y | x) 는 입력이 주어졌을 때 정답이 무엇인가(모델이 배우는 관계)입니다.

변화바뀌는 것그대로인 것예
공변량 이동(covariate shift): 입력 분포가 바뀜P(x)P(y | x)광고로 젊은 사용자가 몰려 「나이」 입력이 어려진다. 나이별로 무엇을 사는지는 그대로다
레이블 이동(label shift): 정답 비율이 바뀜P(y)P(x | y)독감 철에 환자 가운데 독감의 비율이 오른다. 독감 환자가 보이는 증상은 그대로다
개념 이동(concept drift): 입력과 정답의 관계가 바뀜P(y | x)입력은 그대로일 수 있다사기꾼이 수법을 바꿔, 예전에 정상이던 모양의 거래가 이제 사기다

정답 비율이 바뀌면 입력 분포도 따라 바뀌고(입력이 정답에서 나오는 경우), 모델이 내는 확률도 새 비율과 어긋납니다. 실제로는 셋이 섞여 옵니다. 세 갈래는 원인을 짐작하고 대응을 고르는 틀입니다. 위 실험은 입력 하나의 분포가 바뀌는 첫째 경우입니다. 아래 그림은 세 경우를 「전」과 「후」로 비교합니다(초록 ●과 파랑 ■은 정답이 다른 두 클래스, 회색 실선은 모델의 경계).

전 후
공변량 이동. 바뀌는 것 P(x), 그대로인 것 P(y | x). 두 클래스가 옆으로 옮겨 갔지만 경계는 그대로 맞습니다.
전 후
레이블 이동. 바뀌는 것 P(y), 그대로인 것 P(x | y). 아래 클래스의 점만 7개에서 16개로 늘었고, 점이 놓이는 곳은 같습니다.
전 후
개념 이동. 바뀌는 것 P(y | x), 입력은 그대로일 수 있다. 점은 그대로인데 참 경계가 주황 점선으로 돌아가, 옛 경계(회색)로는 × 세 점이 틀립니다.

3. 정답이 늦게 오거나 안 올 때 볼 것

정답은 늦게 옵니다. 대출을 갚았는지는 몇 달 뒤에 알고, 추천을 왜 누르지 않았는지는 영영 모를 수 있습니다. 그동안 볼 수 있는 것은 셋입니다.

관계가 바뀐 경우는 입력과 예측의 분포가 그대로일 수 있어, 정답이 와야 압니다. 그래서 일부 자료에 사람이 먼저 정답을 다는 길처럼, 정답을 조금이라도 빨리 모으는 길을 같이 둡니다.

4. 재는 방법: PSI, KL, KS 검정

칸을 아주 잘게 나누고 표본이 끝없이 많으면, 폭이 같은 두 정규분포의 평균이 표준편차의 d 배만큼 떨어졌을 때 PSI 는 d² 에 다가갑니다. 위 실험의 처음(평균 0.5)이면 0.25 입니다. 실험의 0.277 이 이와 조금 다른 것은 칸이 10 개뿐이고 표본이 1,000 개뿐이기 때문입니다.

5. 식이 만들어지는 과정

위 실험과 같은 자료로, PSI 가 어떻게 만들어지는지 한 단계씩 봅니다. 막대를 움직이면 아래 그림도 같이 바뀝니다.

  1. 비율 차이: qᵢ − pᵢ. 칸마다 운영 비율에서 학습 비율을 뺍니다. 까닭: 어느 칸이 늘고 줄었는지 보려면 먼저 비교해야 합니다. 그런데 비율은 합이 둘 다 1 이라, 차이를 모두 더하면 0 입니다. 차이만으로는 변화의 크기를 잴 수 없습니다.
  2. 비의 로그: ln(qᵢ ÷ pᵢ). 운영 쪽이 많으면 양수, 적으면 음수입니다. 까닭: 차이는 「몇 점」을, 비는 「몇 배」를 봅니다. 드문 칸이 세 배가 되는 것은 차이로는 작아 보여도 비로는 큽니다. 그리고 부호가 차이와 늘 같습니다.
  3. 곱하기: (qᵢ − pᵢ)·ln(qᵢ ÷ pᵢ) ≥ 0. 까닭: 부호가 같은 두 수의 곱이라 칸마다 0 이상이고, 두 비율이 같은 칸만 0 입니다. 이제 더해도 서로 지워지지 않습니다.
  4. 더하기: PSI = Σ (qᵢ − pᵢ)·ln(qᵢ ÷ pᵢ). 칸마다의 몫을 모두 더합니다. 어느 칸이 많이 보탰는지가 그대로 남아, 무엇이 바뀌었는지 짚을 수 있습니다.

해 볼 것. 처음 자료(평균 0.5, 폭 1)에서 가장 큰 몫은 10번 칸입니다. ① 0.059 − 0.02 = 0.039 이고, 열 칸의 차이를 모두 더하면 0 입니다. ② ln(0.059 ÷ 0.02) = ln 2.95 = 1.08 입니다. 막대의 방향이 ① 과 칸마다 같은지 보세요. ③ 0.039 × 1.08 = 0.042. 모든 막대가 위로 섭니다. ④ 모두 더하면 0.277 이고, 10번 칸은 그 가운데 15% 입니다. 첫 실험에서 평균을 0 으로 두고 ④ 를 보면 PSI 0.016 이 남습니다.

6. 손으로 풀어 보기

칸이 셋인 작은 예입니다. 학습 때 비율 p = (0.5, 0.3, 0.2), 운영 때 비율 q = (0.3, 0.3, 0.4).

  1. 차이. −0.2, 0, 0.2. 더하면 0.
  2. 비와 로그. 비는 0.6, 1, 2. 로그는 ln 0.6 = −0.511, ln 1 = 0, ln 2 = 0.693.
  3. 곱. −0.2 × −0.511 = 0.102, 0, 0.2 × 0.693 = 0.139. 모두 0 이상.
  4. 더하기. PSI = 0.102 + 0 + 0.139 = 0.241.
  5. KL 로 확인. D_KL(Q ‖ P) = 0.3 × (−0.511) + 0 + 0.4 × 0.693 = 0.124, D_KL(P ‖ Q) = 0.5 × 0.511 + 0 + 0.2 × (−0.693) = 0.117. 두 방향이 다르고, 합 0.241 이 PSI 입니다.
칸pqq − pq ÷ pln(q ÷ p)몫
10.50.3−0.20.6−0.5110.102
20.30.30100
30.20.40.220.6930.139
합1100.241

7. 꼭 알아야 할 성질

성질쉬운 말실험에서
늘 0 이상, 같을 때만 0칸마다의 몫이 0 이상이라 더해도 지워지지 않는다5절 ③, 가운데 줄의 몫
KL 두 방향의 합이라 대칭p 와 q 를 바꿔도 같은 값. KL 은 방향에 따라 다르다6절의 0.124 + 0.117
같은 분포여도 0 이 아니다표본이 유한하면 우연한 차이가 노이즈로 남는다평균 0, 폭 1 에서 0.016
평균이 그대로여도 커진다폭이나 모양이 바뀐 것도 잡는다폭 2 에서 0.658
칸 나누기에 따라 값이 바뀐다칸 수와 경계가 다르면 다른 숫자. 한쪽이 빈 칸은 끝없이 커지니 작은 수로 바꾼다. 그래서 칸 경계까지 남겨 두고 늘 같은 경계로 잰다1번·10번 칸

8. 알림 기준과 거짓 양성

9. 대응: 다시 학습, 임계값 조정, 되돌리기

10. 언제 무엇을 쓰나

변화 종류볼 것과 좋은 점나쁜 점할 일
공변량 이동입력마다 PSI·KS. 어느 입력이 바뀌었는지 짚는다모델이 잘 아는 범위 안에서 옮겨 가면 성능은 그대로라 거짓 양성이 된다. 입력이 많으면 우연한 알림이 쌓인다정답이 오면 성능부터 확인. 학습 때 없던 입력이 늘었으면 최근 자료로 다시 학습
레이블 이동예측 분포(클래스 비율, 점수의 평균). 정답 없이 한 줄로 본다확률이 새 비율과 어긋난다. 정확도만 보면 늦게 안다새 비율을 추정해 확률을 다시 맞추거나 임계값을 옮긴다
개념 이동정답이 온 뒤의 성능. 가장 확실하다입력·예측 분포로는 안 보일 수 있고, 정답이 늦은 만큼 늦게 안다최근 정답 자료로 다시 학습. 정답을 빨리 모으는 길을 둔다
판을 올린 직후 갑자기(고장)올린 때와 겹치는 계단 모양 변화, 빈 값 비율, 범주 이름자료 변화로 착각해 다시 학습하면 고장 난 입력을 배운다앞 판으로 되돌리고 원인을 고친다

11. 실험 재현을 위해 남길 것

되돌리고 다시 학습하려면 그 모델을 다시 만들 수 있어야 하고, 감시하려면 학습 때의 분포가 있어야 합니다. 모델 판마다 아래를 같이 남깁니다.

남길 것무엇을왜
시드가중치 초기화, 자료 섞기, 나누기에 쓴 난수 시드같은 자료와 설정에서 같은 결과를 다시 내려고. GPU 계산은 같은 시드여도 조금 다를 수 있다
자료 판어느 기간의 어느 자료로 학습·검증·테스트했나, 무엇을 걸렀나, 파일의 지문(해시)자료가 바뀌면 같은 코드도 다른 모델이 된다
설정하이퍼파라미터, 전처리 값(정규화에 쓴 평균·표준편차), 라이브러리 판, 코드 커밋전처리가 학습 때와 다르면 그 자체가 드리프트처럼 보인다
모델 판가중치 파일과 이름표. 운영 로그의 예측마다 어느 판이 냈는지되돌리기와, 알림이 판 교체와 겹치는지 보려고
학습 때의 분포입력마다 칸 경계와 비율 p, 예측 점수의 분포PSI 는 이 p 가 있어야 잰다. 경계가 바뀌면 값도 바뀐다

어디에 쓰나

자주 묻는 것

드리프트가 보이면 바로 다시 학습해야 하나요?

아닙니다. 입력 분포가 바뀌어도 모델이 잘 아는 범위 안이면 성능은 그대로일 수 있습니다. 먼저 새 판을 올린 때와 겹치는지 보아 고장인지 가리고, 정답이 오면 성능으로 확인한 뒤에 다시 학습합니다. 다시 학습한 모델도 최근 자료로 만든 테스트를 통과해야 올립니다.

PSI 가 얼마면 위험한가요?

모든 곳에 맞는 하나의 값은 없습니다. 칸 수와 표본 수에 따라 바뀌지 않았을 때의 PSI(노이즈)가 달라지기 때문입니다. 바뀌지 않았다고 아는 두 기간끼리 PSI 를 재서 노이즈의 크기를 보고, 그보다 넉넉히 위에 기준을 둡니다. 그다음 실제 성능 저하와 함께 울렸는지 보며 기준을 고칩니다.

KL 과 PSI 는 무엇이 다른가요?

PSI 는 KL 을 두 방향으로 재어 더한 것입니다. KL 은 Q‖P 와 P‖Q 의 값이 달라 어느 쪽을 기준으로 했는지 적어야 하고, PSI 는 순서를 바꿔도 같습니다. 손 예제에서 0.124 + 0.117 = 0.241 이 PSI 입니다. 둘 다 한쪽 비율이 0 인 칸이 있으면 끝없이 커질 수 있어, 0 을 작은 수로 바꿔 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
자료 분포 변화드리프트(drift), 데이터셋 이동(dataset shift), 분포 이동(distribution shift)
입력 분포가 바뀜공변량 이동(covariate shift)
정답 비율이 바뀜레이블 이동, 사전 확률 이동(label shift, prior probability shift)
입력과 정답의 관계가 바뀜개념 이동(concept drift, concept shift)
운영 감시모델 모니터링(model monitoring)
학습 때의 분포 p, 운영 때의 분포 q기준 분포(reference), 현재 분포(current)
칸구간, 빈(bin)
PSI모집단 안정성 지수(population stability index)
KL쿨백-라이블러 발산(Kullback-Leibler divergence)
KL 두 방향의 합제프리스 발산(Jeffreys divergence), 대칭 KL
누적 비율 곡선경험적 누적 분포 함수(empirical CDF)
KS 검정콜모고로프-스미르노프 검정(Kolmogorov-Smirnov test)
두 표본 검정two-sample test
가장 큰 확률신뢰도(confidence), 최대 소프트맥스 확률
괜히 울린 알림거짓 양성(false positive), 오탐
검사를 여러 번 할 때 기준을 엄격하게다중 비교 보정, 본페로니 보정(Bonferroni correction)
「넘으면 양성」의 점수결정 임계값(decision threshold)
정답이 늦게 옴레이블 지연(label delay)
다시 학습, 되돌리기재학습(retraining), 롤백(rollback)
시드, 자료 판, 모델 판난수 시드(random seed), 데이터 버전, 모델 버전(versioning)

출처

← 양자화토큰화 →