선형 판별 분석(LDA): 클래스를 가장 잘 가르는 방향

점들을 직선 하나에 내리면 숫자 하나로 줄어듭니다. 어느 직선에 내리느냐에 따라 두 클래스가 겹치기도 하고 깨끗이 갈리기도 합니다. 직선을 돌려 보며 두 클래스를 가장 잘 가르는 방향을 찾고, 그 방향의 식을 만들어 보세요.

한 줄 답. 선형 판별 분석(LDA)은 정답(클래스)을 보고, 점들을 직선에 내렸을 때 클래스끼리는 멀고 클래스 안에서는 모이는 방향을 찾습니다. 그 방향은 J(w) = (m₁ − m₂)² ÷ (s₁² + s₂²) 를 가장 크게 하고, 답은 w ∝ S_W⁻¹(μ₁ − μ₂) 입니다. 정답을 보지 않고 가장 넓게 퍼진 방향을 찾는 PCA 와 다릅니다. 차원을 줄이는 데에도, 분류기로도 씁니다.

막대나 숫자 칸으로 직선을 돌려 보세요. 점마다 직선에 수직으로 내린 자리가 아래 히스토그램에 쌓입니다. J 는 두 히스토그램이 얼마나 잘 갈리는지를 숫자 하나로 잽니다. 점은 고정 시드(seed) 난수기로 지어낸 40개라 쪽을 열 때마다 같습니다. 숫자는 소수 둘째 자리까지 반올림해 보여 주고, J 는 반올림하기 전 값으로 계산합니다.

해 볼 것. ① 처음은 PCA 방향(20°)입니다. 두 히스토그램이 겹쳐 J = 0.56 이고, 가운데에서 가르면 40개 가운데 14개가 반대쪽에 놓입니다. 점들이 가장 넓게 퍼진 방향이 클래스를 가르는 방향은 아닙니다. ② 「LDA 방향」을 누르면 122° 로 돌아가고 J = 8.06, 반대쪽에 놓이는 점은 0개입니다. 두 구름이 길쭉한 방향(30° 쯤)과 거의 직각입니다. ③ 각도를 80° 로 두면 두 평균이 직선 위 거의 같은 자리에 내려와 J = 0, 21개가 반대쪽입니다. ④ 막대를 끝까지 돌려 보세요. J 가 8.06 보다 커지는 각도는 없습니다.

1. LDA 란: PCA 와 무엇이 다른가

점 하나는 입력이 여럿인 자료 하나이고(여기서는 가로·세로 둘), 점마다 클래스(정답 이름표)가 붙어 있습니다. 메일이라면 「스팸」과 「보통」, 꽃이라면 품종입니다. 입력이 많으면 다루기 어려우니 적은 수의 숫자로 줄이고 싶습니다. 가장 쉬운 방법은 방향 하나를 정해 점들을 그 직선에 내리는 것입니다. 점과 방향 화살표 w 의 내적 y = wᵀx 가 내린 자리입니다.

어느 방향으로 내릴지를 정하는 기준이 둘입니다.

「무리 사이의 분산 ÷ 무리 안의 분산」은 분산 분석의 F 와 같은 생각입니다. 분산 분석은 정해진 무리들이 정말 다른지 이 비로 재고, LDA 는 이 비가 가장 커지는 방향을 찾습니다.

글 묶음에서 주제를 찾는 잠재 디리클레 할당(latent Dirichlet allocation)도 줄여서 LDA 라고 부르지만, 이 쪽의 LDA 와는 이름만 같은 다른 방법입니다.

2. 식이 만들어지는 과정

위 실험과 같은 점들입니다. 「다음」을 누르면 직선이 돌고, 식에 조각이 하나씩 붙습니다(주황 바탕이 이번에 붙은 조각).

기호는 이렇습니다. μ₁, μ₂ 는 두 클래스의 평균(점), m₁, m₂ 는 그 평균을 직선에 내린 값(숫자), s₁², s₂² 는 클래스마다 직선에 내린 값들의 분산, w 는 길이 1 인 방향입니다.

  1. 직선에 내리기: m₁ − m₂ = wᵀ(μ₁ − μ₂). 평균을 내린 값은 내린 값들의 평균과 같습니다. 그래서 직선 위 두 평균의 차이는 두 평균의 차이 μ₁ − μ₂ 를 내린 것입니다. PCA 방향(20°)에서는 m₁ = −0.84, m₂ = 0.81, 차이 1.65 입니다.
  2. 평균의 차이만 키우기: w ∝ μ₁ − μ₂. 길이 1 인 w 로 내린 차이는 w 가 μ₁ − μ₂ 와 같은 방향일 때 가장 큽니다. 실험에서는 170.7° 이고 차이가 1.89 로 커집니다. 그런데 이 방향으로도 두 구름이 넓게 퍼져 있어 히스토그램이 겹치고, 가운데에서 가르면 11개가 반대쪽에 놓입니다. 까닭: 평균이 멀어도 클래스마다 넓게 퍼져 있으면 끝자락이 서로 넘어갑니다.
  3. 클래스 내 분산으로 나누기: J(w) = (m₁ − m₂)² ÷ (s₁² + s₂²). 이 방향에서 s₁² = 1.1, s₂² = 2.01 이고 J ≈ 1.16 입니다. 분자는 평균이 멀수록, 분모는 클래스마다 모일수록 J 를 키웁니다. 분자가 제곱이라 w 를 몇 배 해도, 뒤집어도 J 는 같습니다. 방향만 뜻이 있습니다.
  4. 가장 크게 하는 방향: w ∝ S_W⁻¹(μ₁ − μ₂). S_W 는 두 클래스의 공분산 행렬(입력끼리 같이 퍼진 정도를 모은 표)을 더한 것입니다. 실험에서는 Σ₁ = [1.37 0.77; 0.77 0.55], Σ₂ = [2.46 1.28; 1.28 0.78] 이라 S_W = [3.82 2.05; 2.05 1.33] 이고, 역행렬은 S_W⁻¹ = [1.46 −2.24; −2.24 4.19] 입니다. μ₁ − μ₂ = (−1.87, 0.3) 에 곱하면 (−3.42, 5.47), 길이 1 로 줄이면 (−0.53, 0.85), 곧 122° 입니다. 차이는 1.25 로 줄지만 분산의 합이 3.11 에서 0.19 로 훨씬 더 줄어 J = 8.06 이 됩니다. J 를 w 로 미분해 0 이 되는 곳을 풀면 이 식이 나옵니다. 여기서는 그 증명을 하지 않습니다.

S_W⁻¹ 를 곱하는 일은 퍼진 방향은 줄이고 좁은 방향은 늘려 클래스 구름을 둥글게 만든 뒤, 거기서 평균의 차이 방향을 고르는 것과 같습니다. 그래서 답이 평균 차이 방향(170.7°)에서 클래스가 좁게 퍼진 쪽으로 돌아갑니다. 가장 큰 J 는 (μ₁ − μ₂)ᵀ S_W⁻¹ (μ₁ − μ₂) 로 바로 구할 수도 있고, 실험에서는 8.06 입니다. 반올림한 숫자로 손 계산하면 끝자리가 조금 다를 수 있습니다.

책에 따라 S_W 를 공분산(평균 낸 것) 대신 점마다의 제곱을 더한 합으로 적습니다. 두 클래스의 점 수가 같으면 둘은 배수 차이라 가장 좋은 방향이 같고, J 의 크기만 달라집니다.

해 볼 것. 「다음」을 세 번 누르며 J 를 보세요. 0.56(PCA 방향) → 1.16(평균 차이 방향) → 8.06(LDA 방향) 입니다. 반대쪽에 놓이는 점은 14 → 11 → 0 개입니다. 둘째 단계에서 셋째 단계로 갈 때는 직선이 그대로이고 식만 바뀝니다.

3. 손으로 풀어 보기

클래스마다 점 넷인 작은 자료입니다. 클래스 2 는 클래스 1 을 오른쪽으로 2 옮긴 것입니다.

  1. 평균. μ₁ = (1, 1), μ₂ = (3, 1). 차이 μ₁ − μ₂ = (−2, 0). 평균만 보면 가로로 갈라져 있습니다.
  2. 클래스마다 공분산. 클래스 1 에서 평균을 빼면 (−1, −1), (1, 1), (0, −1), (0, 1). 가로 분산 (1 + 1 + 0 + 0) ÷ 4 = 0.5, 세로 분산 (1 + 1 + 1 + 1) ÷ 4 = 1, 공분산 (1 + 1 + 0 + 0) ÷ 4 = 0.5. 그래서 Σ₁ = [0.5 0.5; 0.5 1]. 클래스 2 는 옮기기만 했으니 Σ₂ 도 같습니다.
  3. 더하고 뒤집기. S_W = Σ₁ + Σ₂ = [1 1; 1 2]. 2×2 역행렬은 [a b; c d]⁻¹ = [d −b; −c a] ÷ (ad − bc) 이고 ad − bc = 2 − 1 = 1 이라 S_W⁻¹ = [2 −1; −1 1].
  4. 방향. S_W⁻¹(μ₁ − μ₂) = (2·(−2) + (−1)·0, (−1)·(−2) + 1·0) = (−4, 2). 방향만 보면 (−2, 1) 입니다. 가로가 아니라 비스듬합니다.
  5. 비교하기. 두 방향의 J 를 잽니다.
방향 w(m₁ − m₂)²s₁² + s₂²J
가로 (1, 0): 평균 차이 방향(−2)² = 40.5 + 0.5 = 14
(−2, 1) ÷ √5: LDA 방향(4 ÷ √5)² = 3.20.2 + 0.2 = 0.48

LDA 방향의 s₁² 는 wᵀΣ₁w = ((−2)²·0.5 + 2·(−2)·1·0.5 + 1²·1) ÷ 5 = (2 − 2 + 1) ÷ 5 = 0.2 입니다. 평균의 차이는 4 에서 3.2 로 조금 줄었지만, 클래스 내 분산이 1 에서 0.4 로 크게 줄어 J 가 두 배가 됐습니다. 점 (0, 0) 과 (2, 2) 처럼 클래스가 오른쪽 위로 비스듬히 퍼져 있어서, 그 퍼짐을 피하는 쪽으로 기운 것입니다. 가장 큰 J 를 바로 구하는 식으로도 (−2, 0) · (−4, 2) = 8 입니다.

4. 꼭 알아야 할 성질

성질쉬운 말실험에서
정답을 본다클래스 이름표가 있어야 한다(지도 학습). PCA 는 이름표 없이 한다PCA 단추(20°)와 LDA 단추(122°)의 방향이 다르다
방향만 뜻이 있다w 를 몇 배 해도, 뒤집어도 J 는 같다θ 와 θ + 180° 는 같은 직선이라 각도를 0 ~ 180° 로만 적는다
많아야 C − 1 차원클래스가 C 개면 쓸모 있는 방향이 많아야 C − 1 개(5절)클래스 둘이라 직선 하나
눈금을 바꿔도 결과가 같다입력을 늘이거나 줄이거나, 되돌릴 수 있게 섞어도 가장 큰 J 와 분류 결과가 그대로다. 눈금에 따라 답이 바뀌는 PCA 와 다르다. 벌점(수축)을 더한 LDA 는 예외실험에는 없다. 2절의 답에 x 대신 Ax 를 넣으면 A 가 지워진다
가정이 맞을 때 가장 좋다클래스마다 공분산이 같은 종 모양 분포면, LDA 의 경계가 가장 적게 틀리는 경계와 같다(7절)두 구름이 같은 방향으로 길쭉하다

5. 클래스가 C 개면 많아야 C − 1 차원

클래스가 셋 이상이면 J 의 분자를 「클래스 평균들이 전체 평균에서 퍼진 정도」(클래스 간 산포 행렬 S_B)로, 분모를 클래스 내 산포 행렬 S_W 로 바꿔 같은 비를 크게 합니다. 답은 방향 하나가 아니라 여럿이고, S_W⁻¹S_B 의 고유벡터들입니다.

그런데 클래스 간 산포 행렬은 평균들이 서로 떨어진 방향에만 있습니다. 점 둘은 직선 하나 위에, 점 셋은 평면 하나 위에 놓입니다. 평균 C 개는 많아야 C − 1 차원에 놓이므로, J 를 0 보다 크게 하는 방향도 많아야 C − 1 개입니다. 입력의 수 d 보다 많을 수도 없으니 LDA 로 줄인 차원은 많아야 min(C − 1, d) 입니다. 클래스가 열 개인 손글씨 숫자라면 9 차원까지, 클래스가 둘이면 직선 하나뿐입니다.

6. 어디에 쓰나: 차원 축소와 분류기

# scikit-learn: 정답 y 를 같이 준다
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
lda = LinearDiscriminantAnalysis(n_components=1)   # 많아야 클래스 수 − 1
x_small = lda.fit_transform(x_train, y_train)      # 차원 축소
y_pred = lda.predict(x_test)                       # 분류기

7. 가정과, 깨질 때

J 를 가장 크게 하는 방향은 분포를 가정하지 않고도 정의됩니다. 다만 그 방향이 가장 적게 틀리는 경계가 되는 것은 클래스마다 자료가 정규분포(종 모양)이고 퍼짐의 모양(공분산 행렬)이 같을 때입니다. 실험의 두 구름이 같은 방향으로 길쭉한 것이 이 경우입니다. 깨지는 경우는 이렇습니다.

8. 언제 무엇을 쓰나

선택지좋은 점나쁜 점쓰는 경우
PCA정답이 없어도 된다. 줄일 차원 수를 마음대로 고른다. 정보를 가장 많이 남긴다클래스를 보지 않아 가르는 방향을 버릴 수 있다(실험의 20°). 입력의 눈금에 따라 답이 바뀐다정답이 없을 때, 자료를 그림으로 펼쳐 보거나 압축할 때, 다른 모델 앞에서 입력을 줄일 때
LDA정답을 보고 가르는 방향을 찾는다. 식 한 줄로 풀려 반복 학습이 없다. 차원 축소와 분류를 같이 한다. 클래스가 여럿이어도 된다많아야 C − 1 차원. 공분산이 같은 종 모양을 가정한다. 경계가 직선뿐이다. 이상치에 약하다정답이 있고 자료가 적을 때, 여러 클래스를 2차원 그림으로 볼 때, 빠르고 단순한 기준 분류기가 필요할 때
로지스틱 회귀입력의 분포를 가정하지 않고 경계를 바로 배운다. 클래스일 확률을 낸다경사 하강법 같은 반복 학습이 필요하다. 차원을 줄여 주지 않는다분류가 목적이고 확률이 필요할 때, 자료가 종 모양에서 벗어날 때

셋 다 경계나 방향이 직선입니다. 경계가 휘어야 하면 QDA, 입력을 늘린 로지스틱 회귀, 신경망으로 갑니다.

자주 묻는 것

주제 모형의 LDA 와 같은 것인가요?

아닙니다. 글 묶음에서 주제를 찾는 잠재 디리클레 할당(latent Dirichlet allocation)도 줄여서 LDA 라고 부르지만, 정답 없이 낱말이 함께 나오는 모양에서 주제를 찾는 확률 모형입니다. 이 쪽의 선형 판별 분석과는 이름만 같습니다.

클래스가 둘이면 왜 직선 하나뿐인가요?

LDA 가 찾는 방향은 클래스 평균들이 서로 떨어진 쪽에서 나옵니다. 평균 둘은 직선 하나 위에 놓이므로 쓸모 있는 방향이 하나입니다. 클래스가 C 개면 평균 C 개가 놓이는 공간이 많아야 C − 1 차원이라, LDA 로 얻는 차원도 많아야 C − 1 개입니다.

평균이 같은 두 클래스도 가를 수 있나요?

LDA 로는 가를 수 없습니다. 어느 방향으로 내려도 두 평균이 같은 자리에 와서 J 의 분자가 0 입니다. 한 클래스가 다른 클래스를 고리처럼 둘러싼 자료가 그렇습니다. 클래스마다 공분산을 따로 두는 이차 판별 분석(QDA)이나 휘어진 경계를 배우는 모델을 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
선형 판별 분석linear discriminant analysis(LDA), 피셔의 선형 판별(Fisher's linear discriminant)
클래스, 정답 이름표클래스(class), 레이블(label)
직선에 내리기사영, 투영(projection)
J(w)피셔의 기준(Fisher criterion)
클래스 안 퍼짐 S_W클래스 내 산포 행렬(within-class scatter matrix)
클래스 사이 퍼짐 S_B클래스 간 산포 행렬(between-class scatter matrix)
같이 퍼진 정도를 모은 표 Σ공분산 행렬(covariance matrix)
정답을 보고 배우기 / 안 보고 배우기지도 학습(supervised) / 비지도 학습(unsupervised)
가장 넓게 퍼진 방향주성분(principal component)
퍼짐이 같은 종 모양공통 공분산을 가진 정규분포(Gaussian with shared covariance)
클래스마다 퍼짐을 따로 두는 판이차 판별 분석(quadratic discriminant analysis, QDA)
공분산을 단순한 쪽으로 당기기수축(shrinkage)
이름만 같은 LDA잠재 디리클레 할당(latent Dirichlet allocation)

출처

← 주성분 분석(PCA)t-SNE 와 UMAP →