주성분 분석(PCA): 차원 축소

숫자가 많은 자료를 숫자 몇 개로 줄이고 싶을 때가 있습니다. 아무 숫자나 버리면 정보를 많이 잃습니다. 주성분 분석은 버려도 가장 덜 아까운 방향을 찾아 줍니다. 직선을 돌려 보며 점들의 그림자가 어떻게 바뀌는지 보세요.

한 줄 답. 주성분 분석(PCA)은 자료가 가장 넓게 퍼져 있는 방향을 찾아, 그 방향을 새 기준으로 삼는 방법입니다. 덜 퍼진 방향을 버리면 숫자 개수(차원)를 줄이면서 정보를 가장 적게 잃습니다. 그 방향은 자료의 공분산 행렬에서 가장 큰 고윳값의 고유벡터입니다.

한 줄로 줄인 모습: 그림자만 남긴 1차원 그림

°

남는 분산(그림자의 분산)

재구성 오차(수선 길이² 의 평균)

( , )

파란 점을 끌거나, 점을 고르고 숫자를 고쳐 보세요. 초록 직선은 늘 평균(검은 점)을 지나고, 막대나 숫자 칸, 직선 끝의 초록 손잡이로 돌립니다. 주황 점선은 점에서 직선으로 직각으로 내린 선(수선)이고, 그 발에 있는 검은 작은 점이 그림자입니다. 「답 보기」를 누르면 직선이 첫째 주성분으로 돌아가고 보라 화살표 둘(주성분 1, 2)이 나옵니다. 화살표 길이는 그 방향의 표준편차입니다. 점은 고정 시드(seed) 난수기로 지어낸 것이라 쪽을 열 때마다 같은 20개가 나옵니다. 「점 빼기」는 고른 점(검은 고리)을 뺍니다.

1. 그림자로 차원 축소

평면 위의 점 하나는 숫자 둘 (x, y) 로 적습니다. 이 점을 직선 하나에 직각으로 떨어뜨리면 그림자가 생깁니다. 그림자는 직선 위의 자리 숫자 하나로 적을 수 있습니다. 숫자 둘이 하나가 됐습니다. 이것이 차원 축소(dimensionality reduction)입니다. 숫자 1000개짜리 자료를 10개로 줄이는 것도 같은 일을 더 큰 공간에서 하는 것입니다.

줄이면 무언가를 잃습니다. 잃는 것(재구성 오차, reconstruction error)은 점에서 직선까지의 거리(수선)입니다. 그림자만 보고는 원래 점이 직선에서 어느 쪽으로 얼마나 떨어져 있었는지 모릅니다.

어느 직선이 좋을까요? 그림자들이 넓게 퍼져 있으면 서로 다른 점이 서로 다른 숫자로 남습니다. 그림자들이 한곳에 몰리면 다른 점들이 거의 같은 숫자가 되어 구별되지 않습니다. 그래서 그림자들이 가장 넓게 퍼지는 방향을 고릅니다. 퍼진 정도는 분산으로 잽니다. 이 방향이 첫째 주성분이고, 그와 직각인 방향이 둘째 주성분입니다.

해 볼 것. ① 처음 직선은 0°(가로)입니다. 남는 분산은 3.03, 재구성 오차는 1.82 이고, 더하면 4.85 입니다. ② 막대를 90° 로 돌리면 둘이 바뀌어 1.82 와 3.03 이 됩니다. 45° 에서는 4.29 와 0.56 입니다. 어디로 돌려도 합은 4.85 입니다. ③ 「답 보기」를 누르면 직선이 36° 로 돌아갑니다. 남는 분산은 4.39 로 가장 크고, 재구성 오차는 0.46 으로 가장 작습니다. 아래 띠의 점들도 이때 가장 넓게 퍼집니다.

2. 분산과 공분산: 얼마나 퍼졌나, 같이 움직이나

분산은 평균에서 떨어진 거리를 제곱해 평균 낸 값입니다. x̄(엑스 바)는 x 들의 평균, n 은 점의 수, Σ 는 「모두 더한다」는 기호입니다.

x 의 분산 = Σ (x − x̄)² ÷ n

분산의 제곱근이 표준편차입니다. 제곱을 풀어 원래 단위로 돌아온 퍼짐입니다. 실험의 보라 화살표 길이가 그 방향의 표준편차입니다.

공분산은 두 숫자가 같이 움직이는지를 잽니다.

x 와 y 의 공분산 = Σ (x − x̄)(y − ȳ) ÷ n

분산과 공분산을 한 표에 모은 것이 공분산 행렬입니다. 대각선에는 각 숫자의 분산이, 나머지 칸에는 공분산이 있습니다. 왼쪽 위와 오른쪽 아래를 바꿔 읽어도 같으니(대칭) 2×2 면 숫자 셋으로 정해집니다. 숫자가 d 개인 자료면 d×d 표입니다.

C = [ sxx sxy / sxy syy ] (sxx 는 x 의 분산, syy 는 y 의 분산, sxy 는 공분산)

이 표 하나로 어느 방향의 분산이든 계산할 수 있습니다. 길이 1 인 방향 u = (u₁, u₂) 로 그림자를 내리면 그림자의 분산은 이렇습니다.

u 방향의 분산 = sxx·u₁² + 2·sxy·u₁·u₂ + syy·u₂² (행렬로 적으면 uᵀ C u)

u = (1, 0)(0°)을 넣으면 sxx 가 나옵니다. 실험의 처음 모습에서 남는 분산 3.03 이 설명 줄의 sxx 와 같은 까닭입니다. 이 쪽은 n 으로 나눕니다. 그래야 막대의 「그림자의 분산」과 같은 잣대가 됩니다(자주 묻는 것 5).

이 식과 「가장 넓게 퍼진 방향 = 고유벡터」가 어디서 나오는지는 4. 식이 만들어지는 과정에서 그림으로 한 단계씩 봅니다.

3. 순서: 다섯 단계

  1. 평균 빼기. 숫자마다(표의 열마다) 평균을 뺍니다. 자료의 가운데가 원점으로 옵니다. x − x̄, y − ȳ
  2. 공분산 행렬 만들기. 평균을 뺀 표를 X(한 줄에 점 하나)라 하면 C = Xᵀ X ÷ n. Xᵀ 는 X 의 행과 열을 바꾼 것입니다.
  3. 고윳값과 고유벡터 구하기. C v = λ v 를 푸는 길이 1 인 v 와 숫자 λ 입니다(고윳값과 고유벡터 쪽). C = [ a b / b d ] 인 2×2 면 식이 있습니다.
    λ = (a + d) ÷ 2 ± √(((a − d) ÷ 2)² + b²), 고유벡터는 (b, λ − a) 를 길이 1 로 나눈 것(b 가 0 이 아닐 때).
  4. 큰 것부터 고르기. 고윳값을 큰 순서로 늘어놓고, 앞에서 k 개의 고유벡터를 고릅니다. 이것이 주성분 1, 2, …, k 입니다.
  5. 투영. 점마다 평균을 뺀 뒤 고른 주성분과 내적합니다. 새 좌표 = ((x − x̄)·v₁, (x − x̄)·v₂, …, (x − x̄)·vₖ). 숫자 d 개가 k 개가 됩니다.

왜 고유벡터인가. C 는 대칭이라 서로 직각인 고유벡터 둘 v₁, v₂ 를 가집니다. 길이 1 인 아무 방향 u 는 이 둘을 섞은 것입니다. u = c₁·v₁ + c₂·v₂, c₁² + c₂² = 1. 이것을 위의 식에 넣으면 u 방향의 분산 = λ₁·c₁² + λ₂·c₂² 이 됩니다. λ₁ ≥ λ₂ 이므로 이 값은 λ₁ 을 넘지 못하고, u = v₁ 일 때(c₁ = 1) 딱 λ₁ 이 됩니다. 곧 가장 넓게 퍼진 방향은 가장 큰 고윳값의 고유벡터이고, 그 방향의 분산이 그 고윳값입니다. 같은 까닭으로 가장 덜 퍼진 방향은 v₂ 이고, 그 분산은 λ₂ 입니다.

4. 식이 만들어지는 과정: 분산이 가장 큰 방향 = 고유벡터

3절의 「왜 고유벡터인가」는 답(고유벡터)을 먼저 알고 확인했습니다. 여기서는 답을 모르는 채로 시작해, 그림자의 분산을 재고, 직선을 돌려 가장 큰 곳을 찾고, 그곳에서 C u = λ u 가 나오는 것을 봅니다. 자료는 위 실험의 처음 자료(점 20개)입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.

점 그림은 위 실험과 같은 색입니다. 파란 점이 자료, 초록 직선과 화살표 u 가 지금 방향, 주황 점선이 직각으로 내린 선, 검은 작은 점이 그림자입니다. 보라 화살표는 공분산 행렬 C 를 u 에 곱한 C u 이고, 옅은 보라 띠가 C u 의 그림자(길이 = 그 방향의 분산)입니다. 그래프는 가로가 직선의 각도 θ, 세로가 그 방향의 분산입니다.

  1. 처음: x. 점 20개의 평균은 (0.67, 0.45) 입니다. 찾는 것은 「한 줄로 줄였을 때 그림자가 가장 넓게 퍼지는 방향」입니다(1절). 아직 식은 없습니다.
  2. 평균 빼기: x − x̄. 모든 점에서 (0.67, 0.45) 를 빼면 구름이 원점으로 옮겨 옵니다. 점끼리의 거리는 그대로라 공분산 행렬도 그대로입니다. 까닭: 퍼짐은 평균에서 잰 거리입니다. 평균을 원점에 두면 실험의 「평균을 지나는 직선」이 「원점을 지나는 직선」이 되어, 방향을 길이 1 인 화살표 u 하나로 적을 수 있습니다.
  3. 그림자의 제곱 평균: Var(u) = Σ ((x − x̄)·u)² ÷ n. 점에서 직선에 직각으로 내린 발(그림자)의 자리는 내적 (x − x̄)·u 하나로 나옵니다(내적). 평균을 뺐으니 그림자 자리들의 평균은 0 이고, 그래서 자리를 제곱해 평균 낸 것이 그대로 그림자의 분산입니다. u = (0.71, 0.71)(45°) 이면 4.29 입니다. 실험에서 직선을 45° 로 돌렸을 때의 「남는 분산」과 같습니다.
  4. 풀어 쓰기: = uᵀ C u. 그림자 자리는 (가로 차이)·u₁ + (세로 차이)·u₂ 입니다. 제곱하면 (가로 차이)²·u₁² + 2·(가로 차이)·(세로 차이)·u₁·u₂ + (세로 차이)²·u₂² 입니다. 점마다 평균 내면 (가로 차이)² 의 평균은 sxx, (가로 차이)·(세로 차이) 의 평균은 sxy, (세로 차이)² 의 평균은 syy 입니다(2절). 그래서 Var(u) = sxx·u₁² + 2·sxy·u₁·u₂ + syy·u₂²(2절의 식). 점 20개를 하나하나 보지 않아도 공분산 행렬 숫자 넷(3.03, 1.87, 1.87, 1.82)만 있으면 어느 방향이든 분산이 나옵니다. 각도 θ 로 적으면 u = (cos θ, sin θ) 라서 sxx·cos²θ + 2·sxy·cosθ·sinθ + syy·sin²θ 이고, 45° 에서는 cos²θ = sin²θ = cosθ·sinθ = 0.5 라 3.03 × 0.5 + 2 × 1.87 × 0.5 + 1.82 × 0.5 ≈ 4.29 입니다. 이것을 행렬로 적은 것이 uᵀ C u 입니다. C 를 u 에 먼저 곱하면 화살표 C u = (sxx·u₁ + sxy·u₂, sxy·u₁ + syy·u₂) 가 되고, 이것을 u 와 내적하면 위의 식이 그대로 나옵니다. 그림에서는 보라 화살표 C u 를 직선에 내린 그림자의 길이가 분산입니다. 45° 에서 C u = (3.46, 2.61) 입니다.
  5. 한 바퀴 돌리기: uᵀ C u ≤ λ₁. 직선을 0° 에서 180° 까지 돌리며 분산을 찍으면 물결이 됩니다(180° 를 돌면 같은 직선이라 거기서 끝납니다). 0° 에서 3.03(sxx), 90° 에서 1.82(syy), 꼭대기는 36° 에서 4.39, 바닥은 126° 에서 0.46 입니다. 꼭대기와 바닥은 꼭 90° 떨어져 있습니다. 까닭은 식에 있습니다. 삼각함수 공식(cos²θ = (1 + cos 2θ) ÷ 2 같은 것)으로 정리하면 위 식은 (sxx + syy) ÷ 2 + √(((sxx − syy) ÷ 2)² + sxy²) × cos(2 × (θ − 36°)), 곧 각도의 두 배에 대한 코사인 물결 하나입니다. 각도를 두 배로 쓰니 물결 한 번이 180° 이고, 꼭대기에서 바닥까지 반 번이 90° 입니다. 꼭대기 높이 (sxx + syy) ÷ 2 + √(((sxx − syy) ÷ 2)² + sxy²) 는 3절에 적은 2×2 고윳값 식의 + 쪽과 같고, 바닥 높이는 − 쪽과 같습니다. 이 꼭대기 높이를 λ₁ 이라 부르면 어느 방향의 분산도 λ₁ 을 넘지 못합니다.
  6. 꼭대기에서: C u = λ₁ u. 0° 에서 C u = (3.03, 1.87) 은 직선에서 31.6° 벗어나 있습니다. 주황 점선이 C u 에서 직선과 직각인 몫입니다. 직선을 꼭대기 36° 로 돌리면 이 몫이 줄어 0 이 되고, C u 가 u 와 같은 줄에 섭니다: C u = 4.39 u. 이것이 3절의 고유벡터 식 C v = λ v 이고, 늘어난 배수가 꼭대기의 분산 4.39 입니다. C u 의 직선 방향 몫은 늘 그 방향의 분산(4단계)이기 때문입니다. 꼭대기에서 직각 몫이 0 이 되는 까닭: C u 의 직각 몫은 그래프 기울기의 절반입니다(각도를 라디안으로 잴 때. 미분으로 확인할 수 있으며, 여기서는 증명하지 않습니다). 그래프의 주황 선이 그 기울기입니다. 꼭대기에서는 기울기가 0 이니 직각 몫도 0 입니다. 기울기가 0 인 곳은 바닥(126°)도 있어서, 거기서는 C u = 0.46 u 입니다. 이 두 방향이 주성분 1, 2 이고, 두 분산 4.39 와 0.46 이 고윳값 λ₁, λ₂ 입니다.

5. 손으로 풀어 보기: 점 넷

점 넷: (3, 3), (−1, −1), (2, 0), (0, 2). 실험의 「손 예제(점 4개)」 단추가 이 점들을 놓습니다.

xyx − x̄y − ȳ(x − x̄)²(y − ȳ)²(x − x̄)(y − ȳ)
3322444
−1−1−2−2444
201−111−1
02−1111−1
합10106
  1. 평균. x̄ = (3 − 1 + 2 + 0) ÷ 4 = 1, ȳ = (3 − 1 + 0 + 2) ÷ 4 = 1.
  2. 평균 빼기. (2, 2), (−2, −2), (1, −1), (−1, 1). 표의 셋째·넷째 열입니다.
  3. 공분산 행렬. 합을 4 로 나눕니다. sxx = 10 ÷ 4 = 2.5, syy = 10 ÷ 4 = 2.5, sxy = 6 ÷ 4 = 1.5. 그래서 C = [ 2.5 1.5 / 1.5 2.5 ]. sxy 가 양수이니 x 와 y 가 같이 커지는 쪽입니다.
  4. 고윳값. λ = (2.5 + 2.5) ÷ 2 ± √(0² + 1.5²) = 2.5 ± 1.5. λ₁ = 4, λ₂ = 1. 확인: 합 4 + 1 = 5 = 2.5 + 2.5(대각선의 합), 곱 4 × 1 = 4 = 2.5 × 2.5 − 1.5 × 1.5.
  5. 고유벡터. λ₁ = 4: (b, λ − a) = (1.5, 1.5) → 길이 1 로 나누면 v₁ = (1, 1) ÷ √2 ≈ (0.71, 0.71), 45° 방향. λ₂ = 1: v₂ = (−1, 1) ÷ √2 ≈ (−0.71, 0.71), 135° 방향. 내적이 0.71 × (−0.71) + 0.71 × 0.71 = 0 이라 직각입니다.
  6. 설명 비율. 주성분 1 이 4 ÷ 5 = 80%, 주성분 2 가 1 ÷ 5 = 20%.
  7. 한 줄로 줄이기. 평균을 뺀 점을 v₁ 과 내적합니다. (2 + 2) ÷ √2 ≈ 2.83, (−2 − 2) ÷ √2 ≈ −2.83, (1 − 1) ÷ √2 = 0, (−1 + 1) ÷ √2 = 0. 숫자 넷은 2.83, −2.83, 0, 0. 이 숫자들의 분산은 (8 + 8 + 0 + 0) ÷ 4 = 4 = λ₁ 입니다.
  8. 잃은 것. v₂ 쪽 좌표는 0, 0, −1.41, 1.41 입니다. 제곱의 평균은 (0 + 0 + 2 + 2) ÷ 4 = 1 = λ₂. 4 + 1 = 5 로, 처음의 전체 분산 2.5 + 2.5 와 같습니다. (2, 0) 과 (0, 2) 는 줄이면 둘 다 0 이 되어 구별되지 않습니다. 잃은 정보가 바로 이 차이입니다.

해 볼 것. 「손 예제(점 4개)」를 누르면 이 네 점이 나오고 직선은 0° 입니다. 남는 분산 2.5, 재구성 오차 2.5 로 반반입니다. 설명 줄에는 공분산 행렬 2.5, 1.5, 1.5, 2.5 와 고윳값 4, 1, 비율 80%, 20% 가 나옵니다. 「답 보기」를 누르면 직선이 45° 로 돌아가 4 와 1 이 되고, 아래 띠에는 점이 −2.83, 0(두 개가 겹침), 2.83 에 찍힙니다.

6. 가장 넓게 퍼진 방향 = 가장 적게 잃는 방향

점 하나를 봅니다. 평균에서 점까지의 선분을 빗변으로, 직선 위의 그림자 자리와 수선을 두 변으로 하는 직각삼각형이 생깁니다. 피타고라스 정리로 적으면 이렇습니다.

(평균에서 점까지의 거리)² = (그림자 자리)² + (수선 길이)²

모든 점에 대해 평균을 내면 이렇게 됩니다.

전체 분산 = 남는 분산 + 재구성 오차, 곧 sxx + syy = (u 방향의 분산) + (수선 길이² 의 평균)

왼쪽의 전체 분산은 점들만으로 정해집니다. 직선을 돌려도 바뀌지 않습니다. 그래서 남는 분산이 커진 만큼 재구성 오차가 작아집니다. 「가장 넓게 퍼진 방향 찾기」와 「가장 가깝게 맞는 직선 찾기」는 같은 문제입니다. 1901년 칼 피어슨의 논문은 이 방법을 「점들에 가장 가깝게 맞는 직선과 평면」으로, 1933년 해럴드 호텔링의 논문은 「분산이 가장 큰 방향」으로 적었습니다(출처).

최소제곱 직선과는 다릅니다. 최소제곱은 점에서 직선까지의 세로 차이를 재고, 주성분은 직각 거리를 잽니다. 최소제곱은 y 를 「맞힐 값」으로 따로 보고, 주성분 분석은 x 와 y 를 똑같이 대합니다. 처음 자료에서 최소제곱 직선의 기울기는 sxy ÷ sxx = 1.87 ÷ 3.03 ≈ 0.62, 각도로 31.6° 이고, 주성분 1 은 36° 입니다.

7. 몇 개를 남기나: 설명 비율

고윳값 하나는 그 주성분 방향의 분산이고, 고윳값을 모두 더하면 전체 분산입니다. 그래서 주성분 하나가 전체에서 차지하는 몫을 이렇게 적습니다.

k 번째 주성분의 설명 비율 = λₖ ÷ (λ₁ + λ₂ + … + λ_d)

예를 들어 숫자 5개짜리 자료의 고윳값이 6, 2, 1, 0.6, 0.4 라고 합시다(지어낸 숫자). 합은 10 입니다.

주성분고윳값설명 비율앞에서부터 더한 비율
1660%60%
2220%80%
3110%90%
40.66%96%
50.44%100%

셋을 남기면 숫자가 5개에서 3개로 줄고 분산의 90% 가 남습니다. 몇 개를 남길지는 정해진 답이 없습니다. 흔히 쓰는 기준은 이렇습니다.

실험의 처음 자료는 주성분 1 이 90.5% 입니다. 한 줄로 줄여도 분산의 90.5% 가 남습니다. 다만 비율은 「분산」을 잰 것이지 「쓸모」를 잰 것은 아닙니다(10절).

8. 단위가 다르면 먼저 표준화

주성분 분석은 분산을 보고, 분산은 단위에 따라 바뀝니다. 키를 m 로 적으면 1.6~1.9 쯤이지만 cm 로 적으면 160~190 입니다. 숫자가 100배가 되면 분산은 100² = 10,000 배가 됩니다. 같은 사람들인데 단위만 바꿔도 주성분 1 이 거의 「키」 하나로 쏠립니다. 퍼짐이 커서가 아니라 숫자가 커서입니다.

그래서 단위가 다른 숫자(키와 몸무게, 금액과 개수)가 섞여 있으면 먼저 숫자마다 표준화합니다.

z = (x − 평균) ÷ 표준편차

그러면 모든 숫자의 분산이 1 이 되어 단위가 사라집니다. 표준화한 자료의 공분산 행렬을 상관 행렬이라고 부릅니다. 반대로 모든 숫자가 같은 단위이고 크기 차이에 뜻이 있을 때(예: 사진의 픽셀 밝기)는 표준화하지 않고 그대로 둡니다.

scikit-learn 의 PCA 는 평균만 빼고 크기는 맞추지 않습니다(문서의 「centered but not scaled」). 표준화가 필요하면 따로 해야 합니다.

9. 꼭 알아야 할 성질

성질쉬운 말실험에서
주성분끼리는 서로 직각공분산 행렬이 대칭이라 고유벡터끼리 직각이다. 그래서 새 좌표끼리는 공분산이 0 이다. 겹치는 정보가 없다보라 화살표 둘
고윳값 = 그 방향의 분산λ₁ 은 어느 방향의 분산보다 크거나 같고, λ₂ 는 어느 방향의 분산보다 작거나 같다「답 보기」 뒤 남는 분산 4.39 = λ₁
고윳값의 합 = 전체 분산λ₁ + λ₂ = sxx + syy(대각선의 합). 기준을 돌려도 전체는 그대로다두 막대의 합 4.85
방향의 부호는 정해지지 않는다v 와 −v 는 같은 직선이다. 프로그램마다 부호가 달라도 같은 답이다직선 손잡이를 반대쪽으로 끌어도 같은 직선
평균, 단위, 이상치(outlier)에 민감하다평균을 먼저 빼야 하고, 단위가 다르면 표준화해야 한다. 제곱을 쓰므로 멀리 튄 점 하나에 끌려간다8절, 10절의 해 볼 것

10. 주성분 분석이 못 하는 것

원 둘레의 점들. 둘레를 따라 「몇 번째 점」이라는 숫자 하나면 모두 구별되지만, 어느 직선에 그림자를 내려도 위아래의 점이 같은 자리(검은 점)로 겹칩니다.

휘어진 모양을 펴려면 다른 방법을 씁니다. 커널 PCA, 오토인코더(신경망), t-SNE, UMAP 이 그런 방법입니다. t-SNE 와 UMAP 은 가까운 점끼리의 이웃 관계를 지키도록 점들을 2차원에 새로 놓는 방법이라 휘어진 모양도 펴지만, 축에 뜻이 없고 무리 사이의 거리나 무리의 크기를 그대로 믿으면 안 됩니다. 주성분 분석은 축과 비율에 뜻이 있고, 늘 같은 답이 나오고, 빠릅니다.

해 볼 것. ① 처음 자료에서 「고른 점」을 4번 점 (0, 0.2) 으로 하고 숫자 칸에 (−4, 4) 를 넣어 보세요. 점 하나만 옮겼는데 주성분 1 이 36° 에서 26.1° 로 틀어지고, 고윳값은 4.58 과 1.89, 주성분 1 의 설명 비율은 90.5% 에서 70.8% 로 떨어집니다. ② 「점 빼기」를 눌러 점을 둘만 남기면 두 점은 늘 한 직선 위에 있습니다. 「답 보기」를 누르면 재구성 오차가 0, 주성분 1 이 100% 가 됩니다.

11. 다른 주제와의 관계

# 손 예제를 파이썬(numpy)으로: SVD 로 주성분 구하기
import numpy as np
X = np.array([[3, 3], [-1, -1], [2, 0], [0, 2]], dtype=float)
Xc = X - X.mean(axis=0)                 # 평균 빼기: (2,2), (-2,-2), (1,-1), (-1,1)
U, S, Vt = np.linalg.svd(Xc, full_matrices=False)
print(Vt[0])                            # 주성분 1: [-0.71 -0.71]. 부호만 반대일 뿐 같은 직선
print(S**2 / len(X))                    # 고윳값(n 으로 나눔): [4. 1.]
print(Xc @ Vt[0])                       # 한 줄로 줄인 숫자: -2.83, 2.83, 0, 0

어디에 쓰나

자주 묻는 것

주성분 분석(PCA)이 뭔가요?

자료가 가장 넓게 퍼진 방향부터 차례로 찾아 새 기준으로 삼는 방법입니다. 앞쪽 몇 방향의 좌표만 남기면 숫자 개수(차원)를 줄이면서 정보를 가장 적게 잃습니다. 그 방향들은 공분산 행렬의 고유벡터입니다.

주성분은 몇 개를 남겨야 하나요?

정해진 답은 없습니다. 각 주성분이 설명하는 비율을 큰 것부터 더해 가다가 충분히 큰 곳(흔히 90% 쯤)에서 자르거나, 비율이 갑자기 작아지는 곳에서 자릅니다. 그림으로 보려면 2개를 남깁니다.

왜 평균을 먼저 빼나요?

주성분은 평균에서 어느 쪽으로 퍼졌는지를 봅니다. 평균을 빼지 않으면 첫째 방향이 원점에서 자료 덩어리 쪽으로 끌려가, 퍼짐이 아니라 자료가 놓인 자리를 재게 됩니다.

주성분 직선과 최소제곱 직선은 같은가요?

다릅니다. 최소제곱은 세로 차이(y 의 오차)의 제곱을 줄이고, 주성분은 직선까지의 직각 거리의 제곱을 줄입니다. 최소제곱은 y 를 맞힐 값으로 따로 보고, 주성분 분석은 x 와 y 를 똑같이 대합니다. 이 쪽의 처음 자료에서 최소제곱 직선은 31.6°, 주성분 1 은 36° 입니다.

공분산은 n 으로 나누나요, n − 1 로 나누나요?

이 쪽은 n(점의 수)으로 나눕니다. numpy.cov 와 scikit-learn 의 PCA 는 n − 1 로 나눕니다. 고윳값이 모두 같은 배수로 커질 뿐이라 주성분 방향과 설명 비율은 같습니다.

낱말

여기서 쓴 말책에서 부르는 말
가장 넓게 퍼진 방향부터 고른 새 기준주성분(principal component, PC)
그 방향들을 찾는 방법주성분 분석(principal component analysis, PCA)
숫자 개수차원(dimension)
숫자 개수 줄이기차원 축소(dimensionality reduction)
퍼진 정도(평균에서 떨어진 거리의 제곱의 평균)분산(variance)
분산의 제곱근표준편차(standard deviation)
같이 커지나, 반대로 가나공분산(covariance)
분산과 공분산을 모은 표공분산 행렬(covariance matrix)
그림자, 직각으로 내린 발정사영(orthogonal projection). 그 자리 숫자는 주성분 점수(score)
잃는 것(수선 길이의 제곱)재구성 오차(reconstruction error)
설명하는 비율설명된 분산 비율(explained variance ratio)
평균 빼기중심화(centering)
(x − 평균) ÷ 표준편차로 단위 없애기표준화(standardization), z 점수(z-score)
표준화한 자료의 공분산 행렬상관 행렬(correlation matrix)
대각선 숫자의 합대각합(trace)
휘어진 모양비선형 구조, 다양체(manifold)
고유 얼굴eigenface

출처

← 정규화와 표준화선형 판별 분석(LDA) →