특잇값 분해(SVD), 그림으로 이해하기

행렬은 평면을 늘리고, 기울이고, 돌리는 설계도입니다. 아무리 복잡해 보이는 행렬도 하는 일을 「돌리기 → 늘리기 → 다시 돌리기」로 나눌 수 있습니다. 원이 타원으로 바뀌는 것을 세 단계로 나눠 보세요.

한 줄 답. 어떤 행렬이든 그것이 하는 일은 돌리기 → 축 방향으로 늘리기 → 다시 돌리기 세 단계로 나눌 수 있습니다. 이것이 특잇값 분해 A = U Σ Vᵀ 이고, 가운데 Σ 가 늘리는 배수가 특잇값입니다. 원을 넣으면 타원이 나오고, 그 타원의 긴 반지름과 짧은 반지름이 특잇값입니다.

왼쪽 열 = î 가 가는 곳, 오른쪽 열 = ĵ 가 가는 곳

화살표 끝의 동그라미(î, ĵ)를 끌거나 숫자를 고쳐 보세요. 점선 원은 반지름 1 인 원이고, 색 점은 그 원 위의 점이 A 를 거쳐 간 곳입니다. 같은 색끼리 짝입니다. 점선 화살표 v1, v2 가 간 곳이 실선 화살표 σ1·u1, σ2·u2 이고, 이것이 타원의 긴 반지름과 짧은 반지름입니다.

1. 원은 타원이 된다

행렬 A 는 평면 위의 모든 점을 옮깁니다(행렬식 쪽에서 본 것). 반지름 1 인 원 위의 점들을 A 로 옮기면 늘 타원이 나옵니다. 납작하게 누르는 행렬이면 그 타원이 선분이나 한 점까지 눌립니다.

타원에는 가장 긴 방향과 가장 짧은 방향이 있고, 둘은 서로 직각입니다. 그리로 가는 점을 원 위에서 거꾸로 찾으면 두 방향 v1, v2 가 나오는데, 이 둘도 서로 직각입니다. 정리하면 이렇습니다.

직각이 직각으로 남는 것은 흔한 일이 아닙니다. î 와 ĵ 도 서로 직각이지만, A 를 거치면 대개 직각이 아니게 됩니다(실험의 초록·파랑 화살표). σ1 과 σ2 가 다르면 직각을 지키는 한 쌍은 하나뿐입니다(화살표를 반대로 돌린 것은 같은 것으로 칩니다). 이 두 방향이 늘어나는 배수 σ1, σ2 가 특잇값입니다. 큰 것을 σ1 이라 부릅니다.

2. 식: A = U Σ Vᵀ

1번의 이야기를 행렬 셋의 곱으로 적은 것이 특잇값 분해입니다.

A = U × Σ × Vᵀ

조각하는 일2×2 에서
Vᵀ입력을 돌린다. v1, v2 를 가로축과 세로축으로 보낸다줄(가로줄)이 v1, v2
Σ (시그마)축 방향으로 늘린다. 대각선에 특잇값이 있다[σ1 0 / 0 σ2]
U다시 돌린다. 가로축과 세로축을 u1, u2 로 보낸다열(세로줄)이 u1, u2

점 x 에 A 를 곱하면 오른쪽부터 차례로 일어납니다. A x = U (Σ (Vᵀ x)). 먼저 Vᵀ, 다음 Σ, 마지막 U 입니다. 그래서 「돌리기 → 늘리기 → 다시 돌리기」입니다.

방향 하나씩 적으면 A v1 = σ1 u1, A v2 = σ2 u2 입니다. 조각의 합으로도 적을 수 있습니다.

A = σ1 u1 v1ᵀ + σ2 u2 v2ᵀ

조각 하나(u1 v1ᵀ)는 평면 전체를 한 줄로 누르는 가장 단순한 행렬이고, σ 는 그 조각의 가중치입니다. 7번의 「작은 것 버리기」가 여기서 나옵니다.

Vᵀ 의 ᵀ 는 전치(transpose), 곧 가로줄과 세로줄을 맞바꾼다는 표시입니다. V 의 열이 v1, v2 이므로 Vᵀ 의 줄이 v1, v2 입니다. U 와 V 는 돌리기(가끔 뒤집기)만 하는 직교 행렬(orthogonal matrix)이라 길이와 직각을 바꾸지 않습니다.

3. 세 단계로 나눠 보기

실험의 「단계」 막대를 0 에서 3 까지 천천히 옮기거나 「세 단계 차례로 보기」를 누르세요.

  1. Vᵀ 로 돌리기 (0 → 1). 원은 돌려도 원이라 모양은 그대로이고 색 점만 돕니다. 이 단계가 끝나면 v1 은 가로축, v2 는 세로축 위에 놓입니다.
  2. Σ 로 늘리기 (1 → 2). 가로를 σ1 배, 세로를 σ2 배 합니다. 원이 가로·세로 축에 맞춘 타원이 됩니다.
  3. U 로 돌리기 (2 → 3). 타원을 돌려 제자리에 놓습니다. 가로축은 u1 로, 세로축은 u2 로 갑니다.

뒤집기가 섞인 경우. 행렬식이 음수면 A 는 평면을 뒤집습니다. 돌리기만으로는 뒤집을 수 없어서, U 와 V 가운데 하나가 뒤집기를 품습니다. 실험은 숫자로는 뒤집기를 Vᵀ 에 넣고, 그림에서는 ② 단계에 몰아서 세로를 뒤집어(−σ2 배) 보여 줍니다. 원이 한순간 선분이 되었다가 거울에 비친 모양으로 나옵니다.

해 볼 것. ① 처음 모습은 「기울이기」 [1 1 / 0 1] 입니다. σ1 = 1.62, σ2 = 0.62 이고, 곱하면 1 로 행렬식과 같습니다. 「세 단계 차례로 보기」를 누르면 ① 에서 시계 방향으로 58° 돌고, ② 에서 가로 1.62배·세로 0.62배로 늘고, ③ 에서 시계 반대 방향으로 32° 돕니다. ② 「가로 2배·세로 0.5배」는 이미 축에 맞춘 늘리기라 ① 과 ③ 에서 돌릴 것이 없습니다(0°). ③ 「뒤집기」 [0 2 / 1 0] 에서 막대를 1 에서 2 로 천천히 옮겨 보세요. 원이 가로로 늘면서 세로로 눌려 선분이 되었다가, 거울에 비친 모양으로 다시 나옵니다. ④ î 끝을 끌어 ĵ 와 한 줄 위에 놓으면 σ2 가 0 이 되고 랭크(rank)가 1 로 떨어집니다.

4. 식이 만들어지는 과정: 가장 많이 늘어나는 방향 찾기

1번에서 v1 은 A 가 가장 많이 늘리는 방향이고, σ1 은 그때 늘어나는 배수였습니다. 이 방향을 돌려 가며 재지 않고 식으로 찾아가면, 특잇값이 왜 AᵀA 의 고윳값의 제곱근인지, A v = σ u 와 A = U Σ Vᵀ 가 어떻게 나오는지 보입니다. 행렬은 위 실험의 처음 행렬인 기울이기 [1 1 / 0 1] 입니다.

「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다. 왼쪽 그림의 점선 원은 반지름 1 인 원, 회색 점선 화살표는 원 위의 v, 검은 실선 화살표는 A v 입니다. 오른쪽 그래프의 가로는 v 의 각도 θ, 세로는 A v 의 길이(2·3단계에서는 그 제곱)이고, 흐린 선은 제곱하기 전과 뒤의 그래프입니다. 주황은 꼭대기 쪽(v1), 보라는 골짜기 쪽(v2)입니다.

  1. 돌리며 재기: |A v|. 원 위의 길이 1 인 화살표를 각도 θ 로 v = (cos θ, sin θ) 라 적습니다. θ = 0° 면 v = (1, 0), A v = (1, 0), 길이 1 입니다. θ = 90° 면 v = (0, 1), A v = (1, 1), 길이 1.41 입니다. 0° 에서 180° 까지 돌리면 길이가 0.62 와 1.62 사이를 오르내리고, A v 의 끝은 타원을 그립니다. 180° 를 넘으면 v 가 −v 가 되어 같은 길이가 되풀이되므로 반 바퀴만 보면 됩니다. 꼭대기 1.62 가 σ1, 골짜기 0.62 가 σ2 입니다. 큰 행렬에서는 모든 방향을 돌려 볼 수 없으니 식으로 찾는 길이 필요합니다.
  2. 제곱하기: |A v|² = vᵀ (AᵀA) v. 화살표 w 의 길이의 제곱은 자기 자신과의 내적 w·w = wᵀ w 입니다(내적). w 에 A v 를 넣고, 전치는 곱의 차례를 뒤집는다는 것((A v)ᵀ = vᵀ Aᵀ)을 쓰면 |A v|² = vᵀ Aᵀ A v 입니다. 기울이기에서 AᵀA = [1 1 / 1 2] 입니다. θ = 0° 면 vᵀ(AᵀA)v 는 왼쪽 위 칸 1, 90° 면 오른쪽 아래 칸 2(= 1.41²) 입니다. 길이는 0 이상이라 제곱해도 꼭대기와 골짜기의 자리는 그대로입니다. 이제 A 대신 AᵀA 한 행렬만 보면 됩니다.
  3. 꼭대기는 고유벡터: AᵀA v = λ v. 꼭대기(58°)에서는 그래프가 평평해서, v 를 조금 돌려도 값이 그대로입니다. v 를 조금 돌리면 v 는 자기와 직각인 쪽으로 움직이는데, 그때 값이 바뀌는 빠르기는 AᵀA v 가운데 그 직각 쪽 성분이 정합니다(미분으로 보일 수 있습니다. 여기서는 증명하지 않습니다). 평평하려면 그 성분이 0, 곧 AᵀA v 가 v 와 같은 방향이어야 합니다. 그림에서 주황 화살표 AᵀA v 가 v 와 겹치는 자리입니다. 방향이 그대로인 화살표가 고유벡터이고, 그때 값은 vᵀ (λ v) = λ(v 의 길이가 1 이라서) 이므로 고윳값입니다. 꼭대기에서 λ1 = 2.62 입니다. 골짜기(148°)도 평평해서 같은 까닭으로 고유벡터이고 λ2 = 0.38 입니다.
  4. 제곱근: σ = √λ. 2단계에서 제곱했으니 되돌립니다. σ1 = √2.62 = 1.62, σ2 = √0.38 = 0.62 로 1단계에서 잰 값과 같습니다. 이것이 「특잇값 = AᵀA 의 고윳값의 제곱근」입니다. 꼭대기와 골짜기는 늘 90° 떨어져 있습니다. vᵀ(AᵀA)v 를 θ 로 풀어 cos 2θ 와 sin 2θ 로 정리하면 180° 에 한 번 오르내리는 물결 하나가 되기 때문입니다. 그래서 v1 과 v2 는 직각입니다. 큰 행렬에서는 「대칭 행렬의 고유벡터끼리는 직각」이라는 성질이 같은 일을 합니다(여기서는 증명하지 않습니다).
  5. u 만들기: A v = σ u. A v1 의 길이가 σ1 이니, σ1 로 나누면 길이 1 인 방향이 남습니다. 이것을 u1 이라 부릅니다. u1 = A v1 ÷ σ1 = (1.38, 0.85) ÷ 1.62 = (0.85, 0.53), u2 = A v2 ÷ σ2 = (-0.32, 0.53) ÷ 0.62 = (-0.53, 0.85) 입니다(반올림한 수로 나누면 끝자리가 조금 다르게 나옵니다). 나눈 것을 거꾸로 적으면 A v = σ u 입니다. u1 과 u2 도 직각입니다. (A v1)·(A v2) = v1ᵀ (AᵀA) v2 = λ2 (v1·v2) = 0 이기 때문입니다. σ 가 0 이면 나눌 수 없으니, 그 u 는 다른 u 에 직각인 길이 1 화살표로 고릅니다.
  6. 묶기: A = U Σ Vᵀ. 두 식 A v1 = σ1 u1, A v2 = σ2 u2 를 열로 나란히 세우면 A [v1 v2] = [u1 u2] [σ1 0 / 0 σ2], 곧 A V = U Σ 입니다. V 의 열 v1, v2 는 서로 직각인 길이 1 화살표라 V Vᵀ = I 입니다. 양쪽 오른쪽에 Vᵀ 를 곱하면 A = U Σ Vᵀ 입니다. 수로는 U = [0.85 -0.53 / 0.53 0.85], Σ = [1.62 0 / 0 0.62], Vᵀ = [0.53 0.85 / -0.85 0.53] 로 위 실험의 설명 줄과 같고, 셋을 곱하면 î 는 (1, 0), ĵ 는 (1, 1) 로 가서 A 와 같습니다. 6번에서 손으로 푸는 차례(AᵀA → 고윳값 → 제곱근 → u = A v ÷ σ)가 바로 이 길입니다.

5. 꼭 알아야 할 성질

성질뜻
특잇값은 늘 0 이상이고, 큰 것부터 적는다 (σ1 ≥ σ2 ≥ 0)늘리는 배수라 음수가 없습니다. 방향을 반대로 하는 일은 U 나 V 가 맡습니다. 예를 들어 [−3 0 / 0 1] 의 특잇값도 3 과 1 입니다
길이 1 인 화살표는 길이가 σ2 와 σ1 사이가 된다σ1 은 A 가 가장 많이 늘리는 배수, σ2 는 가장 적게 늘리는 배수입니다. 어느 방향을 넣어도 그 사이입니다
σ1 × σ2 = |행렬식| (2×2)넓이 π 인 원이 넓이 π × σ1 × σ2 인 타원이 됩니다. 넓이가 몇 배가 되는지가 행렬식이라 둘이 같습니다. 실험의 설명 줄에서 늘 같게 나옵니다
0 이 아닌 특잇값의 개수 = 랭크납작하게 눌린 방향마다 특잇값 하나가 0 입니다. 「납작하게」를 누르면 σ2 = 0, 랭크 1 입니다(랭크)
특잇값 = AᵀA 의 고윳값의 제곱근늘어난 길이의 제곱 |A x|² 를 계산하는 행렬이 AᵀA 라서 그렇습니다. v 는 AᵀA 의 고유벡터, u 는 AAᵀ 의 고유벡터입니다. 어떻게 나오는지는 4번에서 한 단계씩 봅니다

6. 손으로 풀어 보기

쉬운 것: [3 0 / 0 1]

가로를 3배, 세로를 1배 하는 행렬입니다. 이미 축에 맞춘 늘리기라 돌릴 것이 없습니다. 그래서 U = [1 0 / 0 1], Σ = [3 0 / 0 1], Vᵀ = [1 0 / 0 1] 이고, 특잇값은 3 과 1 입니다. 원은 가로 반지름 3, 세로 반지름 1 인 타원이 됩니다.

한 걸음 더: A = [0 2 / 1 0]

î 를 (0, 1) 로, ĵ 를 (2, 0) 으로 보내는 행렬입니다. 차례대로 따라가 봅니다.

  1. Aᵀ 를 구합니다. 가로줄과 세로줄을 맞바꿉니다. Aᵀ = [0 1 / 2 0]
  2. AᵀA 를 곱합니다. AᵀA = [0×0+1×1 0×2+1×0 / 2×0+0×1 2×2+0×0] = [1 0 / 0 4]
  3. AᵀA 의 고윳값을 구합니다. 대각 행렬이라 대각선이 그대로 고윳값입니다. 큰 것부터 4, 1.
  4. 제곱근이 특잇값입니다. σ1 = √4 = 2, σ2 = √1 = 1
  5. 고유벡터가 v 입니다. 고윳값 4 쪽은 v1 = (0, 1), 고윳값 1 쪽은 v2 = (1, 0)
  6. u 는 A 에 v 를 넣고 σ 로 나눕니다. u1 = A v1 ÷ σ1 = (2, 0) ÷ 2 = (1, 0), u2 = A v2 ÷ σ2 = (0, 1) ÷ 1 = (0, 1)
  7. 모읍니다. U = [1 0 / 0 1](열이 u1, u2), Σ = [2 0 / 0 1], Vᵀ = [0 1 / 1 0](줄이 v1, v2)
  8. 확인합니다. U × Σ × Vᵀ = [2 0 / 0 1] × [0 1 / 1 0] = [0 2 / 1 0] 로 A 와 같습니다. σ1 × σ2 = 2 이고 |행렬식| = |0×0 − 2×1| = 2 로 같습니다.

Vᵀ = [0 1 / 1 0] 은 가로와 세로를 맞바꾸는 뒤집기입니다. 행렬식이 −2 로 음수라 뒤집기가 하나 들어 있는 것입니다. 실험에서 「뒤집기」를 누르면 같은 U, Σ, Vᵀ 가 나옵니다.

AᵀA 가 대각 행렬이 아니면 고윳값을 고유벡터 쪽에서 본 방법으로 구합니다. 2×2 면 λ² − (대각선의 합) × λ + (행렬식) = 0 을 풀면 됩니다.

7. 작은 것 버리기: 저랭크 근사

2번의 식 A = σ1 u1 v1ᵀ + σ2 u2 v2ᵀ 에서 σ2 가 작으면 뒤 조각은 A 에 조금밖에 보태지 않습니다. 그 조각을 버리고 남은 A₁ = σ1 u1 v1ᵀ 은 랭크가 1 인 행렬, 곧 평면을 한 줄로 누르는 행렬입니다.

이 A₁ 은 랭크 1 인 행렬 가운데 A 에 가장 가까운 것입니다. 버린 차이 A − A₁ = σ2 u2 v2ᵀ 의 크기(칸 넷의 차이를 제곱해 더하고 제곱근을 씌운 값)는 정확히 σ2 이고, 이보다 A 에 가까운 랭크 1 행렬은 없습니다.

큰 행렬에서도 같습니다. 특잇값 가운데 큰 것 k 개만 남기면, 랭크 k 인 행렬 가운데 원래와 가장 가까운 행렬이 됩니다(에커트–영 정리). 저장할 숫자도 줄어듭니다. 1000×1000 행렬은 숫자가 100만 개인데, k = 50 만 남기면 u 50개(50,000), v 50개(50,000), σ 50개로 모두 100,050개, 원래의 약 10% 입니다.

해 볼 것. 「기울이기」에서 「작은 것 버리기」를 켜세요. 타원이 선분이 됩니다. 남은 행렬은 [0.72 1.17 / 0.45 0.72], A 에서 그것을 뺀 것은 [0.28 -0.17 / -0.45 0.28], 차이의 크기는 σ2 = 0.62 입니다. 「가로 2배·세로 0.5배」에서 켜면 [2 0 / 0 0] 이 됩니다. 덜 늘리는 세로 쪽을 버린 것입니다. 「납작하게」에서는 σ2 가 이미 0 이라 아무것도 바뀌지 않습니다.

8. 고윳값과 무엇이 다른가

고유벡터는 「A 를 거쳐도 방향이 그대로인 화살표」이고, 고윳값은 그 화살표가 늘어나는 배수입니다. 특잇값과 닮았지만 다릅니다.

고유 분해특잇값 분해
되는 행렬정사각 행렬 가운데 일부모든 행렬(직사각형도)
방향들어간 방향과 나온 방향이 같다. 고유벡터끼리 직각이 아닐 수 있다들어간 방향 v 와 나온 방향 u 가 다를 수 있다. v 끼리, u 끼리는 늘 직각
배수음수나 복소수일 수 있다늘 0 이상인 실수
식A = P D P⁻¹ (P 의 열이 고유벡터, D 의 대각선이 고윳값)A = U Σ Vᵀ

둘을 잇는 식은 특잇값 = AᵀA 의 고윳값의 제곱근입니다(4번). A 가 대칭 행렬(A = Aᵀ)이면 특잇값은 고윳값의 절댓값과 같습니다.

예를 들어 기울이기 [1 1 / 0 1] 의 고윳값은 1 하나뿐이고 고유벡터 방향도 (1, 0) 하나뿐이라 고유 분해가 되지 않습니다. 그래도 특잇값은 1.62 와 0.62 로 잘 나옵니다. 0° 나 180° 가 아닌 돌리기 행렬은 모든 방향이 돌아가서 실수 고유벡터가 없지만, 특잇값은 1 과 1 입니다.

어디에 쓰나

자주 묻는 것

특잇값 분해(SVD)가 뭔가요?

어떤 행렬이든 그것이 하는 일을 「돌리기 → 축 방향으로 늘리기 → 다시 돌리기」 세 단계로 나눈 것입니다. A = U Σ Vᵀ 로 적습니다. U 와 V 는 돌리기(가끔 뒤집기)이고, Σ 의 대각선에 있는 늘리는 배수가 특잇값입니다.

특잇값과 고윳값은 무엇이 다른가요?

고윳값은 정사각 행렬에만 있고 음수나 복소수일 수 있습니다. 고유 분해는 그 가운데 일부 행렬에만 됩니다. 특잇값은 모든 행렬에 있고 늘 0 이상인 실수입니다. 특잇값은 AᵀA 의 고윳값의 제곱근입니다.

특잇값이 0 이면 무슨 뜻인가요?

그 방향이 납작하게 눌려 사라졌다는 뜻입니다. 0 이 아닌 특잇값의 개수가 랭크입니다. 정사각 행렬에 0 인 특잇값이 있으면 행렬식도 0 이라 역행렬이 없습니다.

U 와 V 는 하나로 정해지나요?

아닙니다. 짝을 이루는 u 와 v 를 함께 반대 방향으로 바꿔도 맞는 답입니다. 특잇값끼리 같으면 고를 수 있는 방향이 더 많습니다. 특잇값은 늘 하나로 정해집니다.

정사각형이 아닌 행렬도 되나요?

됩니다. m×n 행렬이면 U 는 m×m, Σ 는 m×n, V 는 n×n 입니다. 특잇값은 m 과 n 가운데 작은 수만큼 있습니다.

낱말

여기서 쓴 말책에서 부르는 말
돌리기 → 늘리기 → 다시 돌리기로 나누기특잇값 분해(singular value decomposition, SVD)
늘리는 배수 σ1, σ2특잇값(singular value)
입력 쪽의 두 방향 v1, v2오른쪽 특이벡터(right singular vector)
나온 쪽의 두 방향 u1, u2왼쪽 특이벡터(left singular vector)
돌리기(가끔 뒤집기)만 하는 행렬 U, V직교 행렬(orthogonal matrix)
대각선에만 숫자가 있는 행렬 Σ대각 행렬(diagonal matrix)
가로줄과 세로줄을 맞바꾼 행렬전치 행렬(transpose). Aᵀ 로 적는다
눌리지 않고 남는 방향의 수랭크(rank), 계수
작은 것 버리기저랭크 근사(low-rank approximation), 잘린 SVD(truncated SVD)
방향이 그대로인 화살표와 그 배수고유벡터(eigenvector)와 고윳값(eigenvalue)
역행렬이 없어도 쓰는 「되돌리는 행렬」의사역행렬(pseudoinverse, Moore–Penrose inverse). A⁺ 로 적는다
자료가 가장 넓게 퍼진 방향 찾기주성분 분석(principal component analysis, PCA)

← 정사영과 최소제곱함수와 그래프 →