고윳값과 고유벡터, 대각화
행렬은 평면을 늘리고, 기울이고, 돌립니다. 그래도 방향이 바뀌지 않는 화살표가 있습니다. 화살표를 돌려 직접 찾아보세요.
한 줄 답. 행렬이 평면을 바꾸면 대부분의 화살표는 방향이 틀어집니다. 방향이 그대로인(같은 줄 위에 남는) 화살표가 고유벡터이고, 그때 길이가 몇 배가 되는지가 고윳값입니다. 식으로는 A v = λ v 입니다.
행렬 A = a b / c d
v = ( , )
초록 화살표 v 의 끝을 끌어 돌리거나 숫자를 고쳐 보세요. 주황 화살표가 A v 입니다. 회색 선은 v 가 놓인 줄입니다. A v 가 이 줄 위에 오면 v 가 고유벡터입니다. 실험은 각도 차가 3° 안이고 실제 고유 방향 가까이일 때 「찾았습니다」라고 말합니다. 바탕의 작은 화살표 쌍은 원 위의 여러 방향 u(초록)와 A u(주황)입니다. 둘이 같은 줄 위에 놓인 쌍은 진하게 그립니다. 그쪽이 고유 방향입니다. 보라색 점은 「A 를 여러 번 하기」의 결과입니다.
1. 고유벡터: 방향이 안 바뀌는 화살표
행렬 A 는 화살표 v 를 받아 새 화살표 A v 를 내놓습니다(행렬식 쪽에서 본 「평면을 바꾸는 설계도」입니다). 보통은 A v 가 v 와 다른 쪽을 봅니다. 위 실험의 첫 화면에서도 v = (1, 0) 이 A v = (2, 1) 로 가며 26.6° 틀어집니다.
그런데 어떤 방향은 틀어지지 않습니다. A v 가 v 와 같은 줄 위에 남고 길이만 바뀝니다. 이런 화살표가 고유벡터입니다. 길이가 몇 배가 됐는지가 고윳값입니다. 고윳값은 보통 그리스 글자 λ(람다)로 적습니다.
- 0 벡터는 빼고 셉니다.
A 0 = λ 0은 어느 λ 에서나 맞아서 아무것도 알려 주지 않기 때문입니다. - 고유벡터에 0 이 아닌 숫자를 곱해도 고유벡터입니다. 그래서 「고유벡터 하나」보다 「고유 방향(줄) 하나」, 곧 고유공간(eigenspace)으로 생각하면 편합니다.
해 볼 것. 「대칭」(2 1 / 1 2)에서 ① v 를 (1, 1) 로 두면 A v = (3, 3) 입니다. 같은 줄 위에서 길이가 3배, 그래서 λ = 3. ② v 를 (1, −1) 로 두면 A v = (1, −1). 그대로라서 λ = 1. ③ v 를 (−2, −2) 로 두면 A v = (−6, −6). 길이와 부호가 달라도 같은 줄이라 여전히 λ = 3 입니다. ④ 「답 보기」를 켜 보세요. 두 점선이 바탕에서 초록과 주황이 같은 줄 위에 놓인 쌍을 지나갑니다.
2. 식: A v = λ v 와 특성 방정식
정의를 식으로 적으면 이렇습니다.
A v = λ v (v 는 0 이 아닌 벡터, λ 는 숫자 하나)
왼쪽은 「행렬을 곱한 것」, 오른쪽은 「숫자 하나를 곱한 것」입니다. 행렬이 이 방향에서는 숫자 하나처럼 군다는 뜻입니다.
λ 를 구하려면 식을 한쪽으로 모읍니다. I 는 아무것도 바꾸지 않는 행렬 1 0 / 0 1 입니다(단위 행렬).
A v − λ v = 0 → (A − λI) v = 0
행렬 A − λI 가 0 이 아닌 v 를 0 으로 보낸다는 말입니다. 평면이 한 줄(또는 한 점)로 납작하게 눌려야 그럴 수 있습니다. 납작해진다는 것은 행렬식이 0 이라는 것입니다. 그래서
det(A − λI) = (a − λ)(d − λ) − b×c = 0
이것을 풀어 정리하면 2×2 행렬의 특성 방정식이 나옵니다.
λ² − (a + d)λ + (ad − bc) = 0
이 식이 만들어지는 과정은 3. 식이 만들어지는 과정에서 그림으로 한 단계씩 봅니다.
λ 에 대한 2차 방정식입니다. 근의 공식으로 풀면 λ = ( (a + d) ± √((a + d)² − 4(ad − bc)) ) ÷ 2. 루트 안의 값(판별식)에 따라 세 경우가 나옵니다.
| 루트 안의 값 | 고윳값 | 그림에서 |
|---|---|---|
| 0 보다 크다 | 서로 다른 실수 둘 | 고유 방향이 둘(대칭, 가로 2배·세로 0.5배, 뒤집기) |
| 0 이다 | 실수 하나가 겹침 | 고유 방향이 하나(기울이기)이거나 모든 방향(2배) |
| 0 보다 작다 | 복소수 둘 | 그대로 남는 실수 방향이 없다(돌리기 90°) |
3. 식이 만들어지는 과정: 특성 방정식
2절의 특성 방정식이 A v = λ v 에서 어떻게 나오는지 한 단계씩 봅니다. 행렬은 위 실험의 처음 행렬 「대칭」 A = 2 1 / 1 2 입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
왼쪽 그림의 ①② 단계는 위 실험과 같은 색입니다: 초록 v, 주황 A v, 보라는 되돌아오는 λ v. ③ 단계부터는 행렬식 쪽과 같은 그림으로, A − λI 가 평면을 바꾼 모습입니다. 회색 점선 정사각형(넓이 1)이 색칠한 평행사변형으로 가고, 옅은 선은 바뀐 뒤의 모눈입니다. 평행사변형이 주황이면 평면이 뒤집힌 것(행렬식이 음수)입니다. 오른쪽 그래프는 가로가 λ, 세로가 행렬식 det(A − λI) 입니다. λ 막대와 숫자 칸은 ④·⑤ 단계에서 움직입니다.
- 정의:
A v = λ v. v = (1, 1) 이면 A v = (3, 3) = 3 × (1, 1) 이라 λ = 3 입니다. 그런데 이것은 답을 알고 넣어 본 것입니다. 처음에는 v 의 두 칸도 λ 도 모르고, 모르는 것끼리 곱한λ v가 있어서 바로 풀 수 없습니다. v 를 식에서 없애는 것이 목표입니다. - 한쪽으로 모으기:
(A − λI) v = 0. λ v 를 왼쪽으로 옮기면A v − λ v = 0. 행렬 A 에서 숫자 λ 를 바로 뺄 수는 없으니, λ v 를λI v로 적습니다.λI = λ 0 / 0 λ는 어느 화살표든 λ배 하는 행렬입니다. 이제 두 항이 모두 「행렬 × v」라서 v 를 묶어 낼 수 있습니다. λ = 3 이면A − 3I = −1 1 / 1 −1이고(A − 3I)(1, 1) = (−1 + 1, 1 − 1) = (0, 0). 그림에서 A v 만큼 갔다가 3v 만큼 되돌아오면 제자리(0)입니다. - 납작해지면 넓이 0:
det(A − λI) = 0. 행렬은 0 을 늘 0 으로 보냅니다. 그런데 A − 3I 는 0 이 아닌 v = (1, 1) 까지 0 으로 보냅니다. 그러면 어느 점이든 v 쪽 몫은 사라지고 다른 한 방향의 몫만 남으니, 평면 전체가 한 줄(또는 한 점)로 눌립니다. 그림에서 정사각형의 먼 꼭짓점 (1, 1) 이 원점으로 가고, 정사각형이 선분이 됩니다. 넓이가 몇 배가 되는지가 행렬식이니 행렬식이 0 입니다:(−1)×(−1) − 1×1 = 0. 거꾸로 행렬식이 0 이면 두 열이 한 줄 위에 있어서, 0 으로 가는 0 이 아닌 v 를 꼭 찾을 수 있습니다. 그래서 「0 이 아닌 v 가 있다」는 「det(A − λI) = 0」과 같은 말이고, 식에서 v 가 빠집니다. - λ 를 움직이며 넓이 재기:
det(A − λI) = (a − λ)(d − λ) − bc. A − λI 는 A 의 대각선 a, d 에서만 λ 를 뺀 행렬(a − λ) b / c (d − λ)입니다. 2×2 행렬식 「왼쪽 위 × 오른쪽 아래 − 오른쪽 위 × 왼쪽 아래」에 넣으면 이 식이 됩니다. 값이 λ 에 따라 바뀌므로 가로를 λ, 세로를 이 값으로 그래프를 그립니다. λ = 0 이면 A 그대로라 3, λ = 2 이면A − 2I = 0 1 / 1 0이 평면을 뒤집어 −1, λ = 1 과 λ = 3 에서 0 입니다. - 풀어 쓰기:
λ² − (a + d)λ + (ad − bc) = 0.(a − λ)(d − λ) = ad − aλ − dλ + λ²이므로det(A − λI) = λ² − (a + d)λ + (ad − bc)입니다. 이것이 0 이 되는 λ 가 고윳값이라 특성 방정식이 나옵니다. 이 행렬에서는λ² − 4λ + 3 = (λ − 1)(λ − 3)이고, 포물선이 가로축과 만나는 λ = 1, λ = 3 이 고윳값입니다. 그래프에서 더 읽을 수 있는 것도 있습니다. λ = 0 에서의 높이는ad − bc, 곧 A 의 행렬식(3)입니다. 포물선을 두 근으로(λ − λ₁)(λ − λ₂) = λ² − (λ₁ + λ₂)λ + λ₁λ₂처럼 적어 비교하면, 두 근의 합은 a + d, 곱은 ad − bc 입니다(「꼭 알아야 할 성질」의 첫 두 줄). 포물선이 가로축에 닿기만 하면 겹친 근이고, 닿지 않으면 실수 근이 없어 고윳값이 복소수입니다(2절의 표).
해 볼 것. ④ 단계에서 λ 칸에 숫자를 넣어 보세요. ① λ = 0 이면 A − λI 가 A 그대로라 행렬식 3 입니다. ② λ = 2 이면 A − 2I = 0 1 / 1 0. 평행사변형이 주황으로 뒤집히고 행렬식 −1 입니다. ③ λ = 1 이면 A − I = 1 1 / 1 1. 평면이 y = x 줄로 눌리고, (1, −1) 방향이 0 으로 갑니다. 이것이 λ = 1 의 고유 방향입니다. ④ λ = 3 이면 평면이 y = −x 줄로 눌리고, (1, 1) 방향이 0 으로 갑니다.
4. 손으로 풀어 보기: 2 1 / 1 2
실험의 「대칭」 행렬 A = 2 1 / 1 2(윗줄 2 1, 아랫줄 1 2)를 처음부터 풀어 봅니다.
- 두 숫자를 구한다. 대각선의 합
a + d = 2 + 2 = 4. 행렬식ad − bc = 2×2 − 1×1 = 3. - 특성 방정식에 넣는다.
λ² − 4λ + 3 = 0. 인수분해하면(λ − 3)(λ − 1) = 0. 그래서 λ = 3, λ = 1. - λ = 3 의 고유벡터.
A − 3I = −1 1 / 1 −1.(A − 3I) v = 0의 첫 줄은−x + y = 0, 곧y = x. 그래서 v = (1, 1). 확인:A (1, 1) = (2 + 1, 1 + 2) = (3, 3) = 3 × (1, 1). - λ = 1 의 고유벡터.
A − I = 1 1 / 1 1. 첫 줄은x + y = 0, 곧y = −x. 그래서 v = (1, −1). 확인:A (1, −1) = (2 − 1, 1 − 2) = (1, −1) = 1 × (1, −1). - 맞는지 본다. 고윳값의 합
3 + 1 = 4는 대각선의 합과 같고, 곱3 × 1 = 3은 행렬식과 같습니다. 두 고유벡터는(1, 1) · (1, −1) = 1 − 1 = 0이라 서로 직각입니다.
실험에서 「대칭」을 누르고 「답 보기」를 켜면 같은 답이 나옵니다.
5. 꼭 알아야 할 성질
| 성질 | 2 1 / 1 2 에서 |
|---|---|
| 고윳값을 모두 더하면 대각선의 합(a + d)이다 | 3 + 1 = 4 = 2 + 2 |
| 고윳값을 모두 곱하면 행렬식(ad − bc)이다. 그래서 고윳값에 0 이 있으면 행렬식도 0 이다 | 3 × 1 = 3 = 4 − 1 |
| 고유벡터에 0 이 아닌 숫자를 곱해도 같은 고윳값의 고유벡터다 | (2, 2), (−1, −1) 도 λ = 3 |
| 2×2 행렬의 고윳값은 많아야 둘이다(특성 방정식이 2차식이라서). n×n 이면 많아야 n 개 | 3 과 1 |
| 대칭 행렬(b = c)은 고윳값이 늘 실수이고, 고유벡터를 서로 직각으로 고를 수 있다 | (1, 1) 과 (1, −1) 은 직각 |
실험의 설명 줄은 행렬을 바꿀 때마다 첫째와 둘째 성질을 직접 확인해 줍니다.
6. 음수, 0, 중복 고윳값, 복소수
음수. λ 가 음수면 A v 는 v 와 같은 줄 위에서 반대쪽을 봅니다. 길이는 λ 의 절댓값만큼 배가 됩니다. 「뒤집기」(−1 0 / 0 1)는 가로 방향을 반대로 돌려놓습니다(λ = −1).
0. λ = 0 이면 그 방향의 화살표가 0 으로 눌려 사라집니다. 평면이 한 줄(또는 한 점)로 납작해진 것이라 행렬식이 0 이고, 되돌리는 행렬(역행렬)이 없고, 랭크가 2 보다 작아집니다. 거꾸로 행렬식이 0 이면 고윳값에 꼭 0 이 있습니다(곱이 행렬식이니까).
중복 고윳값(repeated eigenvalue). 특성 방정식의 두 근이 같을 때입니다. 이때는 두 가지가 있습니다. 「기울이기」(1 1 / 0 1)는 λ = 1 이 겹치는데 고유 방향은 가로 (1, 0) 하나뿐입니다. 「2배」(2 0 / 0 2)는 λ = 2 가 겹치고 모든 방향이 고유 방향입니다. 어느 화살표든 방향은 그대로, 길이만 2배가 되니까요.
복소수. 「돌리기 90°」(0 −1 / 1 0)는 모든 화살표를 90° 돌립니다. 그대로 남는 방향이 없습니다. 특성 방정식이 λ² + 1 = 0 이라 실수 답이 없고, 복소수 λ = ±i 가 답입니다. 이 쪽의 그림은 실수 방향만 보여 줍니다.
해 볼 것. ① 「뒤집기」에서 v = (1, 0) 이면 A v = (−1, 0). 같은 줄의 반대쪽이라 λ = −1 입니다. ② 숫자 칸에 1 2 / 0.5 1 을 넣으면 고윳값은 2 와 0 입니다. v = (2, −1) 로 두면 A v = (0, 0) 이 됩니다. ③ 「돌리기 90°」에서는 v 를 어디로 돌려도 A v 가 90° 벗어납니다. ④ 「기울이기」와 「2배」의 바탕 화살표를 비교해 보세요. 「기울이기」는 가로 방향의 쌍만 같은 줄 위에 놓이고, 「2배」는 모든 쌍이 같은 줄 위에 놓입니다.
7. 대각화: 고유벡터를 기준으로 보기
기저와 좌표 바꾸기에서 본 것처럼 같은 화살표도 어떤 기준 화살표로 재느냐에 따라 좌표가 달라집니다. 기준을 고유벡터로 삼으면 행렬이 아주 단순해집니다. 각 기준 방향을 「몇 배」 할 뿐이기 때문입니다. 이렇게 행렬을 「기준 바꾸기 → 방향마다 몇 배 → 기준 되돌리기」로 나눠 적는 것이 대각화입니다.
A = P D P⁻¹
P: 고유벡터를 열로 세운 행렬.2 1 / 1 2이면P = 1 1 / 1 −1(왼쪽 열 (1, 1), 오른쪽 열 (1, −1)).D: 대각선에 고윳값만 있고 나머지는 0 인 행렬.D = 3 0 / 0 1.P⁻¹: P 를 되돌리는 행렬. 여기서는P⁻¹ = 0.5 0.5 / 0.5 −0.5.
v 에 곱할 때는 오른쪽부터 읽습니다. v = (1, 0) 으로 따라가 봅니다.
P⁻¹ v = (0.5, 0.5). 고유벡터 좌표로 바꿨습니다. v = 0.5 × (1, 1) + 0.5 × (1, −1) 이라는 뜻입니다.D를 곱하면(1.5, 0.5). 첫째 방향은 3배, 둘째 방향은 1배.P를 곱하면1.5 × (1, 1) + 0.5 × (1, −1) = (2, 1). 보통 좌표로 돌아왔고, A v 와 같습니다.
좋은 점은 거듭제곱입니다. A³ = P D³ P⁻¹ 이고 D³ = 27 0 / 0 1 은 대각선 숫자만 세제곱하면 됩니다. 그래서 A³ (1, 0) = 0.5 × 27 × (1, 1) + 0.5 × 1 × (1, −1) = (14, 13).
언제 되나. 2×2 행렬은 서로 다른 고유 방향이 둘 있어야 대각화됩니다. 고윳값이 서로 다르면 늘 됩니다. 대칭 행렬도 늘 됩니다. 「기울이기」는 고유 방향이 하나뿐이라 안 되고, 「돌리기 90°」는 실수로는 안 됩니다.
8. 여러 번 곱하면 가장 큰 고윳값이 이긴다
위 계산을 다시 보면 Aᵏ (1, 0) = 0.5 × 3ᵏ × (1, 1) + 0.5 × 1ᵏ × (1, −1) 입니다. (1, 1) 쪽 몫은 곱할 때마다 3배가 되고 (1, −1) 쪽 몫은 그대로입니다. 몇 번만 곱해도 (1, 1) 쪽 몫이 훨씬 커져서 화살표가 크기가 가장 큰 고윳값의 방향으로 쏠립니다. 3번이면 벌써 (14, 13) 입니다.
이 생각으로 가장 큰 고윳값의 고유벡터를 찾는 방법을 거듭제곱법이라고 부릅니다. 아주 큰 행렬에서도 「곱하기」만 되면 쓸 수 있습니다. 크기가 가장 큰 고윳값이 하나뿐이고, 시작 화살표에 그 방향의 몫이 조금이라도 있으면 됩니다.
해 볼 것. 「A 를 여러 번 하기」는 v 에 A 를 8번 곱합니다. 길이는 화면에 맞추고 방향만 보여 줍니다. ① 「대칭」, v = (1, 0): 보라색 점이 (1, 1) 쪽으로 모입니다. ② 「가로 2배·세로 0.5배」, v = (1, 1): 가로 (1, 0) 쪽으로 빨리 모입니다. ③ 「기울이기」, v = (0, 1): 하나뿐인 방향 (1, 0) 쪽으로 천천히 다가갑니다. ④ 「뒤집기」, v = (1, 1): 고윳값 1 과 −1 의 크기가 같아 이기는 쪽이 없고, 두 자리를 오갑니다. ⑤ 「돌리기 90°」: 네 자리를 계속 돕니다.
어디에 쓰나
- 검색 순위(페이지랭크). 구글이 검색 결과의 순서를 정하려고 만든 방법입니다. 웹 페이지와 링크를 큰 행렬로 적으면, 고윳값 1 의 고유벡터가 각 페이지의 점수가 됩니다. 행렬이 너무 커서 거듭제곱법으로 구합니다.
- 주성분 분석(PCA). 데이터가 가장 넓게 퍼진 방향을 찾습니다. 그 방향이 데이터의 공분산 행렬에서 가장 큰 고윳값의 고유벡터입니다. 숫자가 많은 데이터를 중요한 방향 몇 개로 줄일 때 씁니다.
- 진동과 안정성. 다리나 건물이 잘 흔들리는 모양(고유 진동 모드)과 그 빠르기(고유 진동수)를 고윳값 문제로 구합니다. 또 매번 A 를 곱해 바뀌는 시스템은 모든 고윳값의 크기가 1 보다 작으면 0 으로 가라앉고, 1 보다 큰 것이 있으면 대부분의 시작점에서 커집니다.
- 오래 뒤의 상태(마르코프 사슬). 「오늘 맑으면 내일 비 올 확률」처럼 상태가 바뀌는 확률을 행렬로 적습니다. 오래 지나면 대개 한 비율에 머무는데, 그 비율이 고윳값 1 의 고유벡터입니다.
고유벡터는 정사각 행렬에만 있습니다. 정사각이 아니면 v 와 A v 의 칸 수가 달라 같은 줄에 놓을 수 없기 때문입니다. 비슷한 생각을 어느 행렬에나 쓰게 한 것이 특잇값 분해(SVD)입니다.
자주 묻는 것
고유벡터와 고윳값이 뭔가요?
행렬을 곱해도 방향이 그대로인(같은 줄 위에 남는) 0 이 아닌 화살표가 고유벡터입니다. 그때 길이가 몇 배가 되는지가 고윳값입니다. 식으로는 A v = λ v 입니다.
고윳값은 어떻게 구하나요?
2×2 행렬 a b / c d 에서는 λ² − (a + d)λ + (ad − bc) = 0 이라는 2차 방정식을 풉니다. 나온 λ 마다 (A − λI) v = 0 을 풀면 고유벡터가 나옵니다.
고윳값이 음수이거나 0 이면 무슨 뜻인가요?
음수면 그 방향의 화살표가 같은 줄 위에서 반대쪽을 보게 됩니다. 0 이면 그 방향의 화살표가 0 으로 눌려 사라집니다. 이때 행렬식도 0 입니다.
모든 행렬에 고유벡터가 있나요?
정사각 행렬에만 있습니다. 정사각 행렬이어도 평면을 돌리는 행렬처럼 실수 방향으로는 고유벡터가 없을 수 있습니다. 이때 고윳값은 복소수입니다.
대각화는 왜 하나요?
고유벡터를 기준으로 보면 행렬이 「방향마다 몇 배」만 남아 계산이 쉬워집니다. 특히 A 를 여러 번 곱하는 계산이 고윳값을 여러 번 곱하는 것으로 바뀝니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 방향이 그대로인 화살표 | 고유벡터(eigenvector) |
| 길이가 몇 배가 되나 | 고윳값(eigenvalue). 흔히 λ 로 적는다 |
| 고유 방향(같은 줄) | 고유공간(eigenspace) |
| 고윳값을 구하는 2차 방정식 | 특성 방정식(characteristic equation) |
| 대각선의 합 a + d | 대각합, 자취(trace). tr A 로 적는다 |
| 아무것도 안 바꾸는 행렬 I | 단위 행렬(identity matrix) |
| 고윳값이 겹침 | 중복 고윳값(repeated eigenvalue) |
| 고유 방향이 모자라 대각화가 안 되는 행렬 | defective matrix(대각화할 수 없는 행렬) |
| 고유벡터를 기준으로 나눠 적기 | 대각화(diagonalization). A = P D P⁻¹ |
| 대각선에만 숫자가 있는 행렬 | 대각 행렬(diagonal matrix) |
| b = c 인 행렬 | 대칭 행렬(symmetric matrix) |
| 여러 번 곱해 가장 큰 방향 찾기 | 거듭제곱법(power iteration, power method) |
| 실수가 아닌 고윳값 | 복소 고윳값(complex eigenvalue) |