직교, 정사영, 최소제곱
한 점에서 직선까지 가장 가까운 점은 어디일까요? 답은 「직각으로 내린 발」입니다. 이 생각 하나로 점 여러 개에 가장 잘 맞는 직선도 구합니다. 점을 끌어 보세요.
한 줄 답. 정사영은 한 점에서 직선(또는 평면)까지 가장 가까운 점을 찾는 일입니다. 그 점까지 내린 선은 직선과 직각입니다. 최소제곱은 딱 맞는 답이 없을 때 「틀린 정도를 제곱해 모두 더한 값」이 가장 작은 답을 고르는 방법입니다. 속은 정사영과 같습니다.
a = ( , )
b = ( , )
q = × a
초록 a, 파란 b 의 끝과 보라 q 를 끌거나 숫자를 고쳐 보세요. 옅은 초록 선이 a 가 정하는 직선이고, q 는 그 위에서만 움직입니다. 주황 점선이 b 에서 직선으로 직각으로 내린 선이고, 그 발이 p 입니다.
1. 직교: 내적이 0 이면 직각
두 화살표가 직각을 이루면 「직교한다」고 말합니다. 그림이 없어도 숫자로 알 수 있습니다. 내적이 0 이면 직각입니다. 내적은 가로끼리 곱하고 세로끼리 곱해서 더한 값입니다(내적 쪽).
(2, 1) · (−1, 2) = 2×(−1) + 1×2 = 0 → 직각
직각인 두 방향은 서로 섞이지 않습니다. 한쪽으로 아무리 가도 다른 쪽으로는 조금도 가지 않습니다. 그래서 「이 방향으로 얼마, 저 방향으로 얼마」를 따로따로 셀 수 있습니다. 이 쪽의 나머지가 모두 이 성질을 씁니다.
화살표 v 의 길이는 |v| 로 적습니다. 길이의 제곱은 자기 자신과의 내적입니다. |v|² = v·v.
2. 정사영: 직각으로 내린 발
원점을 지나는 직선이 하나 있습니다. 그 방향을 화살표 a 로 나타냅니다. 직선 밖에 점 b 가 있습니다. b 에서 직선까지 직각이 되게 선을 내리면 직선과 만나는 점이 생깁니다. 이 점 p 가 b 의 정사영입니다. 해가 바로 위에 있을 때 막대가 바닥에 만드는 그림자와 같습니다.
p = (a·b ÷ a·a) × a
괄호 안은 숫자 하나입니다. 「a 를 몇 배 하면 p 에 닿나」입니다. 아래쪽 a·a 는 a 의 길이의 제곱입니다. a 가 (0, 0) 이면 a·a 가 0 이라 나눌 수 없습니다. 방향이 없으니 직선도, 정사영도 없습니다.
직선 대신 평면이나 더 큰 공간에 내려도 뜻은 같습니다. 그 안에서 가장 가까운 점을 찾고, 차이는 그 평면과 직각입니다(7장).
식이 나오는 길은 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.
손으로 풀어 보기
a = (2, 1), b = (3, 4) 일 때입니다. 위 실험의 처음 모습이 이것입니다.
- a·b = 2×3 + 1×4 = 10
- a·a = 2×2 + 1×1 = 5
- 몇 배인가: 10 ÷ 5 = 2
- p = 2 × (2, 1) = (4, 2)
- 확인: b − p = (3 − 4, 4 − 2) = (−1, 2). (b − p)·a = (−1)×2 + 2×1 = 0. 직각이 맞습니다.
- b 에서 p 까지의 거리 = (−1, 2) 의 길이 = √(1 + 4) = √5 ≈ 2.24
해 볼 것. ① q 를 직선 위 어디로 끌어도 b 에서 q 까지의 거리는 2.24 보다 작아지지 않습니다. q 를 p 에 겹칠 때(q = 2 × a)만 2.24 가 됩니다. ② a 를 (4, 2) 나 (−2, −1) 로 바꿔도 p 는 (4, 2) 그대로입니다. 직선이 같으면 p 도 같습니다. ③ b 를 (−1, 2) 로 옮기면 p 가 (0, 0) 이 됩니다. b 가 a 와 직각이라 그림자가 생기지 않습니다.
식이 만들어지는 과정: 정사영 식
식 p = (a·b ÷ a·a) × a 를 한 단계씩 만들어 봅니다. 자료는 손 계산과 같은 a = (2, 1), b = (3, 4) 입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.
초록 a, 파란 b. 보라 점은 직선 위의 점 t × a, 주황은 직각 표시와 완성된 p 입니다. t 막대는 ①~④ 단계에서 움직일 수 있고, ⑤ 단계부터는 풀어 낸 값 2 에 머뭅니다.
그래프가 포물선인 까닭. 거리² 를 풀어 쓰면 |b − t × a|² = a·a × t² − 2 × a·b × t + b·b, t 에 대한 이차식입니다. 여기서는 5t² − 20t + 25 입니다. a 가 (0, 0) 이 아니면 t² 앞의 수 a·a 가 0 보다 커서 위로 열린 포물선이 되고, 바닥이 하나입니다. 이차식의 꼭짓점 공식(t = −(t 앞의 수) ÷ (2 × t² 앞의 수))으로 구해도 t = 2 × a·b ÷ (2 × a·a) = a·b ÷ a·a, 같은 답입니다.
직선 맞추기의 기울기도 같은 꼴입니다. 최소제곱 직선은 평균점 (x̄, ȳ) 을 지납니다(6장). 그래서 x 와 y 에서 각자의 평균을 빼면, 높이인 y 절편(intercept) k 없이 y − ȳ ≈ m × (x − x̄) 만 맞추면 됩니다. 이것은 b 자리에 y − ȳ 들을, a 자리에 x − x̄ 들을 놓은 정사영입니다(점이 넷이면 4차원). 그래서 m = a·b ÷ a·a = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)² 입니다. 6장의 손 계산 예제로는 a = (−1.5, −0.5, 0.5, 1.5), b = (−1.5, 0.5, −0.5, 1.5), a·b = 4, a·a = 5, m = 4 ÷ 5 = 0.8 입니다.
3. 왜 직각으로 내린 발이 가장 가까운가
직선 위에서 p 가 아닌 점 q 를 하나 고릅니다. b, p, q 는 직각삼각형을 이룹니다. 직각은 p 에 있고, b 에서 q 까지가 빗변입니다. 피타고라스 정리로 적으면 이렇습니다.
|b − q|² = |b − p|² + |p − q|²
오른쪽 끝의 |p − q|² 는 0 보다 작을 수 없습니다. 그래서 |b − q| 는 늘 |b − p| 보다 크거나 같습니다. 같아지는 것은 q 가 p 일 때뿐입니다. 곧 직각으로 내린 발이 가장 가까운 점입니다. 거꾸로 말해도 맞습니다. 가장 가까운 점을 찾았다면 그 차이는 직선과 직각입니다.
실험의 처음 모습으로 확인합니다. q = 1.5 × a = (3, 1.5) 입니다. |b − q|² = 0² + 2.5² = 6.25, |b − p|² = 5, |p − q|² = 1² + 0.5² = 1.25. 5 + 1.25 = 6.25 로 맞습니다.
4. 직각인 기준 만들기: 그람-슈미트
평면의 기준 화살표 둘이 서로 직각이면 계산이 쉽습니다. 어떤 점이든 「이 기준으로 얼마, 저 기준으로 얼마」를 정사영 하나씩으로 바로 구할 수 있습니다(기저 쪽). 직각이 아닌 두 화살표 a, b 를 직각인 한 쌍으로 바꾸는 방법이 그람-슈미트입니다.
- a 는 그대로 둡니다.
- b 에서 「a 쪽으로 가는 몫」 p 를 뺍니다.
u = b − p. - u 는 a 와 직각입니다. a 와 u 가 새 기준입니다.
- 필요하면 둘을 각자의 길이로 나눠 길이를 1 로 맞춥니다.
예: a = (2, 1), b = (3, 4). 앞에서 p = (4, 2) 였으므로 u = (3, 4) − (4, 2) = (−1, 2). 확인하면 a·u = 2×(−1) + 1×2 = 0 입니다. 두 길이는 모두 √5 이므로, 길이를 1 로 맞추면 (2, 1) ÷ √5 와 (−1, 2) ÷ √5 입니다.
화살표가 셋 이상이면 같은 일을 되풀이합니다. 셋째 것에서 앞에서 만든 기준들 쪽으로 가는 몫을 모두 뺍니다.
해 볼 것. ① 실험에서 「직각으로 만들기」를 누르면 주황 점선 b − p 가 원점으로 옮겨 와 검은 화살표 u = (−1, 2) 가 됩니다. a 와 u 사이에 직각 표시가 생깁니다. ② 그 상태에서 b 를 (4, 2) 로 옮기면 u 가 (0, 0) 이 됩니다. b 가 a 와 한 줄에 있으면 새 방향이 나오지 않습니다.
5. 최소제곱: 딱 맞는 답이 없을 때
점 여러 개를 지나는 직선을 긋고 싶습니다. x 가 다른 두 점이면 지나는 직선이 딱 하나 있습니다. 점이 셋 이상이고 한 줄에 있지 않으면 모든 점을 지나는 직선은 없습니다. 그래서 「가장 덜 틀린」 직선을 고릅니다.
직선을 y = m·x + k 로 적습니다. m 은 기울기, k 는 x = 0 일 때의 높이인 y 절편입니다. 점마다 실제 y − 직선의 y 가 그 점에서 틀린 정도입니다. 이것을 잔차라고 부릅니다. 잔차를 제곱해 모두 더한 값이 가장 작은 직선이 최소제곱 직선입니다.
제곱의 합 = Σ (yᵢ − (m·xᵢ + k))²
Σ 는 「모두 더한다」는 기호이고, i 는 1번 점, 2번 점처럼 점의 번호입니다. 아래 실험에서 옅은 주황 정사각형 하나의 넓이가 그 점의 잔차의 제곱입니다. 정사각형 넓이를 모두 더한 값을 가장 작게 만드는 직선을 찾는 것입니다.
( , )
파란 점을 끌거나, 점을 고르고 숫자를 고쳐 보세요. 「점 빼기」는 고른 점(검은 고리)을 뺍니다. 점은 3~12개까지 둘 수 있습니다. 「최소제곱 답」에서 보이는 검은 점 「평균」은 x 들의 평균과 y 들의 평균이 만나는 자리입니다.
해 볼 것. ① 처음 6개 점의 최소제곱 직선은 y = 0.56x + 0.06 이고, 제곱의 합은 2.22 입니다. ② 「직접 맞춰 보기」를 누르면 처음 직선은 y = 0x + 0 이고 제곱의 합은 15.12 입니다. 막대를 움직여 줄여 보세요. 어떻게 해도 2.22 아래로는 내려가지 않습니다. 「답 보기」를 누르면 막대가 답으로 갑니다. ③ 「최소제곱 답」에서 6번 점을 (3.6, 2.6) 에서 (3.6, −4) 로 끌어내리면 직선이 y = −0.06x − 1.18 이 됩니다. 점 하나 때문에 오르막이던 직선이 내리막이 됩니다. 멀리 튄 점에 약하다는 뜻입니다(8장).
6. 직선 맞추기 공식과 손 계산
최소제곱 직선은 공식으로 바로 나옵니다. x̄(엑스 바)는 x 들의 평균, ȳ(와이 바)는 y 들의 평균입니다.
기울기 m = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)²y 절편 k = ȳ − m × x̄
둘째 식은 「직선이 평균점 (x̄, ȳ) 을 지난다」는 뜻입니다. 아래쪽 Σ(x − x̄)² 가 0 이면, 곧 x 가 모두 같으면 기울기를 정할 수 없습니다. 이 공식은 7장의 정규 방정식을 직선에 맞게 풀어 쓴 것입니다. 기울기가 정사영 식 a·b ÷ a·a 와 같은 꼴이라는 것은 「식이 만들어지는 과정」 끝에서 봅니다.
손으로 풀어 보기
점 넷: (1, 1), (2, 3), (3, 2), (4, 4).
| x | y | x − x̄ | y − ȳ | (x − x̄)(y − ȳ) | (x − x̄)² |
|---|---|---|---|---|---|
| 1 | 1 | −1.5 | −1.5 | 2.25 | 2.25 |
| 2 | 3 | −0.5 | 0.5 | −0.25 | 0.25 |
| 3 | 2 | 0.5 | −0.5 | −0.25 | 0.25 |
| 4 | 4 | 1.5 | 1.5 | 2.25 | 2.25 |
| 합 | 4 | 5 | |||
- 평균: x̄ = (1 + 2 + 3 + 4) ÷ 4 = 2.5, ȳ = (1 + 3 + 2 + 4) ÷ 4 = 2.5
- 표의 합: Σ(x − x̄)(y − ȳ) = 4, Σ(x − x̄)² = 5
- 기울기: m = 4 ÷ 5 = 0.8
- y 절편: k = 2.5 − 0.8 × 2.5 = 0.5
- 직선: y = 0.8x + 0.5
- 잔차: 1 − 1.3 = −0.3, 3 − 2.1 = 0.9, 2 − 2.9 = −0.9, 4 − 3.7 = 0.3. 제곱의 합 = 0.09 + 0.81 + 0.81 + 0.09 = 1.8
눈으로는 y = x 가 더 그럴듯해 보입니다. 그런데 y = x 의 잔차는 0, 1, −1, 0 이라 제곱의 합이 2 입니다. 1.8 보다 큽니다.
7. 최소제곱은 정사영이다: Ax ≈ b
직선 맞추기를 행렬로 적으면 정사영과 같은 일이라는 것이 보입니다. 위의 점 넷을 직선 y = m·x + k 에 넣으면 점마다 식이 하나씩 나옵니다.
m×1 + k = 1m×2 + k = 3m×3 + k = 2m×4 + k = 4
모르는 수는 m, k 둘인데 식은 넷입니다. 넷을 모두 맞추는 m, k 는 없습니다. 이것을 Ax = b 로 적습니다.
A = [[1, 1], [2, 1], [3, 1], [4, 1]]. 줄마다 [점의 x, 1] 입니다. 첫째 열은 x 값들, 둘째 열은 모두 1 입니다.x = (m, k). 여기서 x 는 모르는 수의 묶음입니다. 점의 x 값과 글자가 같으니 헷갈리지 마세요. 책에서도 이렇게 적습니다.b = (1, 3, 2, 4). 점들의 y 값입니다.
Ax 는 A 의 첫째 열을 m 배, 둘째 열을 k 배 해서 더한 것입니다. m 과 k 를 아무리 바꿔도 Ax 는 「A 의 열들을 섞어 만들 수 있는 것」 안에서만 움직입니다. 이 모임을 A 의 열공간이라고 합니다(랭크 쪽). b 가 그 안에 없으니 딱 맞는 답이 없습니다. 그래서 Ax ≈ b(거의 같다)로 적습니다.
그러면 열공간 안에서 b 에 가장 가까운 점을 고르면 됩니다. 바로 정사영입니다. 점이 넷이면 b 는 숫자 넷짜리 화살표(4차원)라 그릴 수 없지만, 하는 일은 2장의 그림과 같습니다. 3장에서 본 것처럼, 가장 가까운 점이면 차이 b − Ax 가 열공간과 직각입니다. 곧 A 의 열 하나하나와 내적이 0 입니다. 이것을 한 줄로 적은 것이 정규 방정식입니다.
Aᵀ(b − Ax) = 0, 곧 AᵀA x = Aᵀb
Aᵀ 는 A 의 행과 열을 바꾼 것(전치)입니다. 어떤 화살표에 Aᵀ 를 곱하면 「A 의 열마다 그 화살표와의 내적」이 나옵니다. 위의 예에 넣어 봅니다.
AᵀA = [[30, 10], [10, 4]]. 30 = 1² + 2² + 3² + 4², 10 = 1 + 2 + 3 + 4, 4 = 점의 개수.Aᵀb = (29, 10). 29 = 1×1 + 2×3 + 3×2 + 4×4, 10 = 1 + 3 + 2 + 4.- 식 둘:
30m + 10k = 29,10m + 4k = 10. 둘째 식에서 k = 2.5 − 2.5m. 첫째 식에 넣으면 30m + 25 − 25m = 29, 5m = 4, m = 0.8, k = 0.5.
공식과 같은 답입니다. 잔차 (−0.3, 0.9, −0.9, 0.3) 도 확인해 봅니다. x 열 (1, 2, 3, 4) 과의 내적은 −0.3 + 1.8 − 2.7 + 1.2 = 0, 1 열과의 내적은 −0.3 + 0.9 − 0.9 + 0.3 = 0 입니다. 잔차가 두 열 모두와 직각입니다.
이 방법은 직선에만 쓰지 않습니다. 곡선 y = c₂·x² + c₁·x + c₀ 이나 입력이 여러 개인 식도 A 의 열만 늘리면 같은 식으로 풉니다. A 의 열 가운데 다른 열들을 섞어 만들 수 있는 것이 없으면(열들이 일차 독립이면) 답이 하나로 정해집니다. 직선에서는 「x 가 모두 같지는 않다」는 뜻입니다.
8. 왜 절댓값이 아니라 제곱인가
틀린 정도를 절댓값으로 더해도 됩니다. 그래도 제곱을 많이 쓰는 까닭은 둘입니다.
- 계산이 깔끔합니다. 제곱의 합을 m, k 에 대한 높이로 보면 매끈한 그릇 모양이고, x 가 모두 같지만 않으면 바닥이 하나입니다. 그 바닥이 위의 공식(정규 방정식)으로 한 번에 나옵니다. 절댓값의 합에는 뾰족한 곳이 있어 이런 식 하나로 풀리지 않습니다.
- 큰 오차를 더 무겁게 봅니다. 오차 1 은 1 로, 오차 3 은 9 로 셉니다. 작은 오차 여럿보다 큰 오차 하나를 더 피합니다.
대신 이상치(outlier)에 약합니다. 잘못 잰 점 하나가 멀리 있으면 그 점의 제곱이 아주 커져서 직선이 그쪽으로 끌려갑니다. 위 실험의 「해 볼 것 ③」이 이것입니다. 이상치가 걱정되면 그런 점을 먼저 걸러 내거나, 큰 오차를 덜 무겁게 세는 방법(절댓값의 합, 후버 손실)을 씁니다.
9. 꼭 알아 둘 성질
| 성질 | 뜻 | 어디서 보나 |
|---|---|---|
| 가장 가까운 점 ⇔ 차이가 직각 | p 가 직선 위에서 b 에 가장 가까운 점이면 b − p 는 직선과 직각이다. 거꾸로도 맞다 | 실험 1 에서 q 를 끌어 보기 |
| 방향만 본다 | a 를 몇 배 해도(음수 배도) p 는 같다. 0 배만 안 된다 | a 를 (4, 2), (−2, −1) 로 바꾸기 |
| 두 번 내려도 같다 | p 를 같은 직선에 다시 정사영하면 p 그대로다. 이미 직선 위에 있기 때문이다 | b 를 직선 위에 놓으면 p = b |
| 최소제곱 직선은 평균점을 지난다 | 점들의 평균 (x̄, ȳ) 은 늘 그 직선 위에 있다 | 실험 2 의 검은 점 「평균」 |
| 잔차의 합은 0, 잔차와 x 의 내적도 0 | 정규 방정식의 두 줄이 바로 이 말이다(직선에 y 절편 k 가 있을 때) | 손 계산의 (−0.3, 0.9, −0.9, 0.3) |
어디에 쓰나
- 선형 회귀. 광고비로 매출을, 면적으로 집값을 어림하는 가장 기본 모델입니다. 입력이 여러 개여도 A 의 열을 늘려 같은 정규 방정식으로 풉니다.
- 추세선. 엑셀의 선형 추세선과 LINEST 함수가 최소제곱 직선을 구합니다.
- GPS 와 센서 보정. GPS 수신기가 구할 것은 위치 셋(x, y, z)과 수신기 시계의 오차 하나, 모두 넷입니다. 위성이 다섯 개 이상 보이면 식이 모르는 수보다 많고, 거리마다 오차가 있어 딱 맞는 답이 없습니다. 그래서 최소제곱으로 가장 그럴듯한 위치를 고르는 방법을 흔히 씁니다. 센서의 읽은 값과 기준 값을 여러 번 재어 직선을 맞추면 그 기울기와 y 절편이 배율과 영점 보정값이 됩니다.
- AI 학습의 평균 제곱 오차(MSE). 회귀 모델의 손실로 흔히 쓰는 MSE 는 제곱의 합을 점의 개수로 나눈 것입니다. 모델이 직선 꼴이면 정규 방정식으로 한 번에 풀립니다. 신경망처럼 식으로 바로 풀 수 없거나 데이터가 너무 크면, 손실을 조금씩 내려가며 줄입니다. 그것이 경사 하강법입니다.
- 게임의 벽 따라 미끄러지기. 캐릭터가 벽에 부딪히면 움직임 화살표에서 「벽과 직각인 몫」(정사영)을 빼서, 벽을 따라 미끄러지게 만듭니다.
# 파이썬(numpy)으로 손 계산 예제 풀기
import numpy as np
x = np.array([1, 2, 3, 4]); y = np.array([1, 3, 2, 4])
A = np.column_stack([x, np.ones(4)]) # 열: x 값들, 1
(m, k), *_ = np.linalg.lstsq(A, y, rcond=None) # m ≈ 0.8, k ≈ 0.5
자주 묻는 것
정사영이 뭔가요?
한 점에서 직선이나 평면으로 직각이 되게 선을 내렸을 때 만나는 점입니다. 그 직선(평면) 위에서 처음 점에 가장 가까운 점이기도 합니다. 원점을 지나는 직선이면 p = (a·b ÷ a·a) × a 로 구합니다.
직교는 수직과 같은 말인가요?
거의 같은 말입니다. 직교는 두 화살표의 내적이 0 이라는 뜻이고, 그림으로 그릴 수 없는 4차원 이상에서도 씁니다. 길이가 0 인 화살표는 모든 화살표와 직교합니다.
최소제곱은 왜 절댓값이 아니라 제곱을 쓰나요?
계산이 깔끔해 식 하나로 답이 나오고, 큰 오차를 더 무겁게 보기 때문입니다. 대신 멀리 튄 점 하나에 직선이 크게 끌려갑니다.
최소제곱과 선형 회귀는 같은 건가요?
선형 회귀는 입력에 숫자를 곱해 더한 식으로 출력을 어림하는 모델이고, 최소제곱은 그 숫자를 고르는 가장 흔한 방법입니다. 그래서 둘을 같은 뜻으로 쓰는 일이 많습니다.
실제 코드에서도 AᵀA x = Aᵀb 를 그대로 푸나요?
작은 문제는 그래도 됩니다. 라이브러리는 보통 QR 분해나 특잇값 분해(SVD)로 풉니다. AᵀA 를 만들면 숫자 오차가 커질 수 있어서입니다. 파이썬에서는 numpy.linalg.lstsq 를 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 직각이다(내적이 0) | 직교(orthogonal), 수직(perpendicular) |
| 직각으로 내린 발, 그림자 | 정사영(orthogonal projection) |
| 직각인 기준 만들기 | 그람-슈미트 과정(Gram-Schmidt process) |
| 서로 직각이고 길이가 1 인 기준 | 정규직교 기저(orthonormal basis) |
| 틀린 정도(실제 y − 직선의 y) | 잔차(residual) |
| 제곱의 합 | 잔차 제곱합(residual sum of squares, RSS) |
| 가장 잘 맞는 직선 | 최소제곱 직선, 회귀 직선(least squares line, regression line) |
| x = 0 일 때의 높이 k | y 절편(intercept) |
| 열들을 섞어 만들 수 있는 것 | 열공간(column space) |
| 행과 열 바꾸기 | 전치(transpose). Aᵀ 로 적는다 |
AᵀA x = Aᵀb | 정규 방정식(normal equations) |
| 멀리 튄 점 | 이상치(outlier) |
| 제곱의 합 ÷ 점의 개수 | 평균 제곱 오차(mean squared error, MSE) |
출처
- Gilbert Strang, Introduction to Linear Algebra, 4장 Orthogonality(정사영, 최소제곱, 그람-슈미트).
- MIT OCW 18.06 Linear Algebra. 15~17강(정사영, 최소제곱, 그람-슈미트).
- numpy.linalg.lstsq 문서.