직교, 정사영, 최소제곱

한 점에서 직선까지 가장 가까운 점은 어디일까요? 답은 「직각으로 내린 발」입니다. 이 생각 하나로 점 여러 개에 가장 잘 맞는 직선도 구합니다. 점을 끌어 보세요.

한 줄 답. 정사영은 한 점에서 직선(또는 평면)까지 가장 가까운 점을 찾는 일입니다. 그 점까지 내린 선은 직선과 직각입니다. 최소제곱은 딱 맞는 답이 없을 때 「틀린 정도를 제곱해 모두 더한 값」이 가장 작은 답을 고르는 방법입니다. 속은 정사영과 같습니다.

a = ( , )

b = ( , )

q = × a

초록 a, 파란 b 의 끝과 보라 q 를 끌거나 숫자를 고쳐 보세요. 옅은 초록 선이 a 가 정하는 직선이고, q 는 그 위에서만 움직입니다. 주황 점선이 b 에서 직선으로 직각으로 내린 선이고, 그 발이 p 입니다.

1. 직교: 내적이 0 이면 직각

두 화살표가 직각을 이루면 「직교한다」고 말합니다. 그림이 없어도 숫자로 알 수 있습니다. 내적이 0 이면 직각입니다. 내적은 가로끼리 곱하고 세로끼리 곱해서 더한 값입니다(내적 쪽).

(2, 1) · (−1, 2) = 2×(−1) + 1×2 = 0 → 직각

직각인 두 방향은 서로 섞이지 않습니다. 한쪽으로 아무리 가도 다른 쪽으로는 조금도 가지 않습니다. 그래서 「이 방향으로 얼마, 저 방향으로 얼마」를 따로따로 셀 수 있습니다. 이 쪽의 나머지가 모두 이 성질을 씁니다.

화살표 v 의 길이는 |v| 로 적습니다. 길이의 제곱은 자기 자신과의 내적입니다. |v|² = v·v.

2. 정사영: 직각으로 내린 발

원점을 지나는 직선이 하나 있습니다. 그 방향을 화살표 a 로 나타냅니다. 직선 밖에 점 b 가 있습니다. b 에서 직선까지 직각이 되게 선을 내리면 직선과 만나는 점이 생깁니다. 이 점 p 가 b 의 정사영입니다. 해가 바로 위에 있을 때 막대가 바닥에 만드는 그림자와 같습니다.

p = (a·b ÷ a·a) × a

괄호 안은 숫자 하나입니다. 「a 를 몇 배 하면 p 에 닿나」입니다. 아래쪽 a·a 는 a 의 길이의 제곱입니다. a 가 (0, 0) 이면 a·a 가 0 이라 나눌 수 없습니다. 방향이 없으니 직선도, 정사영도 없습니다.

직선 대신 평면이나 더 큰 공간에 내려도 뜻은 같습니다. 그 안에서 가장 가까운 점을 찾고, 차이는 그 평면과 직각입니다(7장).

식이 나오는 길은 아래 「식이 만들어지는 과정」에서 그림으로 한 단계씩 봅니다.

손으로 풀어 보기

a = (2, 1), b = (3, 4) 일 때입니다. 위 실험의 처음 모습이 이것입니다.

  1. a·b = 2×3 + 1×4 = 10
  2. a·a = 2×2 + 1×1 = 5
  3. 몇 배인가: 10 ÷ 5 = 2
  4. p = 2 × (2, 1) = (4, 2)
  5. 확인: b − p = (3 − 4, 4 − 2) = (−1, 2). (b − p)·a = (−1)×2 + 2×1 = 0. 직각이 맞습니다.
  6. b 에서 p 까지의 거리 = (−1, 2) 의 길이 = √(1 + 4) = √5 ≈ 2.24

해 볼 것. ① q 를 직선 위 어디로 끌어도 b 에서 q 까지의 거리는 2.24 보다 작아지지 않습니다. q 를 p 에 겹칠 때(q = 2 × a)만 2.24 가 됩니다. ② a 를 (4, 2) 나 (−2, −1) 로 바꿔도 p 는 (4, 2) 그대로입니다. 직선이 같으면 p 도 같습니다. ③ b 를 (−1, 2) 로 옮기면 p 가 (0, 0) 이 됩니다. b 가 a 와 직각이라 그림자가 생기지 않습니다.

식이 만들어지는 과정: 정사영 식

식 p = (a·b ÷ a·a) × a 를 한 단계씩 만들어 봅니다. 자료는 손 계산과 같은 a = (2, 1), b = (3, 4) 입니다. 「다음」을 누르면 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 그림이 그만큼 바뀌고, 아래에 까닭이 나옵니다.

초록 a, 파란 b. 보라 점은 직선 위의 점 t × a, 주황은 직각 표시와 완성된 p 입니다. t 막대는 ①~④ 단계에서 움직일 수 있고, ⑤ 단계부터는 풀어 낸 값 2 에 머뭅니다.

그래프가 포물선인 까닭. 거리² 를 풀어 쓰면 |b − t × a|² = a·a × t² − 2 × a·b × t + b·b, t 에 대한 이차식입니다. 여기서는 5t² − 20t + 25 입니다. a 가 (0, 0) 이 아니면 t² 앞의 수 a·a 가 0 보다 커서 위로 열린 포물선이 되고, 바닥이 하나입니다. 이차식의 꼭짓점 공식(t = −(t 앞의 수) ÷ (2 × t² 앞의 수))으로 구해도 t = 2 × a·b ÷ (2 × a·a) = a·b ÷ a·a, 같은 답입니다.

직선 맞추기의 기울기도 같은 꼴입니다. 최소제곱 직선은 평균점 (x̄, ȳ) 을 지납니다(6장). 그래서 x 와 y 에서 각자의 평균을 빼면, 높이인 y 절편(intercept) k 없이 y − ȳ ≈ m × (x − x̄) 만 맞추면 됩니다. 이것은 b 자리에 y − ȳ 들을, a 자리에 x − x̄ 들을 놓은 정사영입니다(점이 넷이면 4차원). 그래서 m = a·b ÷ a·a = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)² 입니다. 6장의 손 계산 예제로는 a = (−1.5, −0.5, 0.5, 1.5), b = (−1.5, 0.5, −0.5, 1.5), a·b = 4, a·a = 5, m = 4 ÷ 5 = 0.8 입니다.

3. 왜 직각으로 내린 발이 가장 가까운가

직선 위에서 p 가 아닌 점 q 를 하나 고릅니다. b, p, q 는 직각삼각형을 이룹니다. 직각은 p 에 있고, b 에서 q 까지가 빗변입니다. 피타고라스 정리로 적으면 이렇습니다.

|b − q|² = |b − p|² + |p − q|²

오른쪽 끝의 |p − q|² 는 0 보다 작을 수 없습니다. 그래서 |b − q| 는 늘 |b − p| 보다 크거나 같습니다. 같아지는 것은 q 가 p 일 때뿐입니다. 곧 직각으로 내린 발이 가장 가까운 점입니다. 거꾸로 말해도 맞습니다. 가장 가까운 점을 찾았다면 그 차이는 직선과 직각입니다.

실험의 처음 모습으로 확인합니다. q = 1.5 × a = (3, 1.5) 입니다. |b − q|² = 0² + 2.5² = 6.25, |b − p|² = 5, |p − q|² = 1² + 0.5² = 1.25. 5 + 1.25 = 6.25 로 맞습니다.

4. 직각인 기준 만들기: 그람-슈미트

평면의 기준 화살표 둘이 서로 직각이면 계산이 쉽습니다. 어떤 점이든 「이 기준으로 얼마, 저 기준으로 얼마」를 정사영 하나씩으로 바로 구할 수 있습니다(기저 쪽). 직각이 아닌 두 화살표 a, b 를 직각인 한 쌍으로 바꾸는 방법이 그람-슈미트입니다.

  1. a 는 그대로 둡니다.
  2. b 에서 「a 쪽으로 가는 몫」 p 를 뺍니다. u = b − p.
  3. u 는 a 와 직각입니다. a 와 u 가 새 기준입니다.
  4. 필요하면 둘을 각자의 길이로 나눠 길이를 1 로 맞춥니다.

예: a = (2, 1), b = (3, 4). 앞에서 p = (4, 2) 였으므로 u = (3, 4) − (4, 2) = (−1, 2). 확인하면 a·u = 2×(−1) + 1×2 = 0 입니다. 두 길이는 모두 √5 이므로, 길이를 1 로 맞추면 (2, 1) ÷ √5 와 (−1, 2) ÷ √5 입니다.

화살표가 셋 이상이면 같은 일을 되풀이합니다. 셋째 것에서 앞에서 만든 기준들 쪽으로 가는 몫을 모두 뺍니다.

해 볼 것. ① 실험에서 「직각으로 만들기」를 누르면 주황 점선 b − p 가 원점으로 옮겨 와 검은 화살표 u = (−1, 2) 가 됩니다. a 와 u 사이에 직각 표시가 생깁니다. ② 그 상태에서 b 를 (4, 2) 로 옮기면 u 가 (0, 0) 이 됩니다. b 가 a 와 한 줄에 있으면 새 방향이 나오지 않습니다.

5. 최소제곱: 딱 맞는 답이 없을 때

점 여러 개를 지나는 직선을 긋고 싶습니다. x 가 다른 두 점이면 지나는 직선이 딱 하나 있습니다. 점이 셋 이상이고 한 줄에 있지 않으면 모든 점을 지나는 직선은 없습니다. 그래서 「가장 덜 틀린」 직선을 고릅니다.

직선을 y = m·x + k 로 적습니다. m 은 기울기, k 는 x = 0 일 때의 높이인 y 절편입니다. 점마다 실제 y − 직선의 y 가 그 점에서 틀린 정도입니다. 이것을 잔차라고 부릅니다. 잔차를 제곱해 모두 더한 값이 가장 작은 직선이 최소제곱 직선입니다.

제곱의 합 = Σ (yᵢ − (m·xᵢ + k))²

Σ 는 「모두 더한다」는 기호이고, i 는 1번 점, 2번 점처럼 점의 번호입니다. 아래 실험에서 옅은 주황 정사각형 하나의 넓이가 그 점의 잔차의 제곱입니다. 정사각형 넓이를 모두 더한 값을 가장 작게 만드는 직선을 찾는 것입니다.

( , )

파란 점을 끌거나, 점을 고르고 숫자를 고쳐 보세요. 「점 빼기」는 고른 점(검은 고리)을 뺍니다. 점은 3~12개까지 둘 수 있습니다. 「최소제곱 답」에서 보이는 검은 점 「평균」은 x 들의 평균과 y 들의 평균이 만나는 자리입니다.

해 볼 것. ① 처음 6개 점의 최소제곱 직선은 y = 0.56x + 0.06 이고, 제곱의 합은 2.22 입니다. ② 「직접 맞춰 보기」를 누르면 처음 직선은 y = 0x + 0 이고 제곱의 합은 15.12 입니다. 막대를 움직여 줄여 보세요. 어떻게 해도 2.22 아래로는 내려가지 않습니다. 「답 보기」를 누르면 막대가 답으로 갑니다. ③ 「최소제곱 답」에서 6번 점을 (3.6, 2.6) 에서 (3.6, −4) 로 끌어내리면 직선이 y = −0.06x − 1.18 이 됩니다. 점 하나 때문에 오르막이던 직선이 내리막이 됩니다. 멀리 튄 점에 약하다는 뜻입니다(8장).

6. 직선 맞추기 공식과 손 계산

최소제곱 직선은 공식으로 바로 나옵니다. x̄(엑스 바)는 x 들의 평균, ȳ(와이 바)는 y 들의 평균입니다.

기울기 m = Σ(x − x̄)(y − ȳ) ÷ Σ(x − x̄)²
y 절편 k = ȳ − m × x̄

둘째 식은 「직선이 평균점 (x̄, ȳ) 을 지난다」는 뜻입니다. 아래쪽 Σ(x − x̄)² 가 0 이면, 곧 x 가 모두 같으면 기울기를 정할 수 없습니다. 이 공식은 7장의 정규 방정식을 직선에 맞게 풀어 쓴 것입니다. 기울기가 정사영 식 a·b ÷ a·a 와 같은 꼴이라는 것은 「식이 만들어지는 과정」 끝에서 봅니다.

손으로 풀어 보기

점 넷: (1, 1), (2, 3), (3, 2), (4, 4).

xyx − x̄y − ȳ(x − x̄)(y − ȳ)(x − x̄)²
11−1.5−1.52.252.25
23−0.50.5−0.250.25
320.5−0.5−0.250.25
441.51.52.252.25
합45
  1. 평균: x̄ = (1 + 2 + 3 + 4) ÷ 4 = 2.5, ȳ = (1 + 3 + 2 + 4) ÷ 4 = 2.5
  2. 표의 합: Σ(x − x̄)(y − ȳ) = 4, Σ(x − x̄)² = 5
  3. 기울기: m = 4 ÷ 5 = 0.8
  4. y 절편: k = 2.5 − 0.8 × 2.5 = 0.5
  5. 직선: y = 0.8x + 0.5
  6. 잔차: 1 − 1.3 = −0.3, 3 − 2.1 = 0.9, 2 − 2.9 = −0.9, 4 − 3.7 = 0.3. 제곱의 합 = 0.09 + 0.81 + 0.81 + 0.09 = 1.8

눈으로는 y = x 가 더 그럴듯해 보입니다. 그런데 y = x 의 잔차는 0, 1, −1, 0 이라 제곱의 합이 2 입니다. 1.8 보다 큽니다.

7. 최소제곱은 정사영이다: Ax ≈ b

직선 맞추기를 행렬로 적으면 정사영과 같은 일이라는 것이 보입니다. 위의 점 넷을 직선 y = m·x + k 에 넣으면 점마다 식이 하나씩 나옵니다.

m×1 + k = 1
m×2 + k = 3
m×3 + k = 2
m×4 + k = 4

모르는 수는 m, k 둘인데 식은 넷입니다. 넷을 모두 맞추는 m, k 는 없습니다. 이것을 Ax = b 로 적습니다.

Ax 는 A 의 첫째 열을 m 배, 둘째 열을 k 배 해서 더한 것입니다. m 과 k 를 아무리 바꿔도 Ax 는 「A 의 열들을 섞어 만들 수 있는 것」 안에서만 움직입니다. 이 모임을 A 의 열공간이라고 합니다(랭크 쪽). b 가 그 안에 없으니 딱 맞는 답이 없습니다. 그래서 Ax ≈ b(거의 같다)로 적습니다.

그러면 열공간 안에서 b 에 가장 가까운 점을 고르면 됩니다. 바로 정사영입니다. 점이 넷이면 b 는 숫자 넷짜리 화살표(4차원)라 그릴 수 없지만, 하는 일은 2장의 그림과 같습니다. 3장에서 본 것처럼, 가장 가까운 점이면 차이 b − Ax 가 열공간과 직각입니다. 곧 A 의 열 하나하나와 내적이 0 입니다. 이것을 한 줄로 적은 것이 정규 방정식입니다.

Aᵀ(b − Ax) = 0, 곧 AᵀA x = Aᵀb

Aᵀ 는 A 의 행과 열을 바꾼 것(전치)입니다. 어떤 화살표에 Aᵀ 를 곱하면 「A 의 열마다 그 화살표와의 내적」이 나옵니다. 위의 예에 넣어 봅니다.

공식과 같은 답입니다. 잔차 (−0.3, 0.9, −0.9, 0.3) 도 확인해 봅니다. x 열 (1, 2, 3, 4) 과의 내적은 −0.3 + 1.8 − 2.7 + 1.2 = 0, 1 열과의 내적은 −0.3 + 0.9 − 0.9 + 0.3 = 0 입니다. 잔차가 두 열 모두와 직각입니다.

이 방법은 직선에만 쓰지 않습니다. 곡선 y = c₂·x² + c₁·x + c₀ 이나 입력이 여러 개인 식도 A 의 열만 늘리면 같은 식으로 풉니다. A 의 열 가운데 다른 열들을 섞어 만들 수 있는 것이 없으면(열들이 일차 독립이면) 답이 하나로 정해집니다. 직선에서는 「x 가 모두 같지는 않다」는 뜻입니다.

8. 왜 절댓값이 아니라 제곱인가

틀린 정도를 절댓값으로 더해도 됩니다. 그래도 제곱을 많이 쓰는 까닭은 둘입니다.

대신 이상치(outlier)에 약합니다. 잘못 잰 점 하나가 멀리 있으면 그 점의 제곱이 아주 커져서 직선이 그쪽으로 끌려갑니다. 위 실험의 「해 볼 것 ③」이 이것입니다. 이상치가 걱정되면 그런 점을 먼저 걸러 내거나, 큰 오차를 덜 무겁게 세는 방법(절댓값의 합, 후버 손실)을 씁니다.

9. 꼭 알아 둘 성질

성질뜻어디서 보나
가장 가까운 점 ⇔ 차이가 직각p 가 직선 위에서 b 에 가장 가까운 점이면 b − p 는 직선과 직각이다. 거꾸로도 맞다실험 1 에서 q 를 끌어 보기
방향만 본다a 를 몇 배 해도(음수 배도) p 는 같다. 0 배만 안 된다a 를 (4, 2), (−2, −1) 로 바꾸기
두 번 내려도 같다p 를 같은 직선에 다시 정사영하면 p 그대로다. 이미 직선 위에 있기 때문이다b 를 직선 위에 놓으면 p = b
최소제곱 직선은 평균점을 지난다점들의 평균 (x̄, ȳ) 은 늘 그 직선 위에 있다실험 2 의 검은 점 「평균」
잔차의 합은 0, 잔차와 x 의 내적도 0정규 방정식의 두 줄이 바로 이 말이다(직선에 y 절편 k 가 있을 때)손 계산의 (−0.3, 0.9, −0.9, 0.3)

어디에 쓰나

# 파이썬(numpy)으로 손 계산 예제 풀기
import numpy as np
x = np.array([1, 2, 3, 4]); y = np.array([1, 3, 2, 4])
A = np.column_stack([x, np.ones(4)])            # 열: x 값들, 1
(m, k), *_ = np.linalg.lstsq(A, y, rcond=None)  # m ≈ 0.8, k ≈ 0.5

자주 묻는 것

정사영이 뭔가요?

한 점에서 직선이나 평면으로 직각이 되게 선을 내렸을 때 만나는 점입니다. 그 직선(평면) 위에서 처음 점에 가장 가까운 점이기도 합니다. 원점을 지나는 직선이면 p = (a·b ÷ a·a) × a 로 구합니다.

직교는 수직과 같은 말인가요?

거의 같은 말입니다. 직교는 두 화살표의 내적이 0 이라는 뜻이고, 그림으로 그릴 수 없는 4차원 이상에서도 씁니다. 길이가 0 인 화살표는 모든 화살표와 직교합니다.

최소제곱은 왜 절댓값이 아니라 제곱을 쓰나요?

계산이 깔끔해 식 하나로 답이 나오고, 큰 오차를 더 무겁게 보기 때문입니다. 대신 멀리 튄 점 하나에 직선이 크게 끌려갑니다.

최소제곱과 선형 회귀는 같은 건가요?

선형 회귀는 입력에 숫자를 곱해 더한 식으로 출력을 어림하는 모델이고, 최소제곱은 그 숫자를 고르는 가장 흔한 방법입니다. 그래서 둘을 같은 뜻으로 쓰는 일이 많습니다.

실제 코드에서도 AᵀA x = Aᵀb 를 그대로 푸나요?

작은 문제는 그래도 됩니다. 라이브러리는 보통 QR 분해나 특잇값 분해(SVD)로 풉니다. AᵀA 를 만들면 숫자 오차가 커질 수 있어서입니다. 파이썬에서는 numpy.linalg.lstsq 를 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
직각이다(내적이 0)직교(orthogonal), 수직(perpendicular)
직각으로 내린 발, 그림자정사영(orthogonal projection)
직각인 기준 만들기그람-슈미트 과정(Gram-Schmidt process)
서로 직각이고 길이가 1 인 기준정규직교 기저(orthonormal basis)
틀린 정도(실제 y − 직선의 y)잔차(residual)
제곱의 합잔차 제곱합(residual sum of squares, RSS)
가장 잘 맞는 직선최소제곱 직선, 회귀 직선(least squares line, regression line)
x = 0 일 때의 높이 ky 절편(intercept)
열들을 섞어 만들 수 있는 것열공간(column space)
행과 열 바꾸기전치(transpose). Aᵀ 로 적는다
AᵀA x = Aᵀb정규 방정식(normal equations)
멀리 튄 점이상치(outlier)
제곱의 합 ÷ 점의 개수평균 제곱 오차(mean squared error, MSE)

출처

← 직교행렬과 내적공간특잇값 분해(SVD) →