n차원 벡터: 숫자 여러 개의 묶음

벡터라고 하면 평면 위의 화살표를 떠올리기 쉽습니다. 그것은 그리기 쉬워서 고른 예일 뿐입니다. 아래에서 차원 막대를 올려 보세요. 그림은 바뀌어도 벡터는 그대로 숫자 묶음이고, 셈하는 규칙도 그대로입니다.

한 줄 답. 벡터는 화살표이기 전에 순서가 있는 숫자 묶음입니다. 숫자가 2개면 평면의 화살표로, 3개면 공간의 화살표로 그릴 수 있고, 4개부터는 그릴 수 없지만 계산 규칙은 똑같습니다. 자리끼리 더하고, 모두에 같은 수를 곱하고, 자리끼리 곱해 더합니다. AI 가 다루는 벡터는 보통 숫자가 수백~수천 개입니다.

막대그래프: 자리마다 막대 하나. 위아래로 끌어 보세요.

차원 막대를 1 에서 8 까지 옮겨 보세요. 그림을 끌거나 숫자 칸을 고치면 두 그림이 같이 바뀝니다. 자리의 숫자는 −5 ~ 5 입니다.

1. 벡터는 순서가 있는 숫자 묶음

벡터는 숫자 몇 개를 정해진 순서로 묶은 것입니다. (3, 4) 는 숫자 2개짜리 벡터이고, (3, 4, 2, −1) 은 숫자 4개짜리 벡터입니다. 순서가 뜻을 가지므로 (3, 4) 와 (4, 3) 은 다른 벡터입니다. 묶음 안의 숫자 하나하나를 성분이라고 하고, 숫자의 개수 n 을 차원이라고 합니다. 프로그래머에게는 길이가 정해진 숫자 배열입니다.

같은 벡터를 세 가지 눈으로 볼 수 있습니다. 셋은 같은 것을 다르게 본 것입니다.

보는 눈(3, 4) 를 이렇게 본다언제 편한가
숫자 목록첫째 자리 3, 둘째 자리 4늘 쓸 수 있다. 컴퓨터는 이렇게 저장한다(배열)
점평면 위의 자리 (3, 4)자료 하나를 공간의 점 하나로 볼 때. 가까운 점 = 비슷한 자료
화살표원점에서 (3, 4) 까지 가는 화살표방향과 길이를 볼 때. 더하기 = 이어서 가기(벡터 쪽)

점과 화살표는 숫자가 2개나 3개일 때만 그릴 수 있습니다. 숫자 목록은 숫자가 몇 개든 됩니다. 그래서 벡터의 바탕은 숫자 목록이고, 화살표는 그릴 수 있을 때 쓰는 그림입니다. 실험의 두 그림이 늘 같이 움직이는 것이 이 뜻입니다.

적는 법

해 볼 것. ① 처음 값은 v = (3, 4) 입니다. 화살표와 막대 둘이 같은 벡터이고, 길이는 √(3² + 4²) = 5 입니다. 막대 v2 를 끌면 화살표 끝이 위아래로 움직입니다. ② 차원을 3 으로 올리면 v = (3, 4, 2) 가 공간의 화살표가 됩니다. 길이는 5.39 입니다. 그림을 옆으로 끌면 돌아갑니다. ③ 4 로 올리면 화살표가 사라지고 평행 좌표가 나옵니다. v = (3, 4, 2, −1), 길이 5.48. 8 까지 올리면 길이는 6.93 입니다. ④ 1 로 내리면 수직선 위의 점 하나(3)가 남습니다. 숫자 하나도 1차원 벡터입니다.

2. 차원은 「숫자를 몇 개 쓰는가」

2차원은 평면, 3차원은 공간이라고 배워서, 차원을 「공간에 방향이 몇 개 있는가」로 떠올리기 쉽습니다. 벡터에서는 더 단순합니다. 차원은 숫자의 개수입니다. 그 숫자들이 공간의 방향이 아니어도 됩니다. 화면의 색 한 점은 공간과 상관이 없지만 숫자 3개(빨강, 초록, 파랑)이므로 3차원 벡터입니다.

무엇숫자 묶음차원
화면의 색 한 점(빨강, 초록, 파랑)의 세기. 예: (255, 128, 0)3
이 쪽의 영화 한 편(7절)(액션, 코미디, 로맨스, 공포, 음악) 점수5
날아가는 공 하나의 상태위치 (x, y, z) 와 속도 (x, y, z) 를 이어 붙임6
28 × 28 픽셀(pixel) 흑백 그림 한 장픽셀마다 밝기 하나를 한 줄로 이어 붙임. 손글씨 숫자 그림 모음(MNIST)이 이 크기다784
낱말, 문장의 임베딩모델이 내놓는 숫자들수백~수천(모델마다 다르다)

책에서 쓰는 엄밀한 뜻은 조금 다릅니다. 차원은 「그 공간의 모든 벡터를 일차결합으로 만들어 낼 수 있는 기저 벡터의 가장 적은 개수」입니다(기저와 좌표 바꾸기, 일차결합과 생성). ℝn 은 (1, 0, …, 0), (0, 1, …, 0), … 처럼 한 자리만 1 인 기저 벡터 n 개로 모두 만들 수 있고, 그보다 적게는 안 되므로 차원이 n 입니다. 그래서 ℝn 에서는 「숫자의 개수」와 「차원」이 같습니다. 다만 자료가 그 안의 좁은 판(예: 784차원 안의 납작한 면)에만 놓여 있으면, 자료가 실제로 쓰는 방향은 더 적습니다. 그 방향을 찾는 것이 주성분 분석(PCA)입니다.

3. 그릴 수 없는 벡터를 보는 법

숫자가 1개, 2개, 3개면 수직선, 평면, 공간에 그릴 수 있습니다. 우리가 사는 공간에는 서로 수직인 방향이 셋뿐이라, 넷째 숫자를 둘 방향이 없습니다. 그래서 4차원부터는 화살표를 그리지 못합니다. 그래도 볼 수는 있습니다.

해 볼 것. 차원을 4 로 두고 평행 좌표의 넷째 축(v4)을 위로 끌어 보세요. 꺾은선 끝과 막대 v4 가 같이 올라갑니다. 두 그림은 같은 숫자 넷을 다르게 그린 것입니다.

4. 계산 규칙은 그대로

2차원에서 배운 셈은 모두 「자리마다 한 번씩」 하는 셈이었습니다. 그래서 자리가 몇 개든 그대로 됩니다. 아래에서 n 을 바꾸고 셈을 골라 보세요. 두 벡터 a, b 는 늘 같은 차원입니다.

셈식(자리 i 마다)나오는 것
더하기a + b = (a1 + b1, …, an + bn)벡터(n차원)
스칼라배(숫자 하나 곱하기)k a = (k × a1, …, k × an)벡터(n차원)
내적a · b = Σ ai × bi숫자 하나
노름(norm, 길이)|a| = √(Σ ai²)숫자 하나(0 이상)
거리|a − b| = √(Σ (ai − bi)²)숫자 하나(0 이상)
코사인 유사도(a · b) ÷ (|a| × |b|)숫자 하나(−1 ~ 1)

Σ 를 처음 본다면. Σ(시그마)는 「i 를 1 부터 n 까지 바꿔 가며 뒤에 적힌 것을 모두 더한다」는 기호입니다. 책에서는 Σ 아래에 i = 1, 위에 n 을 작게 적습니다. 프로그래머에게는 반복문 하나입니다. 길이는 ai × ai 를 더한 뒤 제곱근을 씌우고, 거리는 ai − bi 를 제곱해 더한 뒤 제곱근을 씌웁니다. 모두 같은 꼴입니다.

// a · b = Σ aᵢ × bᵢ (i = 1 … n) 는 이 반복문과 같다
let sum = 0;
for (let i = 0; i < n; i++) {   // 수학은 1 부터, 배열은 0 부터 센다: a₁ 이 a[0]
  sum += a[i] * b[i];
}
// 노름 |a| = √(Σ aᵢ²): 같은 반복문에서 a[i] * a[i] 를 더하고 Math.sqrt(sum)

내적과 코사인 유사도가 무엇을 재는지는 내적 쪽에, 2차원 화살표로 본 더하기와 스칼라배는 벡터 쪽에 있습니다. 여러 벡터에 수를 곱해 더하는 것은 일차결합입니다. 모두 몇 차원에서든 같습니다.

해 볼 것. ① 처음 상태(n = 4, 더하기)에서 a = (1, 2, 2, 4), b = (2, 1, 0, 2) 이고 a + b = (3, 3, 2, 6) 입니다. ② 「스칼라배」를 누르면 1.5 × a = (1.5, 3, 3, 6). 모든 막대가 같은 배수로 늘고, 길이도 5 에서 7.5 로 1.5배가 됩니다. k 를 −1 로 하면 막대가 모두 뒤집힙니다. ③ 「내적」을 누르면 곱 2, 2, 0, 8 이 한 줄로 이어져 12 에서 끝납니다. 코사인 유사도는 0.8 입니다. ④ n 을 2 로 내리면 a = (1, 2), b = (2, 1) 이 되고 평면 그림이 하나 더 나옵니다. 더하기는 막대로도 화살표로도 (3, 3), 내적은 막대로 1×2 + 2×1 = 4, 평면에서 |a| × |b| × cos θ 로 재도 4(θ = 36.87°)입니다.

5. 손으로 풀어 보기: 4차원 벡터 둘

a = (1, 2, 2, 4), b = (2, 1, 0, 2). 실험의 처음 값과 같습니다. 4차원이라 그릴 수는 없지만 셈은 자리마다 하면 됩니다.

셈자리마다결과
a + b(1 + 2, 2 + 1, 2 + 0, 4 + 2)(3, 3, 2, 6)
1.5 × a(1.5×1, 1.5×2, 1.5×2, 1.5×4)(1.5, 3, 3, 6)
a · b1×2 + 2×1 + 2×0 + 4×2 = 2 + 2 + 0 + 812
|a|√(1² + 2² + 2² + 4²) = √(1 + 4 + 4 + 16) = √255
|b|√(2² + 1² + 0² + 2²) = √(4 + 1 + 0 + 4) = √93
a − b(1 − 2, 2 − 1, 2 − 0, 4 − 2)(−1, 1, 2, 2)
거리 |a − b|√((−1)² + 1² + 2² + 2²) = √(1 + 1 + 4 + 4) = √10약 3.16
코사인 유사도12 ÷ (5 × 3) = 12 ÷ 150.8

코사인 유사도 0.8 은 두 벡터가 꽤 비슷한 쪽을 본다는 뜻입니다. 2차원이라면 사잇각이 약 36.87° 인 두 화살표입니다. 4차원에서도 「각도」는 이렇게 코사인 유사도로 정의해서 씁니다.

6. 식이 만들어지는 과정: 노름과 거리

길이 식 √(Σ ai²) 은 외우는 식이 아니라 피타고라스 정리를 되풀이해서 나온 식입니다. 단계를 넘기며 루트 안에 조각이 하나씩 붙는 것을 보세요. 그림은 실험 ① 의 v = (3, 4, 2, −1) 과 실험 ② 의 a, b 를 씁니다.

|v| = √(x² + y²)

√(3² + 4²) = √(9 + 16) = √25 = 5

평면의 화살표 (3, 4) 는 가로 3, 세로 4 인 직각삼각형의 빗변입니다. 피타고라스 정리(빗변² = 두 변의 제곱의 합)로 길이가 바로 나옵니다.

이 직선 거리를 유클리드 거리라고 부릅니다. 차이를 제곱하므로 부호가 사라지고(−1 과 1 은 같은 만큼 떨어져 있습니다), 큰 차이가 더 크게 셉니다. 차이 2 는 4 로, 차이 7 은 49 로 들어갑니다. 7절의 영화 표에서 한 자리의 큰 차이가 거리를 거의 정하는 까닭입니다.

7. 자료 한 줄 = 벡터 하나

표의 한 줄은 숫자 묶음이므로 벡터입니다. 아래는 지어낸 영화 6편을 특징 5개(0~10 점)로 적은 표입니다. 영화 한 편이 5차원 벡터이고, 표 전체는 6행 5열짜리 행렬입니다. 두 줄을 골라 보세요.

작게 줄인 본보기: 지어낸 영화 6편, 특징 5개. 실제 추천과 검색에서는 숫자가 수백 개를 넘고, 그 숫자를 사람이 아니라 모델이 정합니다. 그래서 숫자 하나하나에 「액션」 같은 이름이 없습니다.

「취향이 비슷한 영화 찾기」는 「가까운 벡터 찾기」가 됩니다. 글이나 그림도 같습니다. 임베딩 모델이 글을 숫자 수백~수천 개로 바꾸고, 벡터 검색이 그중 가까운 것을 찾습니다. 차원만 클 뿐 이 표에서 하는 일과 같습니다.

해 볼 것. ① 처음 상태(영화 A 와 B)는 거리 2.65, 코사인 유사도 0.97 입니다. 둘 다 액션 영화입니다. 가장 많이 다른 자리는 음악(차이 −2, 거리² 의 57%)입니다. ② 둘째를 영화 C 로 바꾸면 거리 11.22, 코사인 유사도 0.46 입니다. 가장 큰 차이는 액션(−7)이고 거리² 의 39% 를 차지합니다. ③ 둘째를 영화 F 로 바꾸면 거리는 5.66 으로 B 보다 멀지만, 코사인 유사도는 0.99 로 B 보다 높습니다. F 는 A 와 같은 쪽을 보지만 점수가 모두 낮습니다. 거리는 크기까지 보고, 코사인 유사도는 방향만 봅니다. 어느 것을 쓸지는 벡터 검색 쪽에 있습니다.

8. 열벡터, 행벡터, 그리고 m×n 행렬

같은 숫자 묶음을 세로로 세우면 열벡터, 가로로 눕히면 행벡터라고 부릅니다. 행렬로 보면 열벡터는 n×1(n행 1열), 행벡터는 1×n(1행 n열)입니다.

열벡터 (4×1)      행벡터 (1×4)
  ⎡1⎤
  ⎢2⎥             [ 1  2  2  4 ]
  ⎢2⎥
  ⎣4⎦

숫자 묶음으로서는 같습니다. 구별하는 까닭은 행렬 곱셈에서 모양이 맞아야 하기 때문입니다. 책은 보통 벡터를 열벡터로 적고, 눕힐 때는 위에 ᵀ(전치, transpose)를 붙여 aT 로 적습니다. 내적도 행렬 곱으로 적을 수 있습니다. aT b 는 (1×n) × (n×1) = 1×1, 곧 숫자 하나입니다.

m×n 행렬은 벡터 여러 개를 묶은 표입니다. 행(줄)으로 보면 n차원 벡터 m 개를 위아래로 쌓은 것이고, 열(칸)로 보면 m차원 벡터 n 개를 옆으로 놓은 것입니다. 7절의 영화 표는 6×5 행렬입니다. 한 행은 영화 한 편(5차원 벡터)이고, 한 열은 특징 하나(6차원 벡터, 예를 들어 6편의 액션 점수)입니다. 행렬 자체는 행렬 기초 쪽에서 다룹니다.

9. 고차원은 직관과 다르다

셈은 그대로지만, 2차원과 3차원에서 얻은 느낌은 고차원에서 틀릴 때가 있습니다. 아래 실험은 n차원에서 무작위 방향(길이 1 인 단위 벡터, unit vector) 둘을 뽑아 코사인 유사도를 재는 일을 2,000번 하고, 값이 어디에 몰리는지 그립니다. 같은 시드를 쓰므로 언제 열어도 같은 그림이 나옵니다.

n = 2 에서는 값이 −1 부터 1 까지 넓게 퍼지고 오히려 양 끝에 많습니다. n 을 올리면 값이 0 근처로 좁게 몰립니다. 퍼진 폭은 약 1/√n 입니다. 곧 고차원에서는 아무 두 방향이나 거의 수직입니다. 내적 Σ ui × vi 는 작은 곱 n 개의 합인데, 방향이 무작위면 곱의 부호가 제멋대로라 서로 지워지기 때문입니다.

그래서 같은 숫자도 차원에 따라 무게가 다릅니다. 코사인 유사도 0.3 은 2차원에서는 무작위 쌍의 39% 가 넘는 흔한 값이지만, 200차원에서는 무작위로 뽑은 2,000 쌍 가운데 하나도 넘지 못합니다. 고차원에서 0.3 이 나왔다면 우연이 아니라 무언가 닮은 데가 있다는 신호일 수 있습니다. 다만 실제 임베딩은 무작위 방향이 아닙니다. 낱말 벡터가 모든 방향에 고루 퍼져 있지 않다는 연구가 있습니다(Ethayarajh, 2019). 그러면 관계없는 것끼리도 코사인 유사도가 0 보다 꽤 크게 나올 수 있습니다. 「몇 이상이면 비슷하다」는 기준은 모델과 자료마다 직접 재 보고 정합니다.

거리도 비슷한 일을 겪습니다. 차원이 아주 높으면 무작위로 흩어진 점들 사이에서 가장 가까운 점까지의 거리와 가장 먼 점까지의 거리가 거의 같아집니다(Beyer 등, 1999). 이런 현상을 묶어 차원의 저주라고 부릅니다. 검색에 주는 영향은 벡터 검색 쪽 9절에 있습니다.

해 볼 것. ① 처음(n = 2)에는 −0.1 ~ 0.1 에 든 쌍이 7%, 0.3 보다 큰 쌍이 39%, 퍼진 폭은 0.71(1/√2 = 0.71)입니다. ② n = 10 이면 25%, 18%, 폭 0.31. ③ n = 50 이면 51%, 1%, 폭 0.14. ④ n = 200 이면 85%, 0%, 폭 0.07 입니다. 막대가 0 근처의 좁은 산 하나가 됩니다.

10. 꼭 알아야 할 성질

성질쉬운 말실험에서
순서가 뜻을 가진다(1, 2) 와 (2, 1) 은 다른 벡터다. 자리마다 정해진 뜻이 있다실험 ①: 막대 v1 과 v2 의 값을 맞바꾸면 화살표가 다른 곳을 가리킨다
차원이 같아야 셈이 된다자리끼리 짝을 지어 셈하므로, 짝이 없는 자리가 생기면 셈이 정해지지 않는다실험 ②: a 와 b 는 늘 같은 n
규칙은 차원과 상관없다더하기, 스칼라배, 내적, 노름, 거리는 모두 「자리마다 한 번씩」 하는 셈이다실험 ②: n 을 2 에서 8 까지
노름과 거리는 피타고라스의 되풀이숫자가 하나 늘면 루트 안에 제곱이 하나 붙는다. 거리는 차이 벡터의 길이다실험 ③
고차원에서는 무작위 방향이 거의 수직무작위 두 방향의 코사인 유사도가 0 근처로 몰리고, 그 폭은 약 1/√n 이다실험 ⑤

어디에 쓰나

자주 묻는 것

벡터는 꼭 화살표인가요?

아닙니다. 벡터는 순서가 있는 숫자 묶음입니다. 숫자가 2개나 3개일 때 화살표로 그릴 수 있을 뿐이고, 숫자가 몇 개든 같은 규칙으로 더하고 곱하고 길이를 잽니다.

4차원 이상은 어떻게 상상하나요?

상상하지 않아도 됩니다. 셈은 숫자 목록으로 하고, 볼 때는 막대그래프, 평행 좌표, 2차원으로 줄인 그림(PCA)을 씁니다. 다만 2차원과 3차원에서 얻은 느낌이 고차원에서는 틀릴 수 있습니다. 예를 들어 고차원에서는 아무 두 방향이나 거의 수직입니다.

차원이 다른 벡터끼리 더하거나 내적할 수 있나요?

없습니다. 자리끼리 짝을 지어 셈하는데, 한쪽에만 있는 자리는 짝이 없습니다. 이 쪽의 계산 함수도 그때는 답 대신 null 을 돌려줍니다.

행렬과 벡터는 무엇이 다른가요?

벡터는 숫자 한 줄이고, 행렬은 숫자를 m행 n열로 늘어놓은 표입니다. m×n 행렬은 n차원 벡터 m 개를 위아래로 쌓은 것으로 볼 수도 있고, m차원 벡터 n 개를 옆으로 놓은 것으로 볼 수도 있습니다. 벡터는 한 줄짜리 행렬(n×1 또는 1×n)입니다.

AI 의 벡터는 왜 차원이 그렇게 높나요?

낱말이나 문장의 여러 성질을 한꺼번에 담으려면 숫자가 많이 필요하기 때문입니다. 몇 차원을 쓸지는 모델을 만든 사람이 정합니다. 이 쪽의 영화 표와 달리, 임베딩의 숫자 하나하나에는 「액션」처럼 사람이 붙인 이름이 없습니다.

낱말

여기서 쓴 말책에서 부르는 말
순서가 있는 숫자 묶음벡터(vector). 수의 순서쌍, 튜플(tuple)이라고도 한다
자리의 숫자성분(component), 원소(entry). vi 로 적는다
숫자의 개수차원(dimension)
숫자 n 개짜리 벡터 전부ℝn, n차원 실수 공간(real coordinate space), 벡터 공간(vector space)
숫자 하나스칼라(scalar)
모두에 같은 수 곱하기스칼라배(scalar multiplication)
자리끼리 곱해 더하기내적(dot product, inner product)
길이노름(norm), 유클리드 노름(Euclidean norm). |v| 또는 ‖v‖ 로 적는다
직선 거리유클리드 거리(Euclidean distance)
모두 더한다는 기호시그마, 합 기호(summation, Σ)
세로로 세운 벡터, 가로로 눕힌 벡터열벡터(column vector), 행벡터(row vector)
세우기와 눕히기를 바꾸기전치(transpose). aT 로 적는다
길이가 1 인 벡터단위 벡터(unit vector)
세로축 n 개에 꺾은선 하나평행 좌표(parallel coordinates)
고차원에서 직관이 틀리는 일들차원의 저주(curse of dimensionality), 거리 집중(distance concentration)

출처

← 벡터일차결합과 생성 →