임베딩: 뜻을 숫자로 바꾸기
컴퓨터는 낱말의 뜻을 모릅니다. 숫자만 다룹니다. 임베딩은 낱말과 문장을 숫자로 바꾸되, 뜻이 비슷한 것끼리 가까이 놓이게 바꾼 것입니다. 아래 지도에서 낱말을 눌러 보세요.
한 줄 답. 임베딩은 낱말이나 문장을 숫자 여러 개의 묶음(벡터)으로 바꾼 것입니다. 뜻이 비슷하면 벡터도 가까이 놓이도록 학습합니다. 그래서 「뜻이 비슷한 것 찾기」가 「가까운 벡터 찾기」가 됩니다.
작게 줄인 본보기. 좌표는 설명하려고 사람이 놓은 것입니다. 진짜 임베딩은 수백~수천 차원이고 모델이 학습으로 정합니다.
자리 = ( , )
낱말을 누르면 그 낱말에서 가까운 5개가 파란 선으로 이어지고 순위가 붙습니다. 누른 채 끌면 자리가 바뀌고 순위도 바로 바뀝니다. 키보드로는 「고른 낱말」 칸과 자리 숫자 칸을 쓰면 됩니다.
1. 임베딩이란: 낱말마다 좌표 하나
임베딩은 낱말(이나 문장, 그림)마다 숫자 몇 개를 정해 주는 것입니다. 숫자 여러 개의 묶음을 벡터라고 하고, 숫자가 몇 개인지를 차원이라고 합니다. 숫자가 둘이면 평면 위의 점 하나로 그릴 수 있습니다. 위 실험의 지도가 그렇습니다. 「고양이」는 (3, 3), 「사과」는 (−2, 4) 입니다.
좋은 임베딩에서는 뜻이 비슷한 낱말이 가까이 모입니다. 지도에서 동물은 오른쪽 위, 과일은 위, 탈것은 왼쪽, 직업은 왼쪽 아래, 사람은 오른쪽 아래에 모여 있습니다. 그래서 컴퓨터는 낱말의 뜻을 몰라도 「고양이와 비슷한 낱말」을 숫자 계산으로 찾을 수 있습니다. 「고양이와 가까운 벡터」를 찾으면 됩니다.
이 쪽의 지도는 작게 줄인 본보기입니다. 좌표는 설명하려고 사람이 손으로 놓았습니다. 진짜 임베딩은 숫자가 수백~수천 개(수백~수천 차원)이고, 그 숫자는 사람이 아니라 모델이 많은 글을 읽고 학습으로 정합니다. 그래서 진짜 임베딩에는 「가로 = 동물다움」처럼 뜻이 붙은 칸이 따로 없는 것이 보통입니다. 뜻은 다른 벡터와의 거리와 방향에 담겨 있습니다.
2. LLM 의 첫 단계: 임베딩 행렬
LLM 은 글을 받으면 먼저 토큰(낱말이나 낱말 조각)으로 자르고 번호를 붙입니다(토큰화). 번호는 이름표일 뿐 뜻이 없습니다. 7번 토큰과 8번 토큰이 뜻이 비슷하다는 보장이 없습니다.
그래서 첫 단계에서 번호를 벡터로 바꿉니다. 이때 쓰는 것이 임베딩 행렬(embedding matrix)입니다.
- 줄 수 = 토큰 종류 수(어휘 크기)
- 칸 수 = 차원
토큰 번호가 n 이면 표의 n 번째 줄을 꺼냅니다. 셈은 없고 찾아 읽기만 합니다.
const vector = embeddingTable[tokenId]; // 줄 하나 = 벡터 하나
이 쪽의 지도도 임베딩 행렬로 적을 수 있습니다. 줄 32개, 칸 2개짜리 표입니다.
| 번호 | 낱말 | 칸 1 (가로) | 칸 2 (세로) |
|---|---|---|---|
| 0 | 개 | 4 | 2 |
| 1 | 강아지 | 3.6 | 1.3 |
| 2 | 고양이 | 3 | 3 |
| … | … | … | … |
| 31 | 공주 | 3.2 | −3.3 |
진짜 LLM 의 표는 큽니다. 예를 들어 토큰 종류가 50,000 개이고 차원이 768 이면 표에 숫자가 50,000 × 768 = 38,400,000 개 들어 있습니다. 이 숫자들도 처음에는 무작위이고, 모델이 학습하는 동안 모델의 다른 숫자들과 함께 고쳐집니다. 이렇게 꺼낸 벡터가 다음 단계인 어텐션으로 들어갑니다.
3. 원-핫 벡터와 무엇이 다른가
낱말을 숫자로 바꾸는 가장 단순한 방법은 원-핫 벡터입니다. 낱말 수만큼 칸을 만들고 자기 칸에만 1, 나머지 칸에는 0 을 넣습니다. 낱말이 개, 고양이, 사과 셋뿐이면 이렇습니다.
개 = (1, 0, 0) · 고양이 = (0, 1, 0) · 사과 = (0, 0, 1)
문제는 모든 낱말이 서로 똑같이 멀다는 것입니다. 개와 고양이 사이의 유클리드 거리(Euclidean distance, 두 점 사이의 직선 거리)는 √2 ≈ 1.41, 개와 사과 사이도 1.41 입니다. 코사인 유사도는 어느 짝이나 0 입니다. 원-핫 벡터는 「개와 고양이가 비슷하다」는 것을 담지 못합니다.
| 원-핫 벡터 | 임베딩 | |
|---|---|---|
| 칸 수 | 낱말 수만큼(수만 개) | 정해서 쓴다(수백~수천 개) |
| 0 이 아닌 칸 | 하나 | 거의 모두 |
| 뜻이 비슷한 낱말끼리 | 다른 낱말과 똑같이 멀다 | 가깝다 |
| 숫자를 정하는 법 | 번호만 알면 바로 정해진다 | 학습으로 정한다 |
둘은 이어져 있습니다. 원-핫 벡터에 임베딩 행렬을 곱하면(행렬 곱셈) 1 이 있는 자리의 줄 하나만 남습니다. 표에서 줄을 꺼내는 것과 결과가 같습니다. 실제 코드는 곱하지 않고 줄을 바로 꺼냅니다. 0 을 곱하는 셈을 수만 번 할 필요가 없기 때문입니다.
4. 「가깝다」를 재는 두 방법
두 벡터가 얼마나 가까운지는 보통 둘 가운데 하나로 잽니다. 실험의 단추로 바꿔 볼 수 있습니다.
코사인 유사도 = (u · v) ÷ (|u| × |v|)
원점에서 본 방향이 얼마나 같은지입니다. 1 이면 같은 방향, 0 이면 직각, −1 이면 반대 방향입니다. 클수록 가깝습니다. u · v 는 같은 자리끼리 곱해서 더한 내적이고, |u| 는 벡터의 길이입니다.
유클리드 거리 = √((u₁ − v₁)² + (u₂ − v₂)²)
두 점 사이를 자로 잰 길이입니다. 작을수록 가깝습니다. 차원이 많으면 자리마다 차이를 제곱해서 모두 더한 뒤 제곱근을 씌웁니다.
코사인 유사도는 길이를 보지 않습니다. 원점에서 같은 방향에 놓인 점은 멀리 있든 가까이 있든 1 입니다. 실험에서 코사인 유사도를 고르면 원점에서 고른 낱말 쪽으로 초록 점선이 그어집니다. 이 점선과 방향이 비슷할수록 순위가 높습니다. 유클리드 거리를 고르면 고른 낱말을 가운데로 하는 파란 점선 원이 그려집니다. 원 안에 든 낱말이 5등 안입니다.
해 볼 것. ① 처음(고양이)에는 코사인 유사도 1등이 호랑이(0.999)입니다. 유클리드 거리로 바꾸면 1등이 새끼 고양이(0.81)입니다. 호랑이는 원점에서 더 멀지만 고양이와 방향이 거의 같습니다. ② 「남자」를 고르세요. 코사인 유사도로는 공주(0.998), 여왕, 왕자, 여자, 소년 순서입니다. 유클리드 거리로 바꾸면 소년(0.72)이 1등입니다. ③ 고양이를 (1, 1) 로 옮기세요(끌거나 숫자 칸에 넣기). 코사인 유사도로는 순위가 하나도 바뀌지 않습니다. 방향이 그대로이기 때문입니다. 유클리드 거리로 보면 1등이 새끼 고양이(2.06), 2등이 수박(2.4)입니다. ④ 고양이를 과일 사이 (−1, 3.6) 에 놓으면 두 방법 모두 이웃이 과일로 바뀝니다. 「처음 자리로」를 누르면 돌아옵니다.
그림이 2차원이라 방향이 몇 개 없어서 코사인 유사도가 0.9 를 넘는 짝이 많습니다. 값 자체보다 순서를 보세요. 진짜 임베딩에서도 「얼마면 비슷하다」의 기준은 모델마다 다릅니다.
5. 손으로 따라 풀기
지도의 개 = (4, 2), 고양이 = (3, 3), 사과 = (−2, 4) 로 셉니다.
- 개와 고양이의 내적. 같은 자리끼리 곱해 더합니다.
4 × 3 + 2 × 3 = 12 + 6 = 18. - 길이.
|개| = √(4² + 2²) = √20 ≈ 4.47,|고양이| = √(3² + 3²) = √18 ≈ 4.24. - 코사인 유사도.
18 ÷ (√20 × √18) = 18 ÷ √360 ≈ 18 ÷ 18.97 ≈ 0.949. 1 에 가까우니 방향이 비슷합니다. - 개와 사과. 내적은
4 × (−2) + 2 × 4 = −8 + 8 = 0. 그래서 코사인 유사도도 0 입니다. 원점에서 보면 두 낱말은 직각 방향에 있습니다. 이 지도에서는 「관계가 없다」는 뜻입니다. - 유클리드 거리로도. 개와 고양이:
√((4 − 3)² + (2 − 3)²) = √2 ≈ 1.41. 개와 사과:√((4 + 2)² + (2 − 4)²) = √40 ≈ 6.32. 어느 방법으로 재도 고양이가 사과보다 개에 가깝습니다.
실험에서 「개」를 고르면 표에서 고양이의 코사인 유사도 0.949 를, 유클리드 거리로 바꾸면 1.41 을 볼 수 있습니다. 진짜 임베딩에서도 셈은 같습니다. 자리가 2개에서 768개로 늘 뿐입니다.
6. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 가까움 = 뜻의 비슷함 | 학습이 그렇게 놓는다. 그래서 「비슷한 것 찾기」가 「가까운 벡터 찾기」가 된다 |
| 칸 하나하나에는 대개 뜻이 없다 | 뜻은 다른 벡터와의 거리와 방향에 있다 |
| 코사인 유사도는 방향만, 유클리드 거리는 자리를 본다 | 길이를 모두 1 로 맞추면 |u − v|² = 2 − 2 × 코사인 유사도 라서 두 방법의 순위가 같아진다 |
| 차이에 관계가 담기기도 한다 | 여왕 − 왕 ≈ 여자 − 남자. 8절의 단어 유추(word analogy). 늘 맞지는 않는다 |
| 같은 모델에서 나온 벡터끼리만 잴 수 있다 | 모델마다 좌표를 정하는 방식이 다르다 |
7. 어떻게 배우나: 비슷한 자리에 나오는 낱말
임베딩을 배우는 바탕에는 생각 하나가 있습니다. 비슷한 자리에 나오는 낱말은 뜻이 비슷하다. 「___ 가 꼬리를 흔든다」의 빈칸에는 「개」도 「강아지」도 들어갑니다. 「사과」는 잘 들어가지 않습니다. 많은 글에서 주변 낱말이 비슷한 낱말끼리 벡터를 가깝게 두면 됩니다.
word2vec(Mikolov 등, 2013)은 이 생각을 맞히기 놀이로 만들었습니다. 글을 한 낱말씩 훑으며, 주변 낱말들로 가운데 낱말을 맞히거나(CBOW), 가운데 낱말로 주변 낱말을 맞힙니다(Skip-gram). 처음에는 벡터를 무작위로 두고, 틀릴 때마다 벡터를 조금씩 고칩니다(경사 하강법). 「개」와 「강아지」는 같은 주변 낱말을 맞혀야 하니 고쳐지는 방향이 비슷하고, 그래서 두 벡터가 가까워집니다. 놀이가 끝나면 맞히는 데 쓴 나머지는 버리고 임베딩 행렬만 남겨 씁니다.
LLM 의 임베딩 행렬은 이런 놀이를 따로 하지 않습니다. 다음 토큰을 맞히도록 모델 전체를 학습하는 동안 표의 숫자도 함께 고쳐집니다. 바탕의 생각(같은 자리에 오는 것은 비슷하게)은 같습니다.
8. 단어 유추: 방향에 담긴 관계
두 벡터의 차이는 화살표입니다. 지도에서 「남자 → 여자」 화살표와 「왕 → 여왕」 화살표는 같습니다. 둘 다 (0.4, −1.3) 입니다. 그러면
왕 − 남자 + 여자 = 왕 + (여자 − 남자)
는 「왕에서 남자→여자 화살표만큼 간 곳」이고, 그곳에 여왕이 있습니다. word2vec 논문은 이런 단어 유추(왕 − 남자 + 여자 ≈ 여왕)를 소개하고, 이런 관계 문제를 많이 모아 벡터를 시험했습니다.
단추를 누르거나 A, B, C 칸에서 낱말을 고르세요. 초록 화살표가 A, 파랑이 B 를 뺀 것, 보라가 C 를 더한 것입니다. 검은 동그라미(도착점)에서 유클리드 거리가 가장 가까운 낱말(주황)이 답입니다. 지도는 위와 같은 작게 줄인 본보기입니다(위에서 옮긴 자리는 쓰지 않습니다).
절차는 셋입니다. ① A − B + C 로 도착점을 구한다. ② 도착점에서 가장 가까운 낱말을 찾는다. ③ 이때 A, B, C 자신은 답에서 뺀다. 진짜 임베딩에서는 도착점에서 가장 가까운 낱말이 A 자신(왕)인 일이 잦아서 이렇게 빼는 것이 흔한 방식입니다. 이 실험은 유클리드 거리로 고르고, 진짜 임베딩에서는 보통 코사인 유사도로 고릅니다.
해 볼 것. ① 「왕 − 남자 + 여자」: (3.4, −1.6) − (2, −1.8) + (2.4, −3.1) = (3.8, −2.9). 그 자리에 여왕이 있습니다(거리 0). 이 지도는 화살표가 딱 맞도록 사람이 놓아서 0 이 나옵니다. 진짜 임베딩에서는 정확히 겹치는 일이 드물고, 가장 가까운 것을 답으로 합니다. ② 「왕자 − 왕 + 여왕」은 공주, ③ 「강아지 − 개 + 고양이」는 새끼 고양이입니다. 「어른 → 새끼」 화살표를 옮겨 붙인 것입니다. ④ 「사과 − 남자 + 여자」는 복숭아(거리 0.3)입니다. 사과에는 남녀가 없는데도 답이 나옵니다. 도착점 근처에 있던 과일일 뿐 뜻이 맞는 답은 아닙니다.
진짜 임베딩에서도 이런 관계가 일부 나타나지만 늘 맞지는 않습니다. 논문의 시험에서도 맞히지 못한 문제가 적지 않았습니다. 그리고 ④처럼, 단어 유추는 맞는 답이 없을 때도 무언가를 내놓습니다.
9. 낱말 임베딩과 문장·문서 임베딩
낱말 임베딩은 낱말 하나에 벡터 하나입니다. 검색에는 문장이나 문서 하나에 벡터 하나가 필요합니다. 이것을 문장 임베딩, 문서 임베딩이라고 합니다.
가장 단순한 방법은 문장에 든 낱말 벡터의 평균입니다. 아래 실험은 이 규칙을 씁니다.
문장 벡터 = (낱말 벡터들의 합) ÷ (낱말 수)
예: 1번 「강아지와 고양이가 마당에서 논다」에서 지도에 있는 낱말은 강아지 (3.6, 1.3) 와 고양이 (3, 3) 입니다. 평균은 ((3.6 + 3) ÷ 2, (1.3 + 3) ÷ 2) = (3.3, 2.15) 입니다.
쿼리 점 = ( , )
파란 네모가 문장 점입니다. 문장 점은 문장에 든 낱말 벡터의 평균입니다. 이 실험만의 단순한 규칙이고, 진짜 문장 임베딩은 이렇게 만들지 않습니다. 초록 동그라미(쿼리 점)를 끌거나 쿼리(query, 찾으려는 말) 낱말을 고르면 코사인 유사도 순위가 바뀝니다. 가장 가까운 3개는 주황입니다.
해 볼 것. ① 처음 쿼리는 「기차」입니다. 1등은 5번 「버스를 타고 가다 기차로 갈아탄다」(0.996), 2등은 6번(0.825)입니다. ② 쿼리를 「소년」으로 바꾸면 1등은 9번 「왕과 여왕이 성에 산다」(0.902)이고, 「소년」이 든 10번은 3등(0.568)입니다. 10번은 「개」와 평균을 내서 동물 쪽으로 끌려갔기 때문입니다. ③ 쿼리 점을 끌어 (3, 0) 에 놓으면 10번이 1등(0.999)입니다. 쿼리 점은 낱말이 없는 곳에도 놓을 수 있습니다. 진짜 검색에서 쿼리 문장이 같은 모델로 벡터가 되어 지도 어딘가에 놓이는 것과 같습니다.
평균은 약점이 큽니다. 순서를 모릅니다. 「개가 소년을 따라간다」와 「소년이 개를 따라간다」는 같은 벡터가 됩니다. 「않다」 같은 낱말 하나가 뜻을 뒤집는 것도 담기 어렵고, ②처럼 낱말이 섞이면 어중간한 곳에 놓입니다. 그래서 진짜 문장 임베딩은 문장 전체를 읽는 모델(트랜스포머)이 만들고, 흔히 뜻이 같은 문장끼리 가까워지도록 따로 학습합니다. 문서는 길어서 보통 몇 문단씩 잘라 조각마다 벡터를 만듭니다.
문장이 수백만 개면 하나하나 다 재기에는 느립니다. 빠르게 찾는 방법은 벡터 검색, 찾은 문장을 LLM 에 함께 넣어 답하게 하는 방법은 RAG 에 있습니다.
10. 문맥에 따라 달라지는 임베딩
word2vec 같은 낱말 임베딩은 낱말 하나에 벡터 하나입니다. 그런데 「배」는 「배를 깎았다」에서는 과일, 「배를 탔다」에서는 탈것, 「배가 고프다」에서는 몸입니다. 벡터가 하나뿐이면 여러 뜻이 섞인 어중간한 자리에 놓입니다.
LLM 은 이것을 이렇게 풉니다. 첫 단계의 임베딩 행렬에서는 「배」가 늘 같은 벡터로 시작합니다. 그다음 층을 지날 때마다 주변 토큰을 보고 벡터를 고칩니다. 옆에 「깎았다」가 있으면 과일 쪽으로, 「탔다」가 있으면 탈것 쪽으로 옮겨 갑니다. 이렇게 문맥에 따라 달라진 벡터를 문맥 임베딩이라고 합니다. 주변 토큰을 보고 벡터를 고치는 일을 하는 것이 어텐션입니다.
11. 차원이 많으면 어떻게 보나
진짜 임베딩은 수백~수천 차원이라 그림으로 그릴 수 없습니다. 그래서 차원을 줄여서 봅니다. 기본이 되는 방법은 PCA 입니다. 점들이 가장 넓게 퍼진 방향 두 개를 골라 그 평면 위로 그림자를 떨어뜨립니다.
줄이면 정보가 빠집니다. 2차원 그림에서 가까워 보여도 원래 공간에서는 멀 수 있고, 그 반대도 있습니다. 그림은 대략의 모양을 보는 데만 쓰고, 가까운지는 원래 벡터로 잽니다. 이 쪽의 지도는 거꾸로입니다. 줄인 것이 아니라 처음부터 2차원으로 사람이 놓았습니다.
12. 한계
- 편향이 그대로 담긴다. 임베딩은 학습한 글에서 「어떤 낱말이 어떤 낱말 근처에 나오나」를 배웁니다. 글에 편향이 있으면 그것도 배웁니다. 글에서 어떤 직업이 한쪽 성별의 낱말과 자주 같이 나오면 그 직업의 벡터가 그 성별 쪽으로 기웁니다. 이 벡터로 검색이나 추천을 하면 편향이 결과로 이어집니다.
- 모델이 다르면 벡터를 섞어 쓸 수 없다. 모델마다 좌표를 정하는 방식이 다릅니다. 같은 「고양이」라도 모델이 다르면 숫자가 전혀 다르고, 차원 수가 다를 때도 많습니다. 저장해 둔 문서 벡터와 쿼리 벡터는 반드시 같은 모델로 만듭니다. 모델을 바꾸면 저장한 벡터를 모두 새로 만듭니다.
- 가깝다 ≠ 같은 뜻. 반대말도 가까이 놓이기 쉽습니다. 「덥다」와 「춥다」는 「오늘은 ___」처럼 비슷한 자리에 나오기 때문입니다. 「비슷한 자리에 나온다」는 「주제가 비슷하다」에 가깝고, 「뜻이 같다」와는 다릅니다.
어디에 쓰나
- 뜻으로 찾는 검색. 「노트북이 너무 뜨거워요」로 「발열 문제 해결」 문서를 찾습니다. 같은 낱말이 없어도 뜻이 가까우면 찾습니다. 쿼리와 문서를 같은 모델로 벡터로 바꾸고 가까운 것을 고릅니다(벡터 검색).
- 추천. 지금 본 글이나 상품과 벡터가 가까운 것을 보여 줍니다. 사람이 본 것들의 벡터를 모아 그 사람의 취향 벡터로 쓰기도 합니다.
- 묶기. 벡터가 가까운 것끼리 무리를 지어, 고객 문의를 주제별로 모으거나 비슷한 글을 한데 묶습니다.
- RAG. 질문과 가까운 문서 조각을 찾아 LLM 에 함께 넣어 답하게 합니다. 모델이 모르는 회사 문서로도 답할 수 있게 됩니다(RAG).
- 거의 같은 것 찾기. 코사인 유사도가 아주 높은 짝을 찾아 겹치는 질문이나 문서를 정리합니다.
자주 묻는 것
임베딩이 뭔가요?
낱말이나 문장을 숫자 여러 개의 묶음(벡터)으로 바꾼 것입니다. 뜻이 비슷하면 벡터도 가까이 놓이도록 학습합니다. 그래서 뜻이 비슷한 것을 찾는 일이 가까운 벡터를 찾는 일이 됩니다.
임베딩의 숫자 하나하나에는 뜻이 있나요?
대개 없습니다. 칸 하나가 「동물다움」 같은 뜻을 맡는 것이 아니라 여러 칸이 함께 자리를 정합니다. 뜻은 다른 벡터와의 거리와 방향에 담겨 있습니다.
코사인 유사도와 유클리드 거리 가운데 무엇을 쓰나요?
쓰는 임베딩 모델이 권하는 방법을 따릅니다. 벡터의 길이를 모두 1 로 맞춰 두면 두 방법은 같은 순서를 냅니다. 값 자체의 기준(얼마면 비슷한가)은 모델마다 다르니 순서를 봅니다.
다른 모델에서 만든 임베딩을 섞어 써도 되나요?
안 됩니다. 모델마다 좌표를 정하는 방식이 달라서 같은 낱말도 모델이 다르면 전혀 다른 벡터가 됩니다. 차원 수가 다를 때도 많습니다. 모델을 바꾸면 저장해 둔 벡터를 모두 새로 만듭니다.
낱말 임베딩과 문장 임베딩은 무엇이 다른가요?
낱말 임베딩은 낱말 하나에 벡터 하나, 문장 임베딩은 문장 전체에 벡터 하나입니다. 문장 임베딩은 문장을 끝까지 읽는 모델이 만들고, 흔히 뜻이 같은 문장끼리 가까워지도록 따로 학습합니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 임베딩 | embedding. 낱말 하나의 것은 단어 임베딩(word embedding), 문장·문서 하나의 것은 문장 임베딩(sentence embedding)·문서 임베딩(document embedding) |
| 숫자 여러 개의 묶음 | 벡터(vector) |
| 숫자의 개수 | 차원(dimension) |
| 토큰 번호 → 벡터 표 | 임베딩 행렬(embedding matrix), 임베딩 층(embedding layer) |
| 토큰 종류 수 | 어휘 크기(vocabulary size) |
| 자기 칸만 1 인 벡터 | 원-핫 벡터(one-hot vector) |
| 두 점 사이의 직선 거리 | 유클리드 거리(Euclidean distance) |
| 코사인 유사도 | cosine similarity. 1 − 코사인 유사도 는 코사인 거리(cosine distance) |
| 길이를 1 로 맞추기 | 정규화(normalization) |
| 비슷한 자리에 나오는 낱말은 뜻이 비슷하다 | 분포 가설(distributional hypothesis) |
| 주변 낱말 | 문맥(context), 컨텍스트 윈도우(context window) |
| 낱말 벡터를 더하고 빼는 셈 | 단어 유추(word analogy), 벡터 산술(vector arithmetic) |
| 문맥에 따라 달라지는 임베딩 | 문맥 임베딩(contextual embedding) |
| 가까운 것 몇 개 찾기 | 최근접 이웃 검색(nearest neighbor search, k-NN) |
| 차원 줄이기 | 차원 축소(dimensionality reduction) |
| 한쪽으로 쏠림 | 편향(bias) |
출처
- Mikolov, Chen, Corrado, Dean (2013). Efficient Estimation of Word Representations in Vector Space. word2vec 의 두 방식(CBOW, Skip-gram)과 단어 유추로 하는 시험이 이 논문에 있습니다.