임베딩 모델: 문장을 벡터 하나로

「택배가 언제 와요?」와 「배송은 며칠 걸리나요?」는 겹치는 낱말이 없는데 뜻은 같습니다. 임베딩 모델은 이 두 문장을 가까운 벡터로 바꿉니다. 문장 하나가 벡터 하나가 되기까지를 두 단계로 나눠 직접 해 봅니다.

한 줄 답. 임베딩 모델은 문장을 읽어 토큰마다 벡터를 만든 뒤 그것을 하나로 모으고(풀링), 뜻이 같은 문장의 벡터는 가깝게, 다른 문장은 멀게 되도록 따로 학습한 모델입니다.

작게 줄인 본보기. 토큰 벡터는 설명하려고 사람이 놓은 2차원 값입니다. 진짜 모델의 벡터는 차원이 훨씬 많고 학습으로 정해집니다.

「다음」을 누르면 토큰을 한 줄씩 평균에 넣습니다. 초록 동그라미가 지금까지의 평균, 주황 화살표가 이번 걸음에 옮겨 간 만큼, 흐린 동그라미가 떠난 자리, 회색 점선이 새 토큰까지 남은 거리입니다. 「첫 토큰([CLS])」을 고르면 첫 줄을 그대로 꺼냅니다.

1. 먼저 토큰마다 벡터 하나

임베딩 모델의 몸통은 인코더입니다. 문장을 토큰으로 자르고(토큰화), 임베딩 표에서 토큰마다 벡터를 꺼내고(임베딩 표), 층을 지날 때마다 그 벡터를 고칩니다. BERT 같은 인코더는 모든 층에서 왼쪽과 오른쪽 문맥을 함께 보며 고칩니다(출처 ②). 그래서 끝에 나온 「택배」의 벡터는 낱말 「택배」 하나가 아니라 이 문장 속의 「택배」를 담습니다(문맥 임베딩). 인코더만 쓰는 갈래는 인코더와 디코더에 있습니다.

끝에 남는 것은 토큰 수만큼의 벡터입니다. 토큰이 6개면 6줄입니다. 검색에서 문장끼리 비교하려면 문장마다 한 줄이 필요합니다. 여러 줄을 한 줄로 모으는 일이 풀링입니다.

무엇이 다른가. 임베딩 쪽 9절의 실험도 평균을 냈습니다. 그때는 임베딩 표에서 꺼낸 낱말 벡터(문맥을 모름)의 평균이었습니다. 여기서는 인코더를 다 지난 뒤의 토큰 벡터(문장 전체를 본 것)의 평균입니다. 셈은 같아도 들어가는 벡터가 다릅니다.

2. 풀링: 여러 줄을 한 줄로

방법은 둘이 흔합니다. 위 실험의 두 단추입니다.

평균. 자리마다 더해서 토큰 수로 나눕니다.

s = (h₁ + h₂ + … + hₙ) ÷ n

실험은 이것을 한 줄씩 넣는 꼴로 셉니다. 끝 결과는 같습니다.

mₖ = mₖ₋₁ + (hₖ − mₖ₋₁) ÷ k

첫 토큰([CLS]). 문장 맨 앞에 낱말이 없는 특별한 토큰 [CLS] 를 붙여 두고, 끝에 나온 그 줄 하나를 문장 벡터로 씁니다. 이 토큰은 층을 지나며 문장의 다른 토큰을 모두 보았기 때문에(어텐션), 이 한 줄이 문장 전체를 대신하도록 학습시킬 수 있습니다.

해 볼 것. ① 「다음」을 일곱 번 누르세요. 평균은 (−0.4, 2.2) → (0.9, 1.3) → (0.73, 1.13) → (0.8, 1.45) → (1.04, 1.48) → (0.9, 1.4) 로 옮겨 가고, 끝에 합 (5.4, 8.4) ÷ 6 = (0.9, 1.4) 가 문장 벡터가 됩니다. ② 걸음 4 에서 평균은 「언제」(1, 2.4) 쪽으로 남은 거리의 1/4 만 갑니다. 걸음 6 의 「?」는 1/6 만 움직입니다. ③ 「첫 토큰([CLS])」으로 바꾸면 문장 벡터는 (−0.4, 2.2) 입니다. 평균 (0.9, 1.4) 와의 코사인 유사도는 0.731 입니다. 같은 토큰 벡터라도 모으는 방법이 다르면 다른 벡터가 됩니다. 그래서 모델을 쓸 때는 그 모델이 정한 풀링을 그대로 따릅니다.

풀링은 모으기만 합니다. 뜻이 같은 두 문장이 풀링 뒤에 가까이 놓인다는 보장은 풀링에서 나오지 않습니다. 그것은 다음 절의 학습이 만듭니다.

3. 왜 비슷한 문장이 가까워지나: 대조 학습

출처 ① 의 Sentence-BERT(SBERT)는 사전 학습된 BERT 를 샴(siamese)·트리플렛(triplet) 구조로 고쳐, 코사인 유사도로 비교할 수 있는 뜻이 담긴 문장 임베딩을 만듭니다. 샴 구조는 같은 모델(같은 가중치)로 두 문장을 따로 읽는 것이고, 트리플렛은 기준 문장, 그 짝인 포지티브(positive), 짝이 아닌 네거티브(negative) 세 개를 한 묶음으로 쓰는 것입니다. 뜻이 같은 문장의 포지티브 쌍을 많이 모아 두고, 포지티브는 가깝게, 네거티브는 멀게 벡터를 고칩니다. 이것이 대조 학습(contrastive learning)입니다. 아래 실험이 그 한 스텝 한 스텝입니다.

  • A1 택배가 언제 와요?
  • A2 배송은 며칠 걸리나요?
  • B1 비밀번호를 잊었어요.
  • B2 로그인 암호를 다시 정하고 싶어요.
  • C1 환불받고 싶어요.
  • C2 돈을 돌려받을 수 있나요?
  • D1 매장은 몇 시에 열어요?
  • D2 영업 시작 시간이 궁금해요.

같은 글자끼리(A1·A2 처럼) 포지티브 쌍이고, 회색 점선으로 이어져 있습니다. 「다음」이 학습 한 스텝입니다. 초록 실선 화살표는 포지티브 쪽으로 당기는 몫, 주황 점선 화살표는 네거티브 6개 가운데 가장 세게 미는 하나의 몫입니다. 화살표는 방향을 보이려고 길이를 키워 그렸고, 점은 당김과 밂 6개를 모두 더한 만큼 옮겨 갑니다. 흐린 동그라미가 걸음 전의 자리, 원점에서 나온 연한 선은 코사인이 보는 방향입니다. 처음 자리는 사람이 놓은 지어낸 값입니다.

실험이 줄이려는 값(손실)은 이것입니다.

L = n̄ − p̄

L 이 작아지려면 p̄ 는 오르고 n̄ 은 내려야 합니다. 스텝마다 점 하나하나를 손실의 기울기(그래디언트) 반대쪽으로 조금 옮깁니다(경사 하강법).

u ← u − η × ∂L/∂u,   ∂cos(u, v)/∂u = v ÷ (|u| |v|) − cos(u, v) × u ÷ |u|²

해 볼 것. ① 처음에는 포지티브 쌍 평균 코사인이 −0.61, 네거티브 쌍 −0.063 입니다. 포지티브 쌍이 오히려 더 멉니다. 손실은 0.547. ② 「다음」을 세 번 누르면 포지티브 쌍 평균이 0 이 됩니다. ③ 12걸음 뒤에는 포지티브 쌍 0.964, 네거티브 쌍 −0.295, 손실은 −1.258 입니다. 포지티브 쌍은 같은 방향으로 모였고, 네 무리는 원점을 둘러 서로 다른 방향으로 갈라졌습니다. ④ 주황 화살표는 네거티브 6개 가운데 가장 세게 미는 하나만 그린 것입니다. 네거티브 쌍은 24개라 하나의 가중치(η ÷ 24)가 포지티브 한 쌍(η ÷ 4)의 1/6 이고, 6개가 서로 다른 쪽에서 밀어 일부 지워집니다. 그래서 첫 걸음에서 실제로 미는 양은 모든 점에서 당기는 양의 1/4 보다 작습니다.

솔직하게 적어 둡니다. 이 손실 L = n̄ − p̄ 는 「포지티브는 가깝게, 네거티브는 멀게」를 보이려고 만든 작은 식입니다. 특정 논문의 손실이 아닙니다. 그리고 진짜 학습은 점을 바로 옮기지 않습니다. 모델의 가중치를 고치고(역전파), 그러면 같은 문장을 다시 읽었을 때 나오는 벡터가 이 화살표 쪽으로 옮겨 갑니다.

4. 바이 인코더와 크로스 인코더

두 문장이 얼마나 비슷한지 매기는 모양은 둘입니다.

질문 문장 문서 조각 인코더 인코더 풀링 풀링 벡터 u 벡터 v (저장) 코사인 유사도 같은 모델 같은 모델
바이 인코더(bi-encoder). 문장마다 따로 벡터를 만들고 끝에서 코사인으로 비교합니다. 초록 바탕(문서 쪽)은 질문이 오기 전에 미리 계산해 저장해 둘 수 있습니다.
질문 + 문서 (한 줄로 이어서) 인코더 점수 하나 질문의 토큰과 문서의 토큰이 층마다 서로를 본다 쌍이 바뀌면 처음부터 다시
크로스 인코더(cross-encoder). 두 문장을 같이 넣어 점수 하나를 냅니다. 미리 계산해 둘 것이 없어 쌍마다 다시 계산합니다.

출처 ① 은 BERT 로 문장 쌍을 비교하려면 두 문장을 모두 네트워크에 넣어야 한다고 적습니다. 크로스 인코더 방식입니다. 그러면 1만 문장에서 가장 비슷한 쌍을 찾을 때 쌍마다 모델을 돌려야 합니다. 쌍의 수는 10,000 × 9,999 ÷ 2 = 49,995,000, 약 5천만입니다. 출처 ① 은 이것이 약 5천만 번의 계산, BERT 로 약 65시간이고, 바이 인코더인 SBERT 로는 약 5초라고 적습니다. 바이 인코더는 문장마다 모델을 한 번씩만 돌리고, 나머지는 벡터끼리의 코사인 유사도라 가볍기 때문입니다.

대신 바이 인코더에서는 두 문장이 모델 안에서 서로를 보지 못합니다. 각 문장의 뜻을 벡터 하나에 눌러 담은 뒤에야 비교합니다. 크로스 인코더가 더 정밀한 까닭과 재순위에 쓰는 법은 하이브리드 검색의 재순위에 있습니다.

5. 언제 무엇을

선택지좋은 점나쁜 점쓰는 경우
바이 인코더문서 벡터를 미리 저장해 두고, 질문이 오면 질문 하나만 읽고 비교한다. 문서가 많아도 빠르다(1만 문장 예에서 약 5초)두 문장이 모델 안에서 서로를 보지 못해 크로스 인코더보다 덜 정밀하다많은 문서에서 먼저 넓게 찾기(벡터 검색), RAG 의 검색 단계
크로스 인코더두 문장을 같이 읽어 더 정밀하다미리 계산할 수 없어 쌍마다 모델을 돌린다(1만 문장 예에서 약 5천만 번, 약 65시간)넓게 찾아 추린 후보 몇 개를 다시 매기기(재순위)

그래서 흔히 둘을 잇습니다. 바이 인코더로 넓게 찾고, 위쪽 몇 개만 크로스 인코더로 다시 매깁니다.

자주 묻는 것

풀링만 하면 문장 임베딩이 되나요?

벡터 하나는 나옵니다. 하지만 뜻이 같은 문장의 벡터가 가깝다는 보장은 풀링에서 나오지 않습니다. 풀링은 줄을 모으는 셈일 뿐입니다. 그 보장은 뜻이 같은 문장의 포지티브 쌍으로 따로 학습해서 얻습니다.

평균과 [CLS] 가운데 무엇을 쓰나요?

쓰는 모델이 정한 방법을 그대로 따릅니다. 같은 토큰 벡터로도 두 방법의 결과는 다릅니다. 이 쪽의 실험에서는 두 결과의 코사인 유사도가 0.731 입니다.

바이 인코더와 크로스 인코더는 무엇이 다른가요?

바이 인코더는 두 문장을 따로 읽어 벡터를 하나씩 만들고 코사인 유사도로 비교합니다. 문서 쪽 벡터를 미리 계산해 둘 수 있어 많은 문서에서 넓게 찾는 데 씁니다. 크로스 인코더는 두 문장을 같이 읽어 점수 하나를 냅니다. 더 정밀하지만 쌍마다 다시 계산해야 해서 추린 후보를 다시 매기는 데 씁니다.

낱말

여기서 쓴 말책에서 부르는 말
임베딩 모델embedding model, 문장 인코더(sentence encoder)
토큰마다의 벡터토큰 임베딩(token embeddings), 마지막 층의 출력
여러 줄을 한 줄로 모으기풀링(pooling). 평균 풀링(mean pooling), CLS 풀링
두 문장을 따로 읽는 구조바이 인코더(bi-encoder). 같은 모델로 따로 읽는 구조는 샴 네트워크(siamese network)
두 문장을 같이 읽는 구조크로스 인코더(cross-encoder)
기준·포지티브·네거티브 세 개 묶음트리플렛(triplet)
뜻이 같은 짝 · 짝이 아닌 문장포지티브 쌍(positive pair) · 네거티브(negative)
포지티브는 당기고 네거티브는 미는 학습대조 학습(contrastive learning)
줄이려는 값손실(loss)
한 스텝의 크기학습률(learning rate)
추린 후보 다시 매기기재순위(reranking)

출처

← 인코더와 디코더: 트랜스포머의 세 갈래LLM 은 어떻게 학습하나 →