키워드 검색(BM25), 하이브리드 검색, 재순위
「TK-48 배터리」처럼 제품 번호로 묻는 사람도 있고, 「소리가 안 끊기는 이어폰」처럼 풀어서 묻는 사람도 있습니다. 앞의 것은 낱말을 맞춰 보는 검색이, 뒤의 것은 뜻을 맞춰 보는 검색이 잘 찾습니다. 지어낸 가게 글 12개로 두 검색과, 둘을 합치는 법을 직접 계산해 봅니다.
한 줄 답. 키워드 검색은 쿼리(query, 검색어)의 낱말이 그대로 든 문서를 찾습니다. 대표적인 점수 식이 BM25 입니다. 벡터 검색은 낱말이 달라도 뜻이 비슷한 문서를 찾습니다. 둘은 잘하는 것이 달라서, 두 순위를 합쳐 쓰는 것이 하이브리드 검색입니다. 재순위(reranking)는 그렇게 추린 후보 몇 개만 더 정밀한 모델로 다시 줄 세우는 단계입니다.
문서 12개 보기
한 칸이 문서 하나입니다. 앞의 숫자가 문서 번호, 뒤의 숫자가 그 순위의 점수입니다. 선은 같은 문서를 잇습니다. ★ 주황이 그 쿼리의 정답입니다. 작게 줄인 본보기: 벡터 쪽 점수는 사람이 정한 작은 낱말-주제 표로 만든 장난감 벡터입니다. 진짜는 임베딩 모델이 글 전체를 읽고 만듭니다(5절).
해 볼 것. 세 쿼리를 차례로 눌러 보세요. ① 「TK-48 배터리」: 키워드 1위, 벡터 5위, 합친 순위(RRF) 3위. ② 「소리가 안 끊기는 이어폰」: 키워드 순위에 없음(겹치는 낱말이 없다), 벡터 1위, RRF 3위. ③ 「노트북 빨리 충전」: 키워드 2위, 벡터 2위, RRF 1위. 어느 한 방법도 세 정답을 모두 1위로 올리지 못합니다. 대신 합친 순위에서는 세 정답이 모두 3위 안에 듭니다.
1. 키워드 검색과 역색인
키워드 검색은 쿼리를 낱말로 자르고, 그 낱말이 든 문서를 찾아 점수를 매깁니다. 문서가 많으면 문서를 하나씩 다 읽을 수 없습니다. 그래서 미리 역색인을 만들어 둡니다. 책 뒤의 찾아보기와 같습니다. 낱말마다 그 낱말이 든 문서 번호를 적어 둔 표입니다. 이 쪽의 문서 12개로 만든 역색인의 몇 줄입니다.
| 낱말 | 이 낱말이 든 문서 | 문서 수 |
|---|---|---|
tk-48 | 1 | 1 |
배터리 | 1, 4, 5, 6 | 4 |
노트북 | 7, 11 | 2 |
수 | 1, 2, 4, 7, 8, 9, 10 | 7 |
「TK-48 배터리」를 찾을 때는 tk-48 줄과 배터리 줄, 두 줄만 엽니다. 두 줄에 든 문서(1, 4, 5, 6)만 점수를 매기고 나머지 8개는 보지 않습니다. 문서가 백만 개라도 읽는 것은 쿼리 낱말의 줄뿐이라 빠릅니다. 새 문서를 더할 때는 그 문서의 낱말마다 줄 끝에 번호를 덧붙이면 됩니다.
줄의 길이(문서 수)도 쓸모가 있습니다. 줄이 짧을수록 드문 낱말이고, 드문 낱말이 맞으면 큰 단서입니다. 다음 절의 idf 가 이것입니다.
2. TF-IDF 에서 BM25 로
문서에 점수를 매기는 가장 쉬운 생각은 두 가지입니다.
- 단어 빈도(term frequency, tf). 쿼리 낱말이 그 문서에 여러 번 나오면 관계가 깊을 것이다.
- 역문서 빈도(inverse document frequency, idf).
tk-48은 문서 하나에만 있어서 맞으면 거의 그 문서입니다.수는 7개 문서에 있어서 맞아도 별 뜻이 없습니다.
둘을 곱한 것이 TF-IDF 입니다. 낱말의 몫 = tf × idf, 문서 점수는 쿼리 낱말마다의 몫을 더한 것입니다. 그런데 문제가 둘 있습니다.
- 끝없이 늡니다. 한 낱말이 10번 나오면 10배를 받습니다. 같은 낱말을 되풀이해 적기만 해도 순위가 오릅니다.
- 긴 문서가 유리합니다. 낱말이 많으면 쿼리 낱말과 우연히 겹칠 기회도 많습니다.
BM25 는 이 둘을 고친 식입니다.
점수 = Σ (쿼리 낱말마다) idf × tf × (k1 + 1) ÷ (tf + k1 × 길이 보정)
길이 보정 = 1 − b + b × (문서의 낱말 수 ÷ 평균 낱말 수)
idf = ln(1 + (N − n + 0.5) ÷ (n + 0.5)) N = 문서 수, n = 그 낱말이 든 문서 수
이 식이 TF-IDF 에서 한 조각씩 만들어지는 모습은 3. 식이 만들어지는 과정에 있습니다.
Σ: 쿼리 낱말마다 계산해 모두 더한다.tf: 그 낱말이 문서에 나온 횟수.idf: 드문 낱말일수록 큰 무게.ln: 자연로그.- k1: 몇 번 나왔는지를 얼마나 따지나. 평균 길이의 문서에서 tf 쪽 값
tf × (k1 + 1) ÷ (tf + k1)은 tf 가 아무리 커도k1 + 1을 넘지 못합니다. k1 이 작을수록 빨리 멈추고, k1 = 0 이면 나왔는지 안 나왔는지만 봅니다. - b: 길이를 얼마나 따지나. 평균 길이의 문서면 길이 보정이 1 입니다. 길면 1 보다 커져서 몫이 줄고, 짧으면 1 보다 작아져서 몫이 늡니다. b = 0 이면 길이를 보지 않습니다. 흔히 쓰는 기본값은 k1 = 1.2, b = 0.75 입니다.
- idf 의 꼴. 원래의 꼴
ln((N − n + 0.5) ÷ (n + 0.5))은 문서의 절반 넘게 나오는 낱말에서 음수가 됩니다. 이 쪽은 1 을 더해 음수가 나오지 않는 꼴을 씁니다. 모든 문서에 나오는 낱말도 작은 양수입니다.
| tf (몇 번 나왔나) | 1 | 2 | 5 | 10 | 끝없이 |
|---|---|---|---|---|---|
| TF-IDF 의 tf 쪽 | 1 | 2 | 5 | 10 | 끝없이 는다 |
| BM25 의 tf 쪽 (k1 = 1.2, 평균 길이) | 1.00 | 1.38 | 1.77 | 1.96 | 2.2 에 다가간다 |
줄 하나가 문서 하나입니다. 낱말 칸의 숫자가 그 낱말의 몫(idf × tf 쪽), 옆의 tf 가 그 문서에 나온 횟수입니다. 「·」은 그 낱말이 없다는 뜻입니다. 칸 제목의 idf 는 모든 문서에 같습니다. 길이 보정은 문서마다 하나입니다. 낱말은 띄어쓰기와 문장 부호로 자르고 끝의 조사만 뗍니다(8절).
해 볼 것. ① 「TK-48 배터리」에서 1번의 점수 2.76 은 tk-48 의 몫 1.85 와 배터리 의 몫 0.91 을 더한 것입니다. tk-48 은 문서 1개에만 나와 idf 가 2.16, 배터리 는 4개에 나와 1.06 입니다. ② 5번은 배터리가 두 번 나와 1.52, 한 번 나오는 4번은 1.13 입니다. 두 배가 아닙니다. k1 을 0 으로 내리면 둘 다 1.06 이 되고, 3 으로 올리면 5번 1.82, 4번 1.16 으로 벌어집니다. ③ 1번은 낱말이 20개로 평균(14.17개)보다 길어 길이 보정이 1.31 입니다. b 를 0 으로 내리면 깎이지 않아 3.22(= 2.16 + 1.06)가 됩니다. ④ 직접 적기에 「이틀 쓸 수 있습니다」를 넣어 보세요. 수 와 있습니다 는 문서 7개에 나와 idf 가 0.55 뿐이고, 이틀 은 2.16 입니다. 흔한 낱말은 여러 문서에 조금씩 점수를 줄 뿐 순위를 거의 바꾸지 못합니다.
3. 식이 만들어지는 과정: BM25
BM25 식을 낱말 수 세기에서 시작해 한 조각씩 붙여 만듭니다. 자료는 위 실험의 처음 모습과 같습니다. 쿼리 「TK-48 배터리」, 문서 12개, k1 = 1.2, b = 0.75. 두 낱말 가운데 하나라도 든 문서는 1, 4, 5, 6번 넷이고, 나머지 8개는 모든 단계에서 0 점입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 늘거나 줄고, 아래에 까닭이 나옵니다. 진한 초록 칸이 tk-48 의 몫, 옅은 초록 칸이 배터리 의 몫, 오른쪽 숫자가 합한 점수입니다. 주황 점선 틀은 앞 단계의 막대 길이, ★ 은 정답 1번입니다.
- 몇 번 나왔나:
점수 = Σ tf. Σ 는 쿼리 낱말마다 더한다는 뜻입니다. 1번은 tk-48 한 번과 배터리 한 번으로 2, 5번은 배터리 두 번으로 2, 4번과 6번은 배터리 한 번으로 1. 까닭: 쿼리 낱말이 많이 든 문서일수록 쿼리와 관계가 깊을 것입니다. 그런데 1번과 5번이 공동 1위입니다. 제품 번호가 맞은 문서와 흔한 낱말을 두 번 적은 문서를 가리지 못합니다. - 드문 낱말에 무게:
Σ idf × tf. N = 12 입니다. tk-48 은 n = 1 이라ln(1 + 11.5 ÷ 1.5) = ln(8.67) = 2.16, 배터리는 n = 4 라ln(1 + 8.5 ÷ 4.5) = ln(2.89) = 1.06. 1번은2.16 + 1.06 = 3.22, 5번은2 × 1.06 = 2.12로 1번이 혼자 1위가 됩니다. 여기까지가 TF-IDF 입니다. 까닭: 문서 하나에만 있는 낱말이 맞으면 거의 그 문서이고, 여러 문서에 있는 낱말은 약한 단서입니다. 쓰는 성질은 「n 이 작을수록 idf 가 크다」 하나입니다. 이 ln 꼴이 확률로 따지는 검색 모형에서 어떻게 나오는지는 여기서는 증명하지 않습니다(출처의 Robertson, Zaragoza). - 끝없이 늘지 않게:
Σ idf × tf × (k1 + 1) ÷ (tf + k1). k1 = 1.2 면 tf 1 은1 × 2.2 ÷ 2.2 = 1, tf 2 는2 × 2.2 ÷ 3.2 = 1.38. 5번의 배터리 몫이 2.12 에서1.06 × 1.38 = 1.46으로 줄고, tf 가 1 인 1·4·6번은 그대로입니다. 까닭: 같은 낱말을 되풀이해 적기만 해도 순위가 오르면 안 됩니다. 이 꼴은 tf 가 늘수록 더디게 늘고 아무리 커도 k1 + 1 = 2.2 를 넘지 않습니다(2절의 tf 쪽 표). 분자의 (k1 + 1) 은 tf = 1 일 때 꼭 1 이 되게 맞추는 수입니다. 모든 몫에 같은 수를 곱하므로 순위는 바꾸지 않습니다. 이 꼴이 확률 모형에서 어떻게 나오는지는 여기서는 다루지 않습니다. - 긴 문서 깎기:
Σ idf × tf × (k1 + 1) ÷ (tf + k1 × 길이 보정).길이 보정 = 1 − b + b × (낱말 수 ÷ 평균 낱말 수). 1번은 낱말 20개로 평균 14.17개보다 길어1 − 0.75 + 0.75 × 20 ÷ 14.17 = 1.31. tk-48 몫이2.16 × 2.2 ÷ (1 + 1.2 × 1.31) = 1.85, 배터리 몫이 0.91 이 되어 점수가 3.22 에서 2.76 으로 줄었습니다. 4·5·6번은 낱말 12개로 짧아 보정이 0.89 이고, 점수가 조금 늡니다(5번 1.46 → 1.52, 4·6번 1.06 → 1.13). 이것이 BM25 입니다. 까닭: 긴 문서는 낱말이 많아 쿼리 낱말과 우연히 겹칠 기회가 많습니다. 보정이 1 보다 크면 분모가 커져 몫이 줄고, 작으면 늡니다. 상한 k1 + 1 은 그대로입니다. b = 0 이면 보정이 늘 1 이라 ③ 으로 돌아갑니다.
4. 손으로 따라 풀기: 문서 셋, 낱말 둘
아주 작은 문서 셋으로 BM25 를 끝까지 계산합니다. k1 = 1.2, b = 0.75 입니다.
| 문서 | 낱말 | 낱말 수 |
|---|---|---|
| A | 무선 이어폰 무선 충전 | 4 |
| B | 유선 이어폰 | 2 |
| C | 무선 마우스 건전지 | 3 |
쿼리는 「무선 마우스」입니다.
- 평균 길이.
(4 + 2 + 3) ÷ 3 = 3. - idf. 무선은 A, C 두 문서에 있습니다.
ln(1 + (3 − 2 + 0.5) ÷ (2 + 0.5)) = ln(1.6) = 0.47. 마우스는 C 하나에만 있습니다.ln(1 + (3 − 1 + 0.5) ÷ (1 + 0.5)) = ln(2.67) = 0.98. 드문 마우스가 두 배쯤 무겁습니다. - A. 길이 보정
1 − 0.75 + 0.75 × 4 ÷ 3 = 1.25(평균보다 길다). 무선이 두 번:2 × 2.2 ÷ (2 + 1.2 × 1.25) = 4.4 ÷ 3.5 = 1.26, 몫0.47 × 1.26 = 0.59. 마우스는 없습니다. 점수 0.59. - B. 무선도 마우스도 없습니다. 점수 0. 겹치는 낱말이 없으면 길이와 상관없이 0 입니다.
- C. 평균 길이라 길이 보정 1. 무선 한 번:
1 × 2.2 ÷ (1 + 1.2) = 1, 몫 0.47. 마우스 한 번: 몫 0.98. 점수0.47 + 0.98 =1.45.
순위는 C(1.45), A(0.59), B(0) 입니다. A 는 무선이 두 번 나왔지만, 한 번 나온 C 의 몫 0.47 보다 조금 많은 0.59 를 받았을 뿐입니다. 두 번 나온 몫이 다 붙지 않고(포화), 길어서 조금 더 깎였습니다(길이 보정).
5. 키워드와 벡터는 잘하는 것이 다르다
벡터 검색은 문서와 쿼리를 각각 숫자 목록(벡터)으로 바꾸고, 방향이 가까운 것(코사인 유사도가 큰 것)을 찾습니다. 글을 벡터로 바꾸는 모델이 임베딩 모델입니다. 자세한 것은 벡터 검색과 임베딩에 있습니다.
이 쪽의 벡터는 작게 줄인 본보기입니다. 사람이 정한 표가 낱말마다 주제 하나를 정해 둡니다. 이어폰·헤드셋·소리·음악은 「소리」, 무선·블루투스·연결·끊김은 「연결」 하는 식으로 8가지 주제가 있습니다. 글의 벡터는 주제마다 낱말 수를 센 8칸짜리입니다. 진짜 임베딩 모델은 글 전체를 읽고 훨씬 많은 칸의 벡터를 만들며, 표에 없는 낱말과 낱말의 순서도 반영합니다.
「소리가 안 끊기는 이어폰」의 벡터는 소리 2 · 연결 1, 3번 AX-9 헤드셋은 소리 2 · 연결 3 입니다. 겹치는 낱말은 하나도 없지만 코사인 0.87 로 가장 가깝습니다. 반대로 「TK-48 배터리」에서 tk-48 은 표에 없어 벡터가 보지 못합니다. 쿼리 벡터가 전원 1 뿐이라 전원 쪽 낱말(보조배터리, 충전할, 배터리, 잔량)이 가장 많은 4번이 1위가 되고, 정답 1번은 5위로 밀립니다.
| 키워드 검색(BM25) | 벡터 검색 | |
|---|---|---|
| 맞춰 보는 것 | 낱말 그대로 | 뜻(벡터의 방향) |
| 잘 찾는 것 | 제품 번호, 이름, 오류 코드, 드문 전문 용어 | 같은 뜻을 다른 말로 쓴 것, 풀어서 쓴 쿼리 |
| 약한 것 | 낱말이 다른 같은 뜻(이어폰과 헤드셋, 「끊기는」과 「끊김」) | 글자 하나 다른 번호 가리기(TK-48 과 TK-84), 모델이 배우지 못한 새 낱말 |
| 미리 해 두는 일 | 낱말을 잘라 역색인 만들기 | 문서마다 임베딩을 계산해 저장하기 |
| 점수의 눈금 | 0 부터 위로 끝이 없다. 쿼리 낱말이 많을수록 커진다 | 코사인 유사도, −1 ~ 1 |
| 왜 그 순위인지 | 낱말별 몫으로 나눠 설명할 수 있다 | 설명하기 어렵다 |
6. 순위 융합(rank fusion): RRF 와 가중 합
두 순위를 하나로 만들려면 점수를 더하고 싶어집니다. 하지만 눈금이 다릅니다. 이 실험의 BM25 점수는 1위가 2~3점쯤이고, 쿼리 낱말이 많아질수록 커집니다. 코사인은 0 에서 1 사이입니다. 그대로 더하면 눈금이 큰 BM25 가 순위를 거의 정합니다. 같은 BM25 라도 쿼리마다 눈금이 달라서 「2점이면 높다」는 기준도 없습니다. 그래서 두 가지 방법을 씁니다.
RRF: 순위만 쓴다
RRF 점수 = Σ (그 문서가 나온 목록마다) 1 ÷ (k + 순위)
점수는 버리고 몇 위였는지만 봅니다. 목록에 없으면 그 목록에서는 더하지 않습니다. k 는 RRF 를 낸 논문에서 쓴 60 을 흔히 씁니다. 「노트북 빨리 충전」으로 계산하면 이렇습니다.
| 문서 | 키워드 | 벡터 | RRF 점수 |
|---|---|---|---|
| 11번 PD-65 충전기(정답) | 2위 | 2위 | 1 ÷ 62 + 1 ÷ 62 = 0.0323 |
| 5번 배터리 교체 안내 | 1위 | 5위 | 1 ÷ 61 + 1 ÷ 65 = 0.0318 |
| 6번 LB-14 노트북 | 없음 | 1위 | 1 ÷ 61 = 0.0164 |
두 목록 모두에서 높은 11번이, 한쪽에서만 1위인 문서들을 이깁니다. k 가 하는 일도 보입니다. k = 60 이면 1위의 몫 1 ÷ 61 = 0.0164 와 2위의 몫 1 ÷ 62 = 0.0161 이 거의 같습니다. k = 1 이면 1 ÷ 2 = 0.5 와 1 ÷ 3 = 0.33 으로 차이가 큽니다. k 가 클수록 한 목록의 1위보다 여러 목록에 고르게 나온 문서가 유리합니다.
가중 합: 점수를 0~1 로 맞춘 뒤 더한다
목록마다 점수를 같은 눈금으로 맞춘 뒤(점수 정규화, score normalization) 무게를 주어 더합니다. 이 실험은 목록마다 가장 높은 점수로 나눕니다(1위 = 1). 그다음 합 = (1 − α) × 키워드 + α × 벡터 입니다. α = 0 이면 키워드만, α = 1 이면 벡터만 봅니다. 눈금을 맞추는 법은 이 밖에도 여러 가지입니다(가장 낮은 점수를 0 으로 맞추는 법 등).
「TK-48 배터리」를 α = 0.5 로 합치면 1번은 0.5 × 1 + 0.5 × (0.55 ÷ 0.97) = 0.79 로 1위입니다. RRF 에서는 3위였습니다. RRF 는 1번의 키워드 점수(2.76)가 2위(1.52)보다 훨씬 높았다는 것을 모릅니다. 순위만 보기 때문입니다.
| RRF | 가중 합 | |
|---|---|---|
| 쓰는 것 | 순위 | 점수 |
| 정할 것 | k 하나(흔히 60) | 점수 정규화 방법, α |
| 좋은 점 | 눈금을 몰라도 된다. 정할 것이 거의 없다 | 점수 차이가 크면 그것을 살린다 |
| 약한 점 | 크게 앞선 1위도 다른 목록에서 낮으면 밀린다 | 쿼리마다 눈금이 달라 α 를 맞추기 어렵다 |
해 볼 것. 맨 위 실험에서 「가중 합」을 누르세요. ① 「TK-48 배터리」는 α 0.5 에서 1위, α 를 0.8 로 올리면 4위입니다. ② 「소리가 안 끊기는 이어폰」은 α 0.5 에서 3위, 0.8 에서 2위, 1 에서 1위입니다. ③ 「노트북 빨리 충전」은 α 0(키워드만)에서 2위, α 1(벡터만)에서도 2위인데, 0.5 에서는 1위입니다.
7. 재순위: 넓게 추리고, 좁게 다시 본다
합친 순위에서 정답이 위쪽에 오더라도 1위가 아닐 때가 있습니다. 재순위는 위쪽 몇 개(이 실험은 5개)만 가져와 더 정밀한 모델로 다시 줄 세웁니다. 검색이 두 단계가 됩니다.
- 추리기(빠른 방법). 키워드, 벡터, 하이브리드. 역색인과 미리 계산해 둔 벡터 덕분에 문서가 많아도 빠릅니다. 대신 덜 정확합니다.
- 다시 보기(느린 방법). 재순위 모델. 더 정확하지만 느려서 1단계가 넘긴 후보에만 씁니다.
재순위 모델은 흔히 크로스 인코더입니다. 쿼리와 문서를 한 줄로 이어 붙여 모델에 같이 넣고, 「얼마나 맞나」 점수 하나를 받습니다. 모델 안에서 쿼리의 낱말과 문서의 낱말이 서로를 보며 읽기 때문에, 「안 끊기는」과 「끊김 없이」가 같은 뜻인지, TK-48 과 TK-84 가 다른 제품인지를 더 잘 가립니다.
느린 까닭도 여기에 있습니다. 벡터 검색(바이 인코더)은 문서 벡터를 미리 계산해 두고, 쿼리가 오면 쿼리 하나만 계산해 비교합니다. 크로스 인코더는 쿼리와 문서를 같이 읽어야 점수가 나오므로, 쿼리가 오기 전에는 아무것도 미리 계산해 둘 수 없습니다. 후보가 100개면 모델을 100번 돌립니다. 문서 전체에 쓰면 쿼리마다 모든 문서를 다시 읽어야 합니다.
| 벡터 검색(바이 인코더) | 재순위(크로스 인코더) | |
|---|---|---|
| 읽는 법 | 쿼리와 문서를 따로 | 쿼리와 문서를 같이 |
| 미리 계산 | 문서 벡터를 미리 저장 | 할 수 없다 |
| 쿼리 하나에 모델을 | 한 번(쿼리만) | 후보 수만큼 |
| 순서의 정확도 | 대체로 낮다 | 대체로 높다 |
작게 줄인 본보기: 진짜 재순위 모델이 없어서, 쿼리마다 사람이 미리 매긴 관련도(0~3)를 그 모델의 점수로 씁니다. 관련도가 같으면 1단계의 순서를 지킵니다.
해 볼 것. ① 처음 화면(「TK-48 배터리」, RRF 위 5개)에서 정답 1번은 후보 3위였다가 재순위 뒤 1위가 됩니다. ② 「소리가 안 끊기는 이어폰」에서 「키워드 위 5개」를 누르세요. 키워드가 찾은 문서가 2개뿐이고 정답 3번은 그 안에 없습니다. 재순위 뒤에도 없습니다. 「RRF 위 5개」로 바꾸면 3위였던 정답이 1위가 됩니다. ③ 「TK-48 배터리」에서 「벡터 위 5개」를 누르면 정답이 5위로 겨우 후보에 들고, 재순위 뒤 1위가 됩니다. 후보를 4개만 넘겼다면 놓쳤을 것입니다.
재순위는 받은 후보 안에서 순서만 바꿉니다. 1단계에서 빠진 문서는 2단계에서 볼 기회가 없습니다. 그래서 1단계는 정답이 후보 안에 들기만 하면 되도록 넓게 잡고, 2단계가 순서를 맞춥니다. 「후보 안에 들었나」와 「몇 위인가」를 숫자로 재는 법은 검색 평가에서 다룹니다.
8. 토큰화(낱말 자르기): 한국어에서는 이것이 품질을 좌우한다
키워드 검색은 낱말이 같아야 찾습니다. 영어는 띄어쓰기로 자르면 대체로 낱말이 됩니다. 한국어는 「배터리가」, 「배터리는」, 「배터리를」처럼 조사가 붙고, 「충전」, 「충전할」, 「충전합니다」처럼 끝이 바뀝니다. 띄어쓰기로만 자르면 셋이 서로 다른 낱말이 되어 서로를 찾지 못합니다. 이 쪽의 실험은 낱말 끝의 조사 몇 개만 떼는 아주 단순한 규칙을 씁니다. 그래서 6번 문서의 「노트북입니다」는 「노트북」과 다른 낱말로 남고, 「노트북 빨리 충전」의 키워드 순위에 6번이 나오지 않습니다. 실제 검색은 형태소 분석기로 「노트북 + 이 + ㅂ니다」처럼 뜻의 조각으로 나눈 뒤, 뜻이 있는 조각만 역색인에 넣습니다. 분석기 없이 두세 글자씩 겹쳐 자르는 방법(n-gram)도 씁니다. 어떻게 자르느냐가 한국어 키워드 검색의 품질을 크게 좌우하고, 쿼리와 문서를 반드시 같은 방법으로 잘라야 합니다.
9. 쿼리 쪽을 손보기
- 쿼리 재작성(query rewriting). 쿼리를 문서에 실제로 쓰일 법한 말로 바꿔 쓴 뒤 찾습니다(예: 「안 끊기는」을 「연결이 안정적」으로).
- 쿼리 분해(query decomposition). 여러 가지를 한꺼번에 묻는 쿼리를 작은 쿼리 여럿으로 나눠 따로 찾고, 결과를 합칩니다.
10. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
BM25 = Σ 낱말마다의 몫 | 겹치는 낱말이 없으면 0. 왜 그 점수인지 낱말별로 나눠 볼 수 있다 |
| 드문 낱말이 크게 보탠다(idf) | 이 실험에서 tk-48 은 2.16, 일곱 문서에 나오는 수 는 0.55 |
| 몫은 끝없이 늘지 않고(k1), 긴 문서는 깎인다(b) | 같은 낱말 10번은 1번의 10배가 아니라 약 2배(k1 = 1.2) |
| RRF 는 순위만 쓴다 | 눈금이 다른 점수도 합칠 수 있지만, 큰 점수 차이는 버려진다 |
| 재순위는 후보 안에서만 순서를 바꾼다 | 1단계에서 빠진 문서는 살아나지 않는다 |
어디에 쓰나
- 쇼핑몰·사내 문서 검색. 제품 번호로 묻는 사람과 풀어서 묻는 사람이 섞여 들어옵니다. 한쪽만 쓰면 한쪽 사람들이 못 찾습니다.
- RAG. LLM 에게 넘길 글을 고를 때 씁니다. 검색이 놓친 글은 LLM 이 볼 수 없으므로, 검색 품질이 답의 품질을 정합니다. RAG 에서 이어집니다.
- 오류 코드·코드 검색. 오류 번호, 함수 이름처럼 글자 그대로가 중요한 것은 키워드 쪽이 강합니다.
- 두 단계 검색. 많은 검색 시스템이 빠른 방법으로 후보를 추린 뒤 정밀한 모델로 다시 줄 세우는 구조를 씁니다.
자주 묻는 것
하이브리드 검색이 뭔가요?
키워드 검색과 벡터 검색을 함께 돌려 두 순위를 하나로 합치는 방법입니다. 키워드 검색은 제품 번호처럼 낱말 그대로가 중요한 쿼리에, 벡터 검색은 같은 뜻을 다른 말로 쓴 쿼리에 강해서 서로의 빈틈을 메웁니다.
BM25 는 TF-IDF 와 무엇이 다른가요?
둘 다 드문 낱말이 자주 나오는 문서에 높은 점수를 줍니다. BM25 는 같은 낱말이 많이 나와도 점수가 끝없이 늘지 않게 하고(k1), 긴 문서가 낱말 수 덕분에 유리해지지 않게 길이로 보정합니다(b).
RRF 의 k 는 왜 60 인가요?
RRF 를 낸 논문에서 쓴 값입니다. k 가 작으면 1위와 2위의 차이가 커지고, 크면 순위가 조금 낮은 문서도 고르게 점수를 받습니다. 자기 자료로 재 보고 바꿔도 됩니다.
벡터 검색만 쓰면 안 되나요?
쓸 수는 있지만 제품 번호, 이름, 오류 코드처럼 글자 그대로가 중요한 쿼리를 놓치기 쉽습니다. 이 쪽의 실험에서 「TK-48 배터리」의 정답은 키워드 순위 1위, 벡터 순위 5위입니다.
재순위 모델은 왜 처음부터 쓰지 않나요?
쿼리와 문서를 같이 읽어야 점수가 나와서 문서마다 미리 계산해 둘 수 없기 때문입니다. 문서가 많으면 쿼리마다 모두 읽기에는 너무 느립니다. 그래서 빠른 방법으로 후보를 추린 뒤 그 후보에만 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 키워드 검색 | 어휘 검색(lexical search), 희소 검색(sparse retrieval), 전문 검색(full-text search) |
| 낱말 → 문서 번호 표 | 역색인(inverted index). 낱말 하나의 줄은 포스팅 목록(posting list) |
| 몇 번 나왔나 | 단어 빈도(term frequency, tf) |
| 드문 정도 | 역문서 빈도(inverse document frequency, idf) |
| 길이 보정 | 문서 길이 정규화(document length normalization) |
| 자주 나와도 끝없이 늘지 않음 | 단어 빈도 포화(term frequency saturation) |
| BM25 | Okapi BM25. BM 은 best matching |
| 벡터 검색 | 밀집 검색(dense retrieval), 의미 검색(semantic search) |
| 두 순위 합치기 | 순위 융합(rank fusion), 하이브리드 검색(hybrid search) |
| 순위만 쓰는 합치기 | RRF(Reciprocal Rank Fusion, 역순위 융합) |
| 눈금 맞추기 | 점수 정규화(score normalization) |
| 다시 줄 세우기 | 재순위(reranking), 리랭킹 |
| 쿼리와 문서를 같이 읽는 모델 | 크로스 인코더(cross-encoder) |
| 따로 읽어 벡터로 비교하는 모델 | 바이 인코더(bi-encoder) |
| 낱말 자르기 | 토큰화(tokenization), 한국어는 형태소 분석(morphological analysis) |
| 쿼리 고쳐 쓰기, 여러 쿼리로 나누기 | 쿼리 재작성(query rewriting), 쿼리 분해(query decomposition) |
출처
- Robertson, Zaragoza (2009). The Probabilistic Relevance Framework: BM25 and Beyond. BM25 식과 k1, b 의 뜻.
- Cormack, Clarke, Büttcher (2009). Reciprocal Rank Fusion outperforms Condorcet and individual Rank Learning Methods. RRF 식과 k = 60.
- Nogueira, Cho (2019). Passage Re-ranking with BERT. 쿼리와 글을 같이 읽는 모델로 후보를 다시 줄 세우는 방법.