검색과 RAG 평가: 정밀도, 재현율, MRR, nDCG
RAG 의 청크(chunk, 문서를 자른 조각) 크기를 바꾸거나 하이브리드 검색을 켰을 때, 정말 나아졌을까요? 질문 몇 개를 넣어 보고 「좋아진 것 같다」고 정하면 다른 질문이 나빠진 것을 놓칩니다. 검색 결과 10칸을 직접 눌러 맞음과 틀림을 바꾸며, 검색을 숫자로 재는 지표들을 계산해 봅니다.
한 줄 답. 검색이 잘됐는지는 느낌이 아니라 숫자로 봅니다. 정밀도는 가져온 것 가운데 맞는 것의 비율, 재현율은 맞는 것 가운데 가져온 것의 비율입니다. MRR 과 nDCG 는 맞는 것이 얼마나 위쪽에 있는지까지 봅니다. RAG 는 검색 점수와 답의 품질(근거에 충실한가, 질문에 맞는가)을 따로 잽니다.
칸 하나가 검색 결과 하나이고, 위가 1위입니다. 칸을 누르면(또는 Tab 으로 가서 Enter) 맞음과 틀림이 바뀝니다. k 아래의 칸은 흐리게 보이고 계산에 들어가지 않습니다. 맞은 칸 옆의 P@3 = 2/3 은 「3위까지 보면 3개 가운데 2개가 맞다」는 뜻이고, AP 가 이 값들을 씁니다. 정답 전체 개수에는 결과에 나오지 않은 정답도 넣습니다. 맞음을 더 만들면 정답 전체 개수도 따라 오릅니다.
해 볼 것. ① 처음 배치(k = 5)는 정밀도 0.60, 재현율 0.75, F1 0.67, RR 0.50, AP 0.44, nDCG 0.59 입니다. 7절의 손 예제와 같은 숫자입니다. ② k 를 10 으로 올리면 8위의 정답이 들어와 재현율이 1.00 이 되고, 정밀도는 0.40 으로 내려갑니다. ③ 「정답이 위에」와 「정답이 아래에」를 번갈아 누르세요(둘 다 k = 10). 정밀도 0.30, 재현율 1.00 은 같습니다. 그런데 RR 은 1.00 과 0.13(1 ÷ 8), AP 는 1.00 과 0.22, nDCG 는 1.00 과 0.42 로 갈립니다. ④ 「하나도 없음」은 모든 지표가 0, 「전부 맞음」은 모든 지표가 1 입니다. ⑤ 처음 배치에서 정답 전체 개수에 1 을 넣으면, 결과 안에 이미 정답이 4개 있어서 4 로 계산했다는 말이 나옵니다.
1. 왜 숫자로 재나
RAG 를 만들다 보면 고를 것이 많습니다. 청크를 얼마나 크게 자를지(청킹), 벡터 검색만 쓸지 키워드 검색과 섞을지(벡터 검색, 하이브리드 검색), 청크를 몇 개(k) 넣을지, 재순위를 쓸지. 하나를 바꿀 때마다 질문 몇 개를 넣어 보고 「좋아진 것 같다」고 정하면 두 가지를 놓칩니다.
- 다른 질문이 나빠진 것. 눈여겨본 질문은 나아졌는데, 보지 않은 질문 여럿이 나빠졌을 수 있습니다.
- 얼마나 나아졌는지. 느낌으로는 두 설정을 비교할 수 없습니다. 같은 질문 묶음에 같은 계산을 하면, 바꾸기 전과 후를 숫자 둘로 비교할 수 있습니다.
RAG 에서는 검색을 따로 재는 것이 특히 중요합니다. 검색이 놓친 청크는 LLM 이 볼 수 없습니다(RAG). 답이 틀렸을 때 검색 탓인지 LLM 탓인지 나눠 봐야 고칠 곳을 압니다. 이 쪽은 검색을 재는 지표를 먼저 다루고, 10절에서 답을 재는 법을 다룹니다.
2. 평가 세트 만들기
지표를 계산하려면 「이 질문의 정답은 이 청크들」이라는 표가 먼저 있어야 합니다. 이것이 평가 세트(evaluation set)입니다. 한 줄에 질문 하나와 그 질문의 정답 청크 번호들을 적습니다.
{ "question": "환불은 며칠 안에 신청해야 하나요?", "relevant": ["refund-01", "refund-03"] }
{ "question": "월요일에도 문을 여나요?", "relevant": ["hours-02"] }
- 질문을 모읍니다. 실제 사용자가 물은 질문이 가장 좋습니다. 아직 없으면 문서를 읽으며 사람이 씁니다. LLM 에게 청크를 주고 질문을 만들게 할 수도 있습니다. 다만 청크를 보고 만든 질문은 청크의 낱말을 그대로 쓰기 쉬워서 실제 질문보다 쉬울 수 있습니다. 사람이 읽고 고릅니다.
- 정답 청크를 사람이 정합니다. 질문마다 답이 든 청크의 번호를 모두 적습니다. 답이 두 청크에 나뉘어 있으면 둘 다 적습니다. 관련 정도를 0~3 등급으로 매겨 두면 5절의 nDCG 를 쓸 수 있습니다.
- 수십 개로 시작합니다. 처음부터 수백 개를 만들 필요는 없습니다. 자주 묻는 것, 제품 번호처럼 글자 그대로 찾아야 하는 것, 풀어서 묻는 것, 답이 자료에 없는 것을 골고루 넣습니다.
- 실패를 더해 갑니다. 실제로 틀린 질문이 나오면 평가 세트에 더합니다. 같은 실수가 다시 나오는지 볼 수 있습니다.
조심할 것이 하나 있습니다. 청크 크기를 바꾸면 청크가 새로 잘려 번호가 바뀝니다. 정답을 청크 번호로만 적어 두면 처음부터 다시 매겨야 합니다. 정답을 「원문 문서와 그 안의 답 문장」으로 적어 두면, 새로 자른 청크 가운데 그 문장이 든 청크를 계산으로 찾을 수 있습니다.
3. 정밀도, 재현율, F1
검색이 위에서부터 k 개를 돌려준다고 합시다. 각 결과는 맞음(정답 청크)이거나 틀림입니다.
정밀도@k = 위 k 개 가운데 맞은 수 ÷ k
재현율@k = 위 k 개 가운데 맞은 수 ÷ 정답 전체 개수
F1 = 2 × 정밀도 × 재현율 ÷ (정밀도 + 재현율)
- 정밀도: 가져온 것이 얼마나 깨끗한가. 가져온 5개 가운데 3개가 맞으면 0.6 입니다. 틀린 것이 섞일수록 낮아집니다.
- 재현율: 맞는 것을 얼마나 빠뜨리지 않았나. 정답이 4개인데 3개를 가져왔으면 0.75 입니다. 분모에는 결과에 나오지 않은 정답도 들어갑니다. 그래서 평가 세트에 정답이 빠짐없이 적혀 있어야 계산할 수 있습니다.
- F1: 둘을 하나로. 둘의 조화 평균입니다. 보통 평균과 달리 둘 가운데 하나만 낮아도 크게 낮아집니다. 정밀도 1, 재현율 0.1 이면 보통 평균은 0.55 지만 F1 은 0.18 입니다.
적중률@k는 더 단순합니다. 위 k 개 안에 정답이 하나라도 있으면 1, 없으면 0 입니다. 질문 여럿의 평균을 냅니다. 정답이 하나뿐인 질문이면 적중률@k 와 재현율@k 가 같습니다.
이 쪽이 정한 약속이 둘 있습니다. 결과가 k 개보다 적으면 모자란 자리를 틀림으로 칩니다(그래도 k 로 나눕니다). 정답이 하나도 없는 질문은 재현율의 분모가 0 이라 정할 수 없어서 0 으로 둡니다. 도구마다 이런 약속이 다를 수 있습니다. 다른 곳의 숫자와 비교할 때는 먼저 확인합니다.
4. 순서를 보는 지표: RR, MRR, AP
정밀도@k 와 재현율@k 는 위 k 개 안에서의 순서를 보지 않습니다. 맞은 3개가 1~3위에 있든 8~10위에 있든, k = 10 이면 숫자가 같습니다. 하지만 사람은 위에서부터 읽고, 몇 개 보다가 멈춥니다. 순서까지 보는 지표가 필요합니다.
RR = 1 ÷ 첫 정답의 순위 (위 k 개에 정답이 없으면 0)
MRR = 질문마다의 RR 을 평균한 것
AP = (정답이 나온 자리마다 「그 자리까지의 정밀도」를 더한 것) ÷ 정답 전체 개수
MAP = 질문마다의 AP 를 평균한 것
- RR(역순위). 첫 정답이 1위면 1, 2위면 0.5, 4위면 0.25 입니다. 첫 정답 하나만 봅니다. 두 번째 정답부터는 몇 위에 있든 상관없습니다. 정답이 하나뿐인 질문(「영업 시간이 언제예요?」)에 잘 맞습니다.
- AP(평균 정밀도). 정답이 나올 때마다 「여기까지 보면 몇 개 가운데 몇 개가 맞나」를 적고, 그 값들의 합을 정답 전체 개수로 나눕니다. 정답이 위쪽에 몰릴수록 커집니다. 끝내 못 찾은 정답은 0 을 더한 셈이라 재현율도 함께 반영됩니다.
RR 과 AP 는 질문 하나의 숫자입니다. 여러 질문의 평균을 내면 MRR, MAP 가 됩니다. 앞의 M(mean)은 「질문들의 평균」이라는 뜻입니다.
5. 등급이 있을 때: DCG 와 nDCG
지금까지는 맞음과 틀림 둘뿐이었습니다. 실제로는 「딱 맞는 청크」와 「조금 관련 있는 청크」이 섞여 있습니다. 관련도에 등급을 주면 이 차이를 셀 수 있습니다. 이 쪽은 0(관련 없음), 1(조금), 2(꽤), 3(딱 맞음)의 네 단계를 씁니다. 이 지표를 낸 원 논문도 네 단계 등급으로 실험했습니다.
생각은 세 걸음입니다.
- 누적 이득(CG). 위 k 칸의 등급을 더합니다. 좋은 것을 많이 가져올수록 커집니다. 하지만 순서는 보지 않습니다.
- 할인 누적 이득(DCG). 아래 칸일수록 몫을 깎아서 더합니다. 사람은 아래로 갈수록 덜 읽기 때문입니다.
- 이상과 비교하기(nDCG, 정규화 할인 누적 이득). 같은 청크들을 가장 좋은 순서(등급이 높은 것부터)로 놓았을 때의 DCG(IDCG)로 나눕니다. 0~1 이 되고, 1 이면 더 좋게 놓을 수 없는 순서입니다.
칸의 몫 = 등급 ÷ log₂(순위 + 1)
DCG@k = 위 k 칸의 몫을 더한 것
IDCG@k = 등급을 높은 것부터 다시 놓았을 때의 DCG@k
nDCG@k = DCG@k ÷ IDCG@k (IDCG 가 0 이면 0 으로 둔다)
k: 검색이 위에서부터 돌려준 결과 수.순위: 결과가 몇 번째에 있는지(1위가 맨 위).등급: 관련도. 0(관련 없음)부터 3(딱 맞음)까지.DCG@k: 할인 누적 이득. 아래 칸일수록 몫을 깎아 더한 값.IDCG@k: 같은 청크들을 가장 좋은 순서로 놓았을 때의 DCG@k.nDCG@k: 이상과 비교한 값. 0~1 이고, 1 이면 더 좋게 놓을 수 없는 순서입니다.
이 식이 한 조각씩 만들어지는 과정은 6절에서 그림으로 봅니다.
나누는 수 log₂(순위 + 1) 은 1위 1, 2위 1.58, 3위 2, 7위 3, 10위 3.46 입니다. 천천히 커집니다. 그래서 1위와 2위의 차이는 크고, 9위와 10위의 차이는 작습니다.
왜 IDCG 로 나눌까요? DCG 는 질문마다 크기가 다릅니다. 정답이 많은 질문은 DCG 가 크게 나오고, 정답이 하나뿐인 질문은 아무리 잘해도 등급 하나만큼을 넘지 못합니다. 그대로 평균 내면 정답이 많은 질문이 평균을 좌우합니다. 그 질문이 낼 수 있는 가장 큰 값으로 나누면 모든 질문이 0~1 이 되어 평균을 낼 수 있습니다.
맞음과 틀림만 있을 때(등급 0 과 1)도 nDCG 를 씁니다. 맨 위 실험의 nDCG 가 그것입니다. 이때 IDCG 는 정답 전체 개수만큼의 1 을 맨 위부터 놓은 값입니다. 결과에 나오지 않은 정답도 IDCG 에 들어갑니다.
식의 꼴은 쓰는 곳마다 조금씩 다릅니다. 높은 등급을 더 크게 쳐 주려고 등급 대신 2^등급 − 1 을 쓰는 꼴도 널리 씁니다(등급 3 의 몫이 3 이 아니라 7). 등급이 0 과 1 뿐이면 두 꼴은 같은 값이 나옵니다. 다른 곳의 nDCG 와 비교할 때는 어느 꼴인지 먼저 봅니다.
줄 하나가 결과 하나입니다. 등급 단추를 누를 때마다 0 → 1 → 2 → 3 → 0 으로 바뀝니다. 초록 막대(지금)는 지금 순서에서 그 칸의 몫(등급 ÷ 나누는 수), 파란 막대(이상)는 같은 등급들을 가장 좋은 순서로 놓았을 때 그 자리의 몫입니다. 이 실험은 정답이 모두 이 10칸 안에 있다고 보고 k = 10 으로 계산합니다.
해 볼 것. ① 처음 배치는 DCG 6.44, IDCG 7.50, nDCG 0.86 입니다. ② 5위의 등급 3 은 몫이 3 ÷ 2.58 = 1.16 뿐입니다. 이상적인 순서에서는 등급 3 둘이 1위와 2위에 와서 3.00 과 1.89 를 받습니다. ③ 「이상적인 순서로 정렬」을 누르면 nDCG 가 1.00, 「가장 나쁜 순서로」를 누르면 0.51 입니다. 가장 나쁜 순서도 0 이 아닙니다. 맞는 것을 가져오기는 했기 때문입니다. ④ 처음 배치에서 3위(등급 0)를 한 번 눌러 1 로 올리면 DCG 는 6.94, IDCG 는 7.83 으로 둘 다 오르고 nDCG 는 0.89 가 됩니다. 정답이 하나 늘면 이상적인 값도 함께 오릅니다. ⑤ 「모두 0」을 누르면 IDCG 가 0 이라 nDCG 를 0 으로 둔다는 말이 나옵니다.
6. 식이 만들어지는 과정: nDCG
5절의 식을 한 조각씩 만들어 봅니다. 위 실험의 처음 배치(등급 2, 3, 0, 1, 3, 0, 2, 0, 0, 1, k = 10)를 그대로 씁니다. 식의 relᵢ 는 i 위 문서의 등급(관련도, relevance), Σᵢ 는 1위부터 k 위까지 더한다는 뜻입니다.
「다음」을 누르면 한 단계씩 넘어갑니다. 위에 식이 한 조각씩 붙고(주황 바탕이 이번에 붙은 조각), 막대가 그만큼 바뀌고, 아래에 까닭이 나옵니다. 점선 테두리는 깎이기 전의 길이, 맨 아래 막대는 칸의 값을 왼쪽부터 이어 붙인 합(Σ)입니다.
- 등급 더하기:
CG@k = Σᵢ relᵢ. 정밀도처럼 맞은 수만 세면 6개(정밀도@10 = 0.60)이고, 딱 맞는 문서(등급 3)와 조금 관련 있는 문서(등급 1)가 똑같이 1 입니다. 그래서 등급을 더합니다.2 + 3 + 0 + 1 + 3 + 0 + 2 + 0 + 0 + 1 = 12. 까닭: 좋은 문서를 더 무겁게 셉니다. 하지만 더하기는 순서를 모릅니다. 같은 등급을 가장 나쁜 순서로 놓아도 정밀도는 0.60, 합은 12 그대로입니다. - 아래 자리일수록 깎기:
DCG@k = Σᵢ relᵢ ÷ log₂(i + 1). 나누는 수는 1위 1, 2위 1.58, 5위 2.58, 10위 3.46 입니다. 같은 등급 3 이 2위에서는 1.89, 5위에서는 1.16 이 됩니다. 합은 12 에서 6.44 로 줄어듭니다. 까닭: 사람은 위에서부터 읽다가 멈추니 아래 자리는 덜 읽힙니다. 이제 순서가 숫자에 드러납니다. 같은 등급을 가장 나쁜 순서(0, 0, 0, 0, 1, 1, 2, 2, 3, 3)로 놓으면 DCG 는 3.81 입니다. i 대신 i + 1 을 넣는 것은 1위를 깎지 않으려는 것입니다(log₂ 2 = 1. i 를 그대로 넣으면log₂ 1 = 0이라 0 으로 나누게 됩니다). - 가장 좋은 순서의 값:
IDCG@k. 같은 등급을 큰 것부터(3, 3, 2, 2, 1, 1, 0, 0, 0, 0) 놓은 DCG 입니다.3.00 + 1.89 + 1.00 + 0.86 + 0.39 + 0.36 = 7.50(파란 막대). 까닭: DCG 6.44 만 보고는 잘했는지 알 수 없습니다. 등급 3 문서 하나뿐인 질문은 그것을 1위에 놓아 더 잘할 수 없는데도 DCG 가 3.00 입니다. 그대로 비교하면 순서가 완벽한 쪽이 낮게 나옵니다. - 나누기, 완성:
nDCG@k = DCG@k ÷ IDCG@k.6.44 ÷ 7.50 = 0.86. 합 막대의 눈금이 0 ~ 12 에서 0 ~ 1 로 바뀌어 파란 막대가 끝까지 닿습니다. 까닭: 큰 등급을 깎임이 적은 위쪽 자리에 놓을수록 합이 커서, 어떤 순서의 DCG 도 IDCG 를 넘지 못합니다(재배열 부등식. 여기서는 증명하지 않습니다). 그래서 nDCG 는 0 과 1 사이이고, 1 이면 더 좋게 놓을 수 없는 순서입니다. 등급 3 하나뿐인 질문도3.00 ÷ 3.00 = 1.00이 되어 두 질문을 비교하고 평균 낼 수 있습니다. 가장 나쁜 순서는3.81 ÷ 7.50 = 0.51로, 위 실험의 「가장 나쁜 순서로」와 같습니다.
7. 손으로 따라 풀기: 결과 5칸
결과 5칸짜리 작은 예 하나로 모든 지표를 계산합니다. 이 질문의 정답은 모두 4개인데, 위 5칸에는 3개만 나왔습니다(네 번째 정답은 맨 위 실험에서 8위에 있습니다).
| 순위 | 1 | 2 | 3 | 4 | 5 |
|---|---|---|---|---|---|
| 결과 | ✗ 틀림 | ✓ 맞음 | ✓ 맞음 | ✗ 틀림 | ✓ 맞음 |
나누는 수 log₂(순위 + 1) | 1 | 1.58 | 2 | 2.32 | 2.58 |
- 정밀도@5. 맞은 것이 3개.
3 ÷ 5 = 0.60. - 재현율@5. 정답 4개 가운데 3개.
3 ÷ 4 = 0.75. - F1.
2 × 0.60 × 0.75 ÷ (0.60 + 0.75) = 0.90 ÷ 1.35 = 0.67. - RR. 첫 정답이 2위.
1 ÷ 2 = 0.50. - AP@5. 정답이 나온 자리는 2위, 3위, 5위입니다. 그 자리까지의 정밀도는
1/2 = 0.50,2/3 = 0.67,3/5 = 0.60. 더하면 1.77 이고, 정답 전체 개수 4 로 나눕니다.1.77 ÷ 4 = 0.44. 3 이 아니라 4 로 나누는 것은 못 찾은 네 번째 정답의 몫을 0 으로 치기 때문입니다. - nDCG@5. 맞음을 1, 틀림을 0 으로 봅니다.
DCG = 1 ÷ 1.58 + 1 ÷ 2 + 1 ÷ 2.58 = 0.63 + 0.50 + 0.39 = 1.52. 가장 좋은 순서는 정답 4개가 1~4위에 오는 것입니다.IDCG = 1 + 0.63 + 0.50 + 0.43 = 2.56.nDCG = 1.52 ÷ 2.56 = 0.59.
| 정밀도@5 | 재현율@5 | F1 | RR | AP@5 | nDCG@5 |
|---|---|---|---|---|---|
| 0.60 | 0.75 | 0.67 | 0.50 | 0.44 | 0.59 |
맨 위 실험의 「처음 배치」가 이 예와 같습니다. 1위를 맞음으로 바꿔 보세요. 정밀도와 재현율만 오르는 것이 아니라, RR 이 1 이 되고 AP 와 nDCG 도 크게 오릅니다.
8. 정밀도와 재현율의 트레이드오프, 그리고 질문 묶음
k 를 늘리면 어떻게 될까요?
- 재현율은 오르거나 그대로입니다. 내려가지 않습니다. 더 많이 가져오면 놓친 정답이 줄어들 뿐 늘지는 않습니다. 모든 청크를 가져오면 재현율은 언제나 1 입니다.
- 정밀도는 대체로 내려갑니다. 검색은 확실한 것부터 줄 세우므로 아래로 갈수록 틀린 것이 많아집니다. 정답이 나오는 자리에서는 잠깐 오르기도 합니다.
그래서 둘은 맞바꿉니다. 재현율만 보면 k 를 끝없이 키우면 되고, 정밀도만 보면 가장 확실한 하나만 내면 됩니다. 둘 다 쉬운 속임수입니다. 검색이 좋아졌다는 것은 같은 k 에서 둘이 함께 오르는 것입니다. 아래 오른쪽 그래프로 보면 정밀도-재현율 곡선이 오른쪽 위로 밀려나는 것입니다.
RAG 에서는 이 트레이드오프가 돈과 품질로 드러납니다. k 가 크면 정답 청크가 들어갈 가능성(재현율)은 오르지만, 프롬프트가 길어져 돈과 시간이 들고 틀린 청크가 섞입니다(RAG). 그래서 재현율@k 를 k 마다 재 보고, 재현율이 충분히 오르는 가장 작은 k 를 고릅니다.
왼쪽 그래프는 고른 질문의 정밀도(초록)와 재현율(파랑)을 k = 1 ~ 10 에서 그린 것입니다. 주황 점선과 주황 점이 지금 k 입니다. 오른쪽은 같은 값을 가로 재현율, 세로 정밀도로 옮긴 정밀도-재현율 곡선입니다. 표의 질문 이름을 누르면 그래프가 그 질문으로 바뀝니다. 표의 ✓ ✗ 는 결과 10칸이고, k 아래는 흐리게 보입니다. 질문 5개와 그 결과는 지어낸 것입니다.
해 볼 것. ① 「환불 기한」을 고르고 k 를 1 에서 10 까지 올려 보세요. 재현율은 0, 0.25, 0.50, 0.50, 0.75, 0.75, 0.75, 1.00, 1.00, 1.00 으로 한 번도 내려가지 않습니다. 정밀도는 0, 0.50, 0.67, 0.50, 0.60 처럼 오르내리다가 k = 10 에서 0.40 입니다. ② 「월요일 영업」은 정답이 하나뿐이고 1위에 있습니다. 재현율은 k = 1 부터 1 이고, k 를 올리면 정밀도만 1.00 에서 0.10 으로 떨어집니다. 정답이 하나인 질문에서 정밀도@k 는 많아야 1 ÷ k 라 쓸모가 적습니다. 이런 질문은 RR 과 적중률로 봅니다. ③ k = 5 에서 질문 5개의 MRR@5 는 (0.50 + 1 + 0.25 + 0 + 1) ÷ 5 = 0.55, 적중률@5 는 0.80, 평균 재현율@5 는 0.67, 평균 nDCG@5 는 0.54 입니다. 「배송비」 하나가 모두 0 이라 평균을 끌어내립니다. ④ k 를 10 으로 올리면 「배송비」의 정답이 7위에서 잡혀 적중률@10 이 1.00, MRR@10 이 0.58 이 됩니다.
정밀도-재현율 곡선이 톱니처럼 꺾이는 것은 틀린 결과가 나오면 재현율은 그대로인 채 정밀도만 떨어지고, 정답이 나오면 둘 다 오르기 때문입니다. 책에서는 곡선을 매끄럽게 그리려고 「그 재현율 이상에서 가장 높은 정밀도」를 쓰기도 합니다(보간 정밀도).
질문 하나가 아니라 묶음으로 잰다
질문 하나의 숫자는 흔들립니다. 「포인트 소멸」만 보면 RR@5 가 0.25 라 나빠 보이고, 「월요일 영업」만 보면 1 이라 완벽해 보입니다. 설정을 바꿀 때 보는 것은 평가 세트 전체의 평균입니다. MRR 은 질문마다 RR 을 구해 평균한 것이고, 평균 nDCG 도 같은 방법으로 냅니다. 질문마다 같은 무게로 평균합니다.
평균만 보면 놓치는 것도 있습니다. 평균이 그대로여도 어떤 질문은 나아지고 어떤 질문은 나빠졌을 수 있습니다. 설정을 바꾼 뒤에는 평균과 함께 「나빠진 질문 목록」을 봅니다.
9. 어떤 지표를 고르나
| 상황 | 먼저 볼 지표 | 까닭 |
|---|---|---|
| 정답이 하나뿐(영업 시간, 문서 하나 찾기) | MRR, 적중률@k | 첫 정답이 몇 위인지가 전부다. 정밀도@k 는 많아야 1 ÷ k |
| 정답이 여럿이고 빠뜨리면 안 됨(법 조항, 조사) | 재현율@k, MAP | 몇 개를 놓쳤는지가 중요하다 |
| 관련 정도가 다르고 위쪽 순서가 중요(검색 화면, 추천 목록) | nDCG@k | 등급과 순서를 함께 본다 |
| RAG 의 검색 | 재현율@k(k = 프롬프트에 넣는 청크 수) | 정답 청크가 넣어 준 k 개 안에 있어야 LLM 이 읽는다. 「들어갔나」가 순서보다 먼저다 |
| RAG 인데 정답 청크가 대개 하나 | 적중률@k, MRR | 하나만 들어가면 되고, 위에 있을수록 k 를 줄일 수 있다 |
| 사람이 맨 위 몇 개만 보는 화면 | 정밀도@k(k = 화면에 보이는 수) | 보이는 것이 깨끗해야 한다 |
10. RAG 의 답 평가
검색 점수가 좋아도 답이 나쁠 수 있습니다. 정답 청크를 넣어 줬는데 LLM 이 자기가 아는 것으로 답하거나, 청크에 없는 말을 지어내거나, 질문의 일부만 답할 수 있습니다. 그래서 RAG 는 검색과 답을 따로 잽니다.
| 항목 | 묻는 것 | 보는 것 |
|---|---|---|
| 근거 충실도 | 답의 문장마다 넣어 준 청크에 근거가 있나. 청크에 없는 말을 지어내지 않았나 | 답 + 넣어 준 청크 |
| 답의 관련성 | 답이 질문에 답하나. 딴 얘기나 빠진 부분이 없나 | 질문 + 답 |
| 문맥의 관련성 | 넣어 준 청크들이 질문에 쓸모 있나. 쓸모없는 청크가 프롬프트를 채우지 않나 | 질문 + 넣어 준 청크 |
세 항목은 서로 다른 고장을 가리킵니다. 문맥의 관련성이 낮으면 검색을 고칩니다(청킹, 하이브리드 검색, k). 문맥은 좋은데 충실도가 낮으면 LLM 쪽(프롬프트, 모델)을 고칩니다. 충실도는 높은데 답의 관련성이 낮으면, 맞는 청크를 읽고도 질문과 다른 것을 답한 것입니다. 평가 세트에 모범 답안이 있으면 「답이 모범 답안과 맞나」도 함께 잽니다. 답이 자료에 없는 질문에는 「자료에 없다」고 답하는지 따로 봅니다.
사람이 채점하기
가장 믿을 만한 방법입니다. 점수 기준표를 먼저 씁니다(예: 근거 충실도 2 = 모든 문장에 근거 있음, 1 = 일부 문장에 근거 없음, 0 = 중요한 내용을 지어냄). 두 사람이 같은 답 몇십 개를 따로 채점해 보고, 서로 다르게 매긴 것을 이야기해 기준표를 고칩니다. 사람끼리도 갈리는 기준이면 기계도 맞추지 못합니다. 느리고 비싸서 많이 하기는 어렵습니다.
LLM 을 채점자로 쓰기
LLM 에게 질문, 넣어 준 청크, 답, 기준표를 주고 점수와 이유를 받습니다. 빠르고 싸서 설정을 바꿀 때마다 돌릴 수 있습니다. 대신 채점자도 틀립니다.
- 편향이 있습니다. 두 답을 비교하게 하면 먼저 나온 답을 좋게 보거나, 긴 답을 좋게 보거나, 자기가 쓴 것 같은 글을 좋게 보는 경향이 보고되어 있습니다(Zheng 등 2023). 두 답의 순서를 바꿔 두 번 물어 보는 식으로 줄입니다.
- 사람 채점과 맞춰 봅니다. 사람이 채점한 수십 개에 LLM 채점을 돌려, 얼마나 같게 매기는지 봅니다. 많이 다르면 기준표와 프롬프트를 고칩니다.
- 채점자를 고정합니다. 채점 모델이나 프롬프트를 바꾸면 같은 답의 점수도 바뀝니다. 고정해 두고, 바꿀 때는 사람 채점과 다시 맞춰 봅니다.
- 점수만 보지 않습니다. 점수와 함께 이유를 받고, 낮은 점수를 받은 답은 사람이 몇 개씩 직접 읽습니다.
11. 오프라인 평가와 온라인 지표
지금까지 다룬 것은 오프라인 평가입니다. 미리 만든 평가 세트로, 배포하기 전에, 같은 조건에서 비교합니다. 실제 사용자는 다른 숫자를 남깁니다.
| 오프라인 평가 | 온라인 지표 | |
|---|---|---|
| 무엇으로 | 평가 세트(질문 + 정답) | 실제 사용자의 행동 |
| 숫자의 예 | 재현율@k, MRR, nDCG, 근거 충실도 | 결과를 누른 비율, 같은 것을 다시 묻는 비율, 좋아요·싫어요, 상담원 연결 |
| 좋은 점 | 빠르다. 배포 전에 잴 수 있다. 두 설정을 같은 조건에서 비교한다 | 진짜 사용자의 진짜 질문이다 |
| 약한 점 | 평가 세트가 실제 질문과 다를 수 있다 | 늦게 쌓이고 흔들린다. 왜 그런지는 알려 주지 않는다 |
온라인 지표는 읽는 법을 조심해야 합니다. 사람은 맨 위 결과를 많이 누르므로, 누름이 많다고 그것이 맞는 답이라는 뜻은 아닙니다. 다시 묻는 것은 첫 답이 모자랐다는 신호일 때가 많지만, 다른 것을 이어서 묻는 것일 수도 있습니다.
둘은 이어서 씁니다. 오프라인 평가로 나빠지는 설정을 걸러 내고, 통과한 것을 일부 사용자에게 먼저 내보내 온라인 지표를 비교하고(A/B 테스트), 실제 기록에서 실패한 질문을 모아 평가 세트에 더합니다.
12. 평가 세트가 새면 안 된다
평가 세트로 설정을 고르다 보면 함정이 있습니다. 같은 질문 50개를 보며 청크 크기, k, 가중치를 몇십 번 바꾸면, 그 50개에만 잘 맞는 설정을 고르게 됩니다. 시험 문제를 미리 보고 공부한 것과 같습니다. 숫자는 오르지만 새 질문에서는 나아지지 않을 수 있습니다. 과적합과 같은 일입니다.
- 둘로 나눕니다. 설정을 고칠 때 보는 개발용 질문(개발 세트)과, 마지막에 한 번만 재는 시험용 질문(테스트 세트)을 따로 둡니다. 시험용 점수가 개발용보다 크게 낮으면 개발용에 맞춰진 것입니다.
- 평가 질문을 다른 곳에 넣지 않습니다. 프롬프트의 예시, 자주 묻는 질문 문서, 미세 조정 학습 자료에 평가 질문과 답이 들어가면 점수가 부풀려집니다. 검색할 문서에 평가 질문의 문장이 그대로 들어가는 것도 같습니다.
- 가끔 새로 만듭니다. 오래 쓴 평가 세트는 모두가 그 질문을 알게 됩니다. 실제 질문에서 새 질문을 뽑아 바꿔 넣습니다.
13. 꼭 알아야 할 성질
| 성질 | 쉬운 말 |
|---|---|
| 모든 지표가 0~1 | 1 이 가장 좋다. 위 k 개에 정답이 하나도 없으면 모두 0 |
| 재현율@k 는 k 를 늘려도 내려가지 않는다 | 많이 가져오면 놓친 것이 줄 뿐이다. 모든 것을 가져오면 1 |
| 정밀도@k, 재현율@k 는 위 k 개 안의 순서를 보지 않는다 | 순서는 RR, AP, nDCG 가 본다 |
| 재현율, AP, nDCG 는 정답 전체 개수가 있어야 계산된다 | 결과에 나오지 않은 정답까지 평가 세트에 적혀 있어야 한다 |
| 질문 하나의 숫자는 흔들린다 | 평가 세트 전체의 평균(MRR, MAP, 평균 nDCG)으로 비교한다 |
어디에 쓰나
- RAG 설정 비교하기. 청크 크기, 임베딩 모델, 하이브리드 검색의 가중치, k, 재순위를 바꿀 때마다 같은 평가 세트로 재현율@k 와 MRR 을 잽니다.
- 배포 전 검사. 코드나 문서가 바뀔 때 평가 세트를 자동으로 돌려, 재현율이 정해 둔 값 아래로 떨어지면 배포를 멈춥니다.
- 검색 화면과 추천 목록. 위쪽 순서가 중요해서 nDCG@k 로 잽니다.
- 자료 고치기. 실패한 질문을 모아 보면 어떤 문서가 빠졌는지, 사람들이 어떤 낱말을 문서와 다르게 쓰는지 보입니다.
자주 묻는 것
정밀도와 재현율은 무엇이 다른가요?
정밀도는 가져온 것 가운데 맞는 것의 비율이고, 재현율은 맞는 것 가운데 가져온 것의 비율입니다. 많이 가져오면 재현율은 오르고 정밀도는 대체로 내려갑니다.
MRR 과 nDCG 는 무엇이 다른가요?
MRR 은 질문마다 첫 정답 하나가 몇 위인지만 봅니다. nDCG 는 위 k 개 안의 모든 정답의 순위를 보고, 관련도에 등급이 있으면 등급까지 씁니다. 정답이 하나뿐이면 MRR, 여러 개면 nDCG 가 잘 맞습니다.
RAG 의 검색은 어떤 지표로 보나요?
재현율@k 를 먼저 봅니다. k 는 프롬프트에 넣는 청크 수입니다. 정답 청크가 그 k 개 안에 들어가야 LLM 이 읽을 수 있기 때문입니다. 정답 청크가 하나뿐인 질문이 많으면 적중률@k 와 MRR 을 같이 봅니다.
평가 질문은 몇 개면 되나요?
수십 개로 시작해 늘려 갑니다. 질문이 적으면 질문 한두 개 때문에 숫자가 크게 흔들립니다. 두 설정의 차이가 작을 때는 질문을 늘려 다시 잽니다.
LLM 에게 채점을 맡겨도 되나요?
사람이 채점한 것과 맞춰 본 뒤에 씁니다. LLM 채점자도 틀리고, 먼저 나온 답이나 긴 답을 좋게 보는 편향이 보고되어 있습니다. 채점 모델과 프롬프트를 바꾸면 점수도 바뀌므로 고정해 두고 씁니다.
낱말
| 여기서 쓴 말 | 책에서 부르는 말 |
|---|---|
| 가져온 것 가운데 맞는 것의 비율 | 정밀도(precision). 위 k 개로 자르면 precision@k(P@k) |
| 맞는 것 가운데 가져온 것의 비율 | 재현율(recall), recall@k |
| 정밀도와 재현율의 조화 평균 | F1 점수(F1 score), F 척도(F-measure) |
| 위 k 개 안에 정답이 하나라도 있나 | 적중률(hit rate), success@k |
| 1 ÷ 첫 정답의 순위 | 역순위(reciprocal rank, RR) |
| RR 의 평균 | 평균 역순위(mean reciprocal rank, MRR) |
| 정답 자리마다의 정밀도를 모은 것 | 평균 정밀도(average precision, AP). 질문들의 평균은 MAP(mean average precision) |
| 관련도 등급 / 맞음·틀림 둘뿐 | 등급 관련도(graded relevance) / 이진 관련도(binary relevance) |
| 등급을 더한 것 / 아래일수록 깎아 더한 것 | 누적 이득(cumulative gain, CG) / 할인 누적 이득(discounted cumulative gain, DCG) |
| 가장 좋은 순서의 DCG | 이상적 DCG(ideal DCG, IDCG) |
| DCG ÷ IDCG | 정규화 할인 누적 이득(normalized DCG, nDCG) |
| 평가 자료 / 질문마다 정답 표시 | 테스트 컬렉션(test collection), 평가 세트(evaluation set) / 관련성 판정(relevance judgments, qrels) |
| 정밀도-재현율 곡선 / 매끄럽게 한 것 | precision-recall curve / 보간 정밀도(interpolated precision) |
| 질문마다 같은 무게로 평균 | 매크로 평균(macro-average) |
| 근거 충실도 | faithfulness, groundedness |
| 답의 관련성 / 문맥의 관련성 | answer relevance / context relevance |
| LLM 을 채점자로 쓰기 | LLM-as-a-judge |
| 미리 만든 자료로 재기 / 실제 사용으로 재기 | 오프라인 평가(offline evaluation) / 온라인 지표(online metrics), A/B 테스트(A/B test) |
| 개발용 질문 / 시험용 질문 | 개발 세트(dev set) / 테스트 세트(test set) |
출처
- Järvelin, Kekäläinen (2002). Cumulated gain-based evaluation of IR techniques. ACM Transactions on Information Systems 20(4). 누적 이득, 아래로 갈수록 깎기(DCG), 이상적인 순서와 비교하기(nDCG), 네 단계 등급.
- Manning, Raghavan, Schütze (2008). Introduction to Information Retrieval, 8장 Evaluation in information retrieval. 정밀도, 재현율, F 척도, 정밀도-재현율 곡선, MAP, 평가 세트.
- Zheng 등 (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. LLM 채점자의 편향(자리, 길이, 자기 글)과 사람 채점과의 일치.