환각과 LLM 평가

언어 모델은 모르는 것을 물어도 매끄러운 문장으로 답합니다. 틀린 답과 맞는 답이 말투로는 구분되지 않습니다. 답에 대한 신뢰도(confidence)가 낮으면 「모름」이라고 답하게 하는 임계값(threshold)을 옮겨 보고, 시험 문항이 몇 개여야 점수 차이를 믿을 수 있는지 숫자로 따져 보세요.

한 줄 답. 환각은 모델이 그럴듯하지만 틀린 내용을 지어내는 것입니다. 모델은 「다음에 올 법한 말」을 고르도록 배웠고, 모르면 멈추도록 배운 것이 아니라서 생깁니다. 근거 문서를 넣고, 출처를 달게 하고, 신뢰도가 낮으면 모른다고 하게 하고, 답을 따로 검증해서 줄입니다(없애지는 못합니다). 얼마나 줄었는지는 고정한 평가 세트(eval set)를 바꿀 때마다 돌려 잽니다. 문항이 적으면 점수가 흔들리니, 차이가 표준오차 √(p(1 − p) ÷ n) 보다 충분히 큰지 봅니다.

질문 20개는 고정 시드(seed) 난수기로 지어낸 것이라 쪽을 열 때마다 같습니다. 질문마다 신뢰도(0.3 ~ 0.95)가 있고, 답했을 때 맞을지는 신뢰도와 같은 확률로 정했습니다(신뢰도 0.8 이면 80% 확률로 맞음). 진짜 모델 대신 작게 줄인 본보기입니다. 진짜 모델의 신뢰도는 이렇게 잘 맞지 않을 수 있습니다(보정). 그림을 좌우로 끌거나 막대·숫자 칸으로 임계값을 옮겨 보세요.

1. 환각이란

환각은 언어 모델이 사실이 아니거나 근거에 없는 내용을, 맞는 말과 같은 자신 있는 말투로 내놓는 것입니다. 없는 논문 제목과 저자, 없는 함수 이름과 옵션, 원문에 없는 숫자가 흔한 예입니다. 모델은 자기가 틀렸다는 표시를 따로 내지 않습니다.

두 갈래로 나눠 보면 잡는 법이 보입니다. 근거와 어긋남은 넣어 준 문서나 대화에 없는 말, 또는 반대되는 말을 하는 것입니다(요약이 원문에 없는 숫자를 만든다). 문서와 대조하면 잡힙니다. 세상 사실과 어긋남은 근거 문서 없이 물었는데 틀린 사실을 지어내는 것입니다. 바깥의 정답이 있어야 잡힙니다.

2. 왜 생기나

3. 줄이는 법

해 볼 것. ① 처음(임계값 0)에는 20개를 모두 답해 맞음 12, 틀림 8 입니다. 답한 것 가운데 맞은 비율은 60% 입니다. ② 임계값을 0.6 으로 옮기면 13개(65%)만 답하고 틀림이 3 으로 줍니다. 「모름」으로 돌린 7개 가운데 5개는 틀렸을 답, 2개는 맞았을 답이었습니다. 답한 것 가운데 맞은 비율은 77% 입니다. ③ 0.8 까지 올리면 5개(25%)만 답하고, 그래도 틀린 답이 하나 남습니다. 신뢰도가 높아도 틀릴 수 있습니다. ④ 마지막 줄의 점수를 보세요. 맞은 수만 세면 임계값 0 의 12점이 가장 높고, 틀림을 −1 점으로 세면 임계값 0.6 의 7점이 가장 높습니다. 채점 방식이 「어디까지 답할지」를 정합니다.

4. 평가하는 법

「잘 답하나」를 숫자로 재는 방법은 크게 넷입니다. 정답과 글자 맞추기, 프로그램으로 검사하기, LLM 에게 채점시키기, 사람이 보기.

정답과 글자 맞추기

정확 일치는 답이 정답과 글자 그대로 같은지 봅니다. 보통 대소문자, 띄어쓰기, 문장부호를 맞춘 뒤 견줍니다. 답이 짧고 하나로 정해질 때(숫자, 이름, 객관식 번호) 좋습니다. 겹침 점수는 답과 정답이 낱말을 얼마나 같이 쓰는지 셉니다. 낱말 겹침 F1, 번역에서 쓰던 BLEU, 요약에서 쓰던 ROUGE 가 이 무리입니다. 빠르고 공짜이고 늘 같은 점수를 내지만 뜻을 보지 않습니다. 다르게 말한 맞는 답은 깎이고, 낱말이 겹치는 틀린 답은 점수를 받습니다(5절).

프로그램으로 검사하기

답에 정해진 꼴이 있으면 코드로 검사합니다. 만든 코드는 실행해 테스트가 통과하는지, JSON 은 스키마에 맞는지, 계산 답은 숫자로 같은지 봅니다. 정확하고 공짜지만 꼴이 정해진 일에만 씁니다.

LLM 을 심판으로 쓰기(LLM-as-a-judge)

다른 LLM 에게 질문, 답, (있으면) 정답과 기준표를 주고 점수나 나은 쪽을 묻습니다. 사람보다 훨씬 싸고 빠르며 뜻을 어느 정도 봅니다. 그러나 심판도 틀리고 치우칩니다. LLM 심판 논문(출처)은 두 답을 비교할 때 특정 자리(먼저 또는 나중)에 놓인 답으로 기우는 위치 편향(position bias), 긴 답을 더 좋게 보는 장황함 편향(verbosity bias), 자기가 쓴 답을 좋게 보는 자기 고양 편향(self-enhancement bias)을 보고했습니다. 그래서 순서를 바꿔 두 번 묻고, 기준표를 구체적으로 주고, 심판의 판정을 사람이 채점한 수십 개와 비교해 얼마나 맞는지 먼저 확인합니다. 심판이 모르는 사실은 심판도 확인하지 못합니다.

사람 평가

사람이 기준표(맞는가, 근거에 있는가, 쓸모 있는가)를 들고 답을 채점하거나 두 답 가운데 나은 쪽을 고릅니다. 뜻과 쓸모를 가장 잘 보지만 느리고 비싸며, 사람끼리도 판정이 갈립니다. 같은 답을 두 사람이 따로 채점해 얼마나 일치하는지 보면 기준표가 분명한지 알 수 있습니다.

5. 손으로 풀어 보기: 낱말 겹침 F1

정답은 「고양이가 매트 위에 앉았다」(낱말 4개)입니다. 답 A 「고양이가 매트에 앉았다」는 뜻이 같고, 답 B 「고양이가 매트 위에 앉지 않았다」는 뜻이 반대입니다. 둘 다 정확 일치로는 0점입니다.

  1. 낱말로 나눕니다. 띄어쓰기로 자릅니다. A 는 3개, B 는 5개입니다.
  2. 겹친 낱말을 셉니다. A 는 「고양이가」「앉았다」 2개입니다. 「매트에」는 「매트」와 다른 낱말로 셉니다(조사가 붙어서). B 는 「고양이가」「매트」「위에」 3개입니다.
  3. 정밀도와 재현율. 정밀도 = 겹침 ÷ 답의 낱말 수, 재현율 = 겹침 ÷ 정답의 낱말 수. A 는 2 ÷ 3 과 2 ÷ 4, B 는 3 ÷ 5 와 3 ÷ 4 입니다(정밀도와 재현율).
  4. F1 = 2 × 정밀도 × 재현율 ÷ (정밀도 + 재현율). A 는 2 × (2/3) × (1/2) ÷ (2/3 + 1/2) = (2/3) ÷ (7/6) = 4/7 ≈ 0.57. B 는 2 × 0.6 × 0.75 ÷ 1.35 = 0.9 ÷ 1.35 ≈ 0.67.
답뜻낱말 수겹침정밀도재현율F1
A 고양이가 매트에 앉았다같다320.670.50.57
B 고양이가 매트 위에 앉지 않았다반대530.60.750.67

뜻이 반대인 B 가 더 높은 점수를 받았습니다. 겹침 점수는 글자를 셀 뿐이라, 「않았다」 하나로 뜻이 뒤집혀도 모릅니다. 한국어는 조사와 어미가 낱말에 붙어 같은 말도 겹치지 않기 쉽습니다.

6. 언제 무엇을 쓰나

방법좋은 점나쁜 점쓰는 경우
정확 일치빠르고 공짜. 늘 같은 점수. 설명이 쉽다다르게 쓴 맞는 답을 틀렸다고 한다답이 짧고 하나로 정해질 때: 숫자, 이름, 객관식, 분류
겹침 점수(F1, BLEU, ROUGE)빠르고 공짜. 부분 점수를 준다뜻을 보지 않는다. 부정 하나로 뜻이 뒤집혀도 점수가 높다정답 문장이 있고 표현이 크게 다르지 않을 때. 큰 변화를 빨리 보는 용도
프로그램으로 검사정확하고 공짜. 바꿀 때마다 돌릴 수 있다꼴이 정해진 일에만 쓸 수 있다코드 생성(테스트 실행), JSON 과 형식, 계산 답
LLM 심판싸고 빠르게 뜻을 본다. 정답 없이 기준표로도 채점한다심판도 틀리고 치우친다(자리, 길이, 자기 답). 심판을 바꾸면 점수가 바뀐다긴 답, 요약, 대화의 질. 사람 채점 일부와 비교해 맞는 것을 확인한 뒤
사람 평가뜻과 쓸모를 가장 잘 본다느리고 비싸다. 사람끼리도 갈린다처음 기준을 정할 때, LLM 심판을 확인할 때, 내보내기 전 마지막 확인

보통은 섞어 씁니다. 바꿀 때마다 돌리는 회귀 시험(regression test)은 정확 일치·프로그램 검사·LLM 심판으로 싸게 하고, 사람은 그 심판이 맞는지와 마지막 결정을 봅니다.

7. 식이 만들어지는 과정: 문항이 적으면 점수가 흔들린다

평가 세트로 잰 점수(맞은 비율)도 우연에 흔들립니다. 실력이 같아도 어떤 문항이 들어갔느냐에 따라 점수가 오르내립니다. 그 흔들림의 크기가 표준오차 √(p(1 − p) ÷ n) 입니다. p 는 맞힐 확률(실력), n 은 문항 수입니다. 한 단계씩 넘기고, n 을 20, 100, 1000 으로 바꿔 보세요.

초록 막대는 맞힐 확률 0.7 인 모델이 문항 n 개짜리 시험을 아주 여러 번 쳤을 때 나올 점수의 분포입니다(이항분포로 계산, 높이는 가장 높은 막대에 맞춤). ④ 단계의 파란 막대는 맞힐 확률 0.75 인 모델입니다.

  1. 한 문항: p(1 − p). 맞으면 1, 틀리면 0 입니다. p = 0.7 이면 평균 0.7, 분산 0.7 × 0.3² + 0.3 × 0.7² = 0.21 입니다. 이 계산을 글자로 하면 p(1 − p)² + (1 − p)p² = p(1 − p) 가 됩니다.
  2. n 문항의 평균: p(1 − p) ÷ n. 문항마다 따로 흔들린다고 보면 합의 분산은 n 배가 됩니다. 점수는 합을 n 으로 나눈 것이고, 나누면 분산은 n² 으로 나뉩니다. n 배 ÷ n² = ÷ n.
  3. 제곱근: SE = √(p(1 − p) ÷ n). 분산은 제곱한 값이라, 점수와 같은 단위(퍼센트 점)로 돌리려면 제곱근을 냅니다. 이것이 표준오차(SE)입니다.
  4. 비교하기: p ± 2 × √(p(1 − p) ÷ n). 문항이 많으면 점수의 분포가 정규분포에 가까워져 ±2 표준오차 안에 약 95% 가 듭니다(신뢰구간). 문항이 적거나 p 가 0 이나 1 에 가까우면 이 근사가 거칩니다.
n분산 0.21 ÷ n표준오차70% ± 2 SE75% ± 2 SE차이의 SE5점 ÷ 차이의 SE
200.01050.102 (10.2점)49.5% ~ 90.5%55.6% ~ 94.4%14.1점0.4
1000.00210.0458 (4.6점)60.8% ~ 79.2%66.3% ~ 83.7%6.3점0.8
10000.000210.0145 (1.4점)67.1% ~ 72.9%72.3% ~ 77.7%2점2.5

20문항에서 70% 대 75% 는 차이라고 말할 수 없습니다. 70% 의 구간 49.5% ~ 90.5% 가 75% 를 넉넉히 품습니다. 한쪽 점수가 다른 쪽의 ±2 표준오차 안에 있으면 차이라고 말하지 않습니다. 밖에 있으면 차이 자체의 표준오차와 견줍니다. 두 점수가 따로 흔들린다고 보면 그것은 두 표준오차를 제곱해 더한 뒤 제곱근을 낸 값입니다. 같은 문항으로 두 모델을 시험하면 문항의 쉽고 어려움이 같이 움직여 차이가 이보다 덜 흔들릴 수 있습니다.

해 볼 것. ① n = 20 에서 「다음」을 세 번 누르면 70% 는 49.5% ~ 90.5%, 75% 는 55.6% ~ 94.4% 이고 두 막대 무리가 거의 겹칩니다. ② n = 100 을 누르면 70% 의 구간이 60.8% ~ 79.2% 로 좁아지지만 75% 는 아직 안에 있습니다. ③ n = 1000 이면 67.1% ~ 72.9% 라 75% 가 밖에 있고, 5점은 차이의 표준오차 2점의 2.5 배입니다. ④ ③ 단계에서 n 을 20 에서 1000 으로 바꾸면 ±1 표준오차가 10.2점에서 1.4점이 됩니다. 문항이 50 배가 되어도 흔들림은 √50 ≈ 7.1 배만 줄어듭니다.

8. 평가 세트를 고정하고, 바꿀 때마다 돌리기

평가 자료가 학습에 새어 들어가는 문제

공개된 벤치마크(benchmark) 문제와 정답은 웹에 올라가 있고, 큰 모델은 웹 글로 학습합니다. 모델이 학습 중에 벤치마크 문제를 봤다면 실력이 아니라 기억으로 맞힐 수 있어 점수가 실제보다 높게 나옵니다. 이것을 데이터 오염이라고 부릅니다. 같은 일이 우리 손에서도 일어납니다. 평가 세트를 보며 프롬프트를 고치고 또 그 세트로 재면, 그 세트에만 맞춘 프롬프트가 됩니다.

9. 꼭 알아야 할 성질

성질쉬운 말실험에서
말투로 구분되지 않는다틀린 답도 매끄럽고 자신 있다. 확인은 바깥(문서, 코드, 정답)으로 한다칸의 모양만으로는 맞고 틀림을 모른다
줄일 수 있어도 0 은 아니다근거 문서, 「모름」, 검증 모두 일부만 막는다임계값 0.8 에서도 틀림 1
「모름」은 맞바꿈이다「모름」을 늘리면 틀린 답이 줄고 답하는 비율도 준다. 맞았을 답도 같이 버린다① 의 임계값 막대
채점 방식이 행동을 정한다맞은 수만 세면 찍기가 이기고, 틀림에 벌점을 주면 모를 때 쉬는 쪽이 이긴다① 의 마지막 줄
점수는 √n 으로만 좁아진다문항을 4 배로 늘려야 흔들림이 반이 된다② 의 n 단추

어디에 쓰나

자주 묻는 것

온도를 0 으로 하면 환각이 사라지나요?

아닙니다. 온도를 낮추면 덜 그럴듯한 토큰이 뽑히는 일이 줄 뿐입니다. 모델이 가장 그럴듯하다고 매긴 답이 틀렸다면 그 틀린 답을 매번 똑같이 냅니다. 답이 덜 흔들려 시험을 다시 돌려 비교하기는 쉬워집니다.

근거 문서를 넣으면(RAG) 환각이 없어지나요?

줄지만 없어지지 않습니다. 찾아온 문서가 틀리거나 질문과 관계없을 수 있고, 문서가 맞아도 모델이 문서에 없는 말을 덧붙일 수 있습니다. 찾기(맞는 문서가 왔나)와 답하기(문서대로 답했나)를 따로 잽니다.

LLM 심판의 점수를 믿어도 되나요?

확인한 만큼만 믿습니다. 사람이 채점한 수십 개와 심판의 판정을 비교해 얼마나 맞는지 먼저 봅니다. 두 답을 비교할 때는 순서를 바꿔 두 번 묻고, 기준표를 구체적으로 줍니다. 심판도 틀리고, 긴 답이나 특정 자리의 답에 기우는 경향이 있습니다.

낱말

여기서 쓴 말책에서 부르는 말
그럴듯하지만 틀린 말 지어내기환각(hallucination)
근거와 어긋남 · 세상 사실과 어긋남충실성(faithfulness) 문제 · 사실성(factuality) 문제
근거 문서를 찾아 넣기검색 증강 생성(retrieval-augmented generation, RAG)
모델이 맞을 거라고 여기는 정도신뢰도(confidence)
신뢰도와 실제로 맞는 비율이 같음보정(calibration)
「모름」이라고 답하기기권(abstention), 선택적 예측(selective prediction)
답한 비율커버리지(coverage)
정답과 글자 그대로 같은지정확 일치(exact match, EM)
낱말 겹침 점수토큰 F1, n-그램 겹침(BLEU, ROUGE)
정답 문장참조 답(reference)
LLM 에게 채점시키기LLM 심판(LLM-as-a-judge)
심판이 자리, 길이, 자기 답 쪽으로 기우는 것위치 편향(position bias), 장황함 편향(verbosity bias), 자기 고양 편향(self-enhancement bias)
고정해 두고 계속 쓰는 문항 모음평가 세트(eval set), 벤치마크(benchmark)
바꿀 때마다 돌리는 시험회귀 시험(regression test)
시험 문제가 학습에 섞임데이터 오염(data contamination), 누수(leakage)
점수의 흔들림표준오차(standard error, SE)

출처

← 미세 조정과 LoRARAG →