언어를 넘나드는 과신과 과의존: 다국어 LLM의 확신 표현은 어떻게 받아들여지는가

본 논문은:

• Neil Rathi, Dan Jurafsky, Kaitlyn Zhou가 2025년 Conference on Language Modeling (COLM 2025)에 발표한 학회 논문이다.
• 영어·프랑스어·독일어·일본어·중국어에서 LLM이 확신과 불확실성을 어떻게 표현하는지 분석하고, 이중언어 사용자가 그러한 표현을 접했을 때 모델에 얼마나 의존하는지를 실험한 연구이다.
• 모델의 확신을 안전하게 전달하려면 정확도에 맞춘 보정만으로는 부족하며, 같은 확신 표현도 언어의 화용적 규범에 따라 다르게 해석된다는 점까지 사용자 중심으로 평가해야 한다는 시사점을 제시한다.

서론

LLM이 답변 앞에 “확실히”, “아마”, “내 생각에는”과 같은 표현을 붙이는 일은 사소해 보이지만, 실제로는 사용자가 답변을 신뢰할지 결정하는 데 영향을 준다. 논문은 이러한 표현을 인식적 표지(epistemic marker)라고 부른다. 인식적 표지는 화자가 자신이 말하는 내용에 어느 정도 확신하는지를 언어로 드러내는 장치이다.

여기서 먼저 구분해야 할 것은 세 가지이다.

1. 정확도(accuracy)는 모델의 답이 실제로 맞았는지를 뜻한다.
2. 언어적 보정(linguistic calibration)은 모델이 표현한 확신의 강도가 실제 정확도와 얼마나 잘 맞는지를 뜻한다.
3. 인간의 의존(reliance)은 사용자가 그 답을 받아들이고 행동의 근거로 삼으려는지를 뜻한다.

정답률이 높은 모델도 틀린 답을 “분명히”라고 말할 수 있고, 반대로 맞는 답을 “아마”라고 말할 수 있다. 더 중요한 문제는 사용자가 그 어조를 어떻게 해석하느냐이다. 모델 내부의 불확실성을 잘 추정했더라도, 그 표현이 사람에게 의도한 효과를 주지 못하면 인간-AI 상호작용 차원에서는 보정되었다고 보기 어렵다.

기존 연구는 주로 영어에 집중하였다. 그러나 불확실성을 표시하는 방식은 언어마다 동일하지 않다. 영어와 프랑스어에서는 중간 정도의 확신 표현이 흔하고, 일본어에서는 완곡한 표현과 헤지가 일반적인 대화 규범으로 더 자주 쓰인다. 독일어와 중국어에서는 상대적으로 강한 확신 표현의 비중이 높다고 알려져 있다. 따라서 일본어의 “생각합니다”를 영어의 “I think”와 사전적으로 대응시키더라도, 두 표현이 청자에게 전달하는 실제 불확실성의 크기는 같지 않을 수 있다.

이 논문은 이 지점에서 출발한다. 연구 질문은 단순히 “다국어 모델도 과신하는가?”가 아니다. 저자들은 다음의 연결 구조를 검토한다.

언어별 표현 규범 → 모델이 생성하는 확신 표현의 분포 → 사용자가 그 표현을 해석하는 방식 → 잘못된 답에 의존할 위험

이 구조에서 어느 한 단계만 영어 결과로 대체하면 전체 위험을 잘못 추정할 수 있다. 연구는 먼저 다국어 LLM의 생성물을 대규모로 분석한 다음, 별도의 이중언어 참가자 실험으로 인간의 의존 행동을 측정한다.

본론

인식적 표지를 세 단계로 나누다

저자들은 모델의 확신 표현을 세 범주로 분류한다.

• 약한 확신(weak): “그럴 수도 있다”, “내 생각에는”, “아마”처럼 불확실성을 크게 드러내는 표현
• 중간 확신(moderate): “가능성이 높다”, “아마도 이것일 것이다”처럼 어느 정도 확신하지만 단정하지 않는 표현
• 강한 확신(strong): “분명히”, “100% 확신한다”, “반드시 이것이다”처럼 거의 절대적인 확신을 나타내는 표현

이 구분은 단어 목록을 기계적으로 대응한 것이 아니다. 연구팀은 언어별 Prolific 참가자에게 확신과 불확실성을 표현하는 문구를 직접 만들게 한 뒤, 자주 등장한 표현을 few-shot 예시에 사용하였다. 이후 각 언어의 능숙한 화자들이 GPT-4o의 표현을 1–7점 확신 척도로 평가했고, 1–2점은 약한 확신, 3–5점은 중간 확신, 6–7점은 강한 확신으로 묶었다.

이 절차가 중요한 이유는 번역된 문구의 사전적 의미만으로 강도를 정하지 않았기 때문이다. 연구가 측정하려는 것은 문자열이 아니라 해당 언어 공동체에서 지각되는 확신의 정도이다. 다만 평가자 간 Fleiss의 κ는 영어 0.45, 프랑스어 0.44, 독일어 0.38, 일본어 0.37, 중국어 0.26으로 높지 않았다. 특히 중국어에서는 약한 확신 표현 자체가 적어 중간·강한 범주의 경계가 더 불안정했다. “확신의 강도”가 객관적으로 고정된 속성이라기보다 해석이 개입되는 변수라는 사실이 수치에서도 드러난다.

실험 1: 다국어 모델은 얼마나 과신하는가

첫 번째 실험은 MMLU의 57개 주제 객관식 문항을 사용한다. 일본어에는 기계 번역 후 사람이 검토한 JMMLU 일부를 사용했고, 같은 7,494개 문항을 영어에서 프랑스어·독일어·중국어로 Google Translate API를 이용해 번역하였다. 분석 모델은 GPT-4o와 Llama 3.1 Instruct 70B·8B이다. 각 프롬프트에는 불확실 표현 5개와 확신 표현 5개를 포함한 10개의 예시를 무작위 순서로 제시했고, 이 구성을 세 번 반복하였다.

평균 MMLU 정확도는 다음과 같다.

모델	영어	프랑스어	독일어	일본어	중국어
GPT-4o	80.96	76.32	77.83	77.08	75.75
Llama 3.1 70B	66.69	57.51	34.47	45.90	55.65
Llama 3.1 8B	59.44	37.17	23.05	31.29	42.17

모든 모델에서 영어 성능이 가장 높다. 특히 Llama 계열은 언어에 따른 기초 정확도의 차이가 크다. 이 사실은 뒤에서 과신율을 비교할 때 중요하다. 어떤 언어에서 강한 표현을 쓴 답의 오답 비율이 높아졌다면, 그 원인에는 확신 표현의 보정 문제뿐 아니라 해당 언어의 낮은 기본 문제 해결 성능도 함께 들어 있을 수 있기 때문이다.

저자들은 과신율을 다음과 같이 정의한다.

\[P(\text{오답}\mid\text{강한 확신 표현})\]

즉, 강한 확신을 나타낸 답만 모았을 때 그중 틀린 답의 비율이다. 전체 언어 평균으로 GPT-4o는 15.22%, Llama 3.1 70B는 39.15%, Llama 3.1 8B는 49.04%였다. 가장 성능이 좋은 GPT-4o조차 강하게 확신한 답 약 6–7개 중 하나가 틀렸다. GPT-4o에서는 강한 확신을 쓸 때 정확도가 조금 높아지는 경향이 있었지만, 두 Llama 모델에서는 약함·중간·강함 사이의 정확도 차이가 거의 없었다. 표현의 강도가 정답 가능성에 관한 유용한 신호로 작동하지 않은 셈이다.

비영어권의 과신율은 영어보다 일관되게 높았다. GPT-4o의 경우 영어에서는 강한 표현이 포함된 답의 11.26%가 오답이었지만, 중국어에서는 약 18%였다. 다만 이를 “중국어 표현이 모델을 과신하게 만든다”는 인과관계로 읽어서는 안 된다. 언어별 MMLU 정확도, 번역 품질, 프롬프트 준수율이 동시에 달랐기 때문이다. 이 결과는 비영어 환경에서 강한 어조를 안전 신호로 믿기 어렵다는 관찰에 가깝다.

Figure 1과 Figure 2: 정확도와 표현 분포는 다른 문제이다

Figure 1은 언어와 모델별로 약한·중간·강한 확신 표현을 사용했을 때의 MMLU 정확도를 비교한다. 이 그림의 핵심은 막대 하나의 높이보다 같은 패널 안에서 확신 강도가 올라갈 때 정확도도 함께 오르는지에 있다. GPT-4o에서는 어느 정도 상승하지만, Llama 3.1에서는 세 범주의 막대가 대체로 비슷하다. 모델이 “확실하다”고 말하는 순간을 골라내도 더 정확한 답을 얻기 어렵다는 뜻이다.

Figure 2는 같은 생성물을 정답 여부가 아니라 표현의 분포로 다시 그린다. GPT-4o에서 영어와 프랑스어 응답의 96%, 91%는 중간 또는 강한 확신에 속했다. 일본어에서는 약한 표현이 59%로 가장 많았다. 반대로 강한 표현은 영어에서 42%, 독일어에서 53%, 중국어에서 80%였다. 모델은 일본어에서 더 완곡하고 독일어·중국어에서 더 단정적으로 말하는 등 기존 언어학 연구에서 보고된 사용 규범을 어느 정도 재현하였다.

여기서 흥미로운 역설이 생긴다. 모델이 언어별 화법을 학습했다는 사실과 모델이 잘 보정되었다는 사실은 같지 않다. 일본어 모델이 헤지를 많이 생성하더라도 그 헤지가 실제 오답 가능성을 정확히 반영하지 않을 수 있다. 반대로 독일어·중국어에서 강한 표현이 관습적으로 많다는 이유만으로 높은 확신을 곧 높은 정확도로 해석할 수도 없다. 표현 분포의 문화적 자연스러움과 진실성의 보정은 서로 다른 평가 축이다.

실험 2: 같은 사람이 언어에 따라 다르게 의존하는가

두 번째 실험은 모델의 출력 자체가 아니라 사람의 선택을 측정한다. 연구팀은 영어-프랑스어, 영어-독일어, 영어-일본어 이중언어 사용자를 언어쌍마다 45명씩 모집했다. 참가자는 모두 두 언어에서 C1 이상의 숙련도를 스스로 보고했다. 중국어는 모델이 약한 확신 표현을 거의 생성하지 못해 세 범주를 갖춘 실험을 구성할 수 없었으므로 제외되었다.

참가자는 난도가 높은 지리 상식 문제와 모델 답변의 시작 부분을 보았다. 예를 들어 “키리바시의 수도는 어디인가?”라는 질문에 “내 생각에는…”과 같은 인식적 표지만 붙은 상태이다. 참가자는 모델의 답에 의존할지, 직접 정답을 찾아볼지를 선택했다. 각 참가자는 영어 30문항과 비교 언어 30문항을 수행했고, 언어 순서와 문항 순서는 무작위화되었다. 각 언어의 30개 자극은 약한 표현 5개, 중간 표현 15개, 강한 표현 5개, 인식적 표지가 없는 평서문 5개로 구성되었다.

동일한 이중언어 화자가 두 언어 조건에 모두 참여했다는 점은 이 설계의 강점이다. 서로 다른 국가의 참가자 집단을 단순 비교할 때 생기는 개인차를 줄이고, 언어가 바뀌었을 때 같은 사람의 판단이 어떻게 달라지는지를 볼 수 있기 때문이다.

강한 확신 표현에 대한 의존율은 영어 66.34%, 프랑스어 54.54%, 독일어 61.90%, 일본어 78.91%였다. 평균은 65.42%이다. Figure 3에서 프랑스어의 약함·중간 표현은 영어와 큰 차이가 없고, 독일어의 강한 표현과 평서문은 영어보다 의존도가 낮다. 반대로 일본어에서는 약함·중간·강함의 모든 인식적 표지에서 영어보다 의존도가 높았다.

일본어 결과는 “헤지가 많으면 안전할 것”이라는 직관을 뒤집는다. 일본어에서 완곡한 표현이 자주 사용되면 청자는 그것을 문자 그대로 큰 불확실성의 신호라기보다 예의나 담화상의 기본 형식으로 할인해서 받아들일 수 있다. 따라서 모델이 “생각합니다”라는 표현을 더 자주 출력해도 사용자의 경계심이 그만큼 커지지 않는다. 불확실 표현의 생성 빈도와 불확실성의 지각 효과가 반대 방향으로 움직일 수 있는 것이다.

과의존 위험을 결합해 계산하다

저자들은 생성 실험의 과신율과 인간 실험의 강한 표현 의존율을 곱해 과의존 위험(overreliance risk)을 구성한다.

\[R_{m,l}=P(\text{의존}\mid\text{강한 표현},l)\times P(\text{오답}\mid\text{강한 표현},m,l)\]

여기서 $m$은 모델, $l$은 언어이다. 결과는 다음과 같다.

모델	영어	프랑스어	독일어	일본어
GPT-4o	7.47	8.71	9.55	11.72
Llama 3.1 70B	23.64	23.36	41.10	41.93
Llama 3.1 8B	25.20	34.19	47.53	54.95

GPT-4o에서도 언어 평균 위험이 약 10%이고, Llama 3.1 8B에서는 약 40%이다. 세 모델 모두 일본어 조건의 값이 가장 높다. 특히 일본어의 높은 의존율이 모델의 과신과 결합하면서, 일본어에서 헤지가 많이 생성된다는 표면적인 장점이 실제 위험 감소로 이어지지 않았다.

다만 이 지표는 실제 상호작용에서 관찰된 오답 의존 사건의 비율이 아니라, 서로 다른 두 실험에서 구한 확률을 곱한 기대 위험의 대리값이다. 인간 실험에서는 완성된 답과 정답 여부를 보여주지 않고 답변의 시작 부분만 제시했으며, 모델·언어별 과신율과 언어별 의존율이 독립적으로 결합될 수 있다고 가정한다. 따라서 11.72%라는 수치를 “일본어 사용자가 GPT-4o의 전체 답 중 정확히 11.72%를 잘못 믿는다”고 해석하면 범위를 넘어선다. 이 지표의 가치는 절대적인 사고 발생률 예측보다, 모델 정확도만 보거나 사람의 신뢰도만 보는 평가가 놓치는 상호작용을 비교 가능하게 만든 데 있다.

결과를 신뢰하면서도 경계해야 할 지점

이 연구에는 분명한 장점이 있다. 언어별 표현을 모국어 능숙자가 만들고 평가했으며, 모델 생성 분석과 인간 행동 실험을 연결했다. 이중언어 참가자 안에서 영어와 대상 언어를 비교한 설계도 언어 간 차이를 보다 직접적으로 보여준다. 그러나 결과를 일반화할 때는 다음의 한계를 함께 보아야 한다.

• 모델과 언어의 범위가 좁다. GPT-4o와 Llama 3.1 두 크기만 평가했고, 모두 2024년에 공개된 모델이다. 인간 실험은 영어·프랑스어·독일어·일본어에 한정되며, 저자들도 고자원 언어만 다룬 점을 윤리 성명에서 명시한다.
• 번역 조건이 균일하지 않다. 일본어 JMMLU는 기계 번역 후 검토된 자료인 반면 프랑스어·독일어·중국어는 Google Translate API 번역을 사용했다. 언어별 정확도 차이에 번역 난이도와 문항의 문화적 적합성이 섞일 수 있다.
• 과신율은 기본 정확도와 분리되지 않는다. $P(\text{오답}\mid\text{강한 표현})$은 실용적인 위험 지표지만, 언어별 전체 정확도가 크게 다르면 표현 보정과 기본 성능 저하가 함께 반영된다. 전형적인 calibration error나 Brier score와 같은 지표와 동일하지 않다.
• 프롬프트가 확신 표현을 강제로 유도한다. 일상적인 무지시 대화에서 모델이 자발적으로 표지를 얼마나 쓰는지를 측정한 실험은 아니다. 오히려 저자들은 표지가 없는 평서문에 대한 인간 의존도도 매우 높다고 지적한다.
• 프롬프트 실패 제거의 선택 편향이 크다. 부록 Table 5에서 템플릿 준수율은 GPT-4o 영어 29.20%, Llama 3.1 8B 중국어 1.11%에 불과하다. 실패 응답을 모두 제외했으므로, 특히 준수율이 낮은 조건의 결과는 모델 전체 출력이 아니라 드물게 형식을 따른 선택된 표본을 설명한다.
• 확신 등급 자체에 측정 오차가 있다. 평가자 합의가 보통 이하이고, Llama 응답은 사람 대신 평균 정확도 78.13%의 언어별 분류기로 라벨링했다. 약함·중간·강함의 경계에서 발생한 오분류가 모델별 분포와 과신율에 전파될 수 있다.
• 의존은 실제 사용 행동의 일부만 포착한다. 참가자가 본 것은 완성된 답이나 근거가 아니라 문장 시작부이며, 선택지도 “의존”과 “직접 검색” 두 가지였다. 실제 환경에서는 질문 분야, 시간 압박, 출처, 설명 품질, 사용자 전문성이 함께 판단을 바꾼다.

이 한계들은 결론을 무효화하기보다 결론의 범위를 정한다. 논문이 강하게 보여주는 것은 모든 문화와 상황에서 정확한 위험률이 얼마인지가 아니라, 영어에서 얻은 확신-의존 관계를 다른 언어에 그대로 이식하는 것이 안전하지 않다는 점이다.

결론

이 논문을 읽으며 가장 중요하다고 느낀 부분은 “불확실성을 더 많이 표현하면 더 안전하다”는 명제가 자동으로 성립하지 않는다는 점이다. 일본어에서 모델은 실제로 헤지를 더 많이 사용했지만, 일본어 사용자는 같은 종류의 표현을 영어보다 약한 경고로 받아들였다. 모델이 언어별 화용 규범을 자연스럽게 모방할수록, 그 자연스러움이 오히려 모델의 오류 가능성을 가리는 상황도 생길 수 있다.

따라서 다국어 LLM의 보정은 번역 문제가 아니다. 영어에서 confidence 0.6에 해당하는 “I think”를 찾아 다른 언어로 옮기는 것만으로는 충분하지 않다. 필요한 것은 최소한 다음 세 층의 공동 평가이다.

1. 해당 언어에서 모델의 실제 과제 정확도가 어느 정도인지,
2. 정확도 수준에 따라 어떤 확신 표현을 생성하는지,
3. 그 표현을 해당 언어 공동체의 사용자가 실제로 어떻게 받아들이고 행동하는지.

논문은 세 번째 층을 실험에 포함했다는 점에서 의미가 크다. AI 안전을 출력 텍스트의 속성만으로 평가하지 않고, 그 텍스트가 사람의 판단을 어떻게 바꾸는지까지 확장한다. 이는 “모델이 불확실성을 말했다”는 사실보다 “사용자가 그 말을 불확실성으로 받아들였는가”가 더 중요할 수 있음을 보여준다.

실무적으로는 모델이 자연어 한 문장만으로 확신을 전달하게 두기보다, 근거 출처, 검증 가능한 인용, 답변 거부 조건, 언어별 사용자 연구를 함께 설계해야 한다. 특히 의료·법률·교육처럼 잘못된 확신의 비용이 큰 분야에서는 언어별 번역 품질과 모델 정확도를 확인하는 것만으로 충분하지 않다. 동일한 인터페이스가 서로 다른 언어에서 같은 경계 행동을 유도하는지도 검증해야 한다.

마지막으로 이 연구의 수치를 완성된 안전성 벤치마크로 받아들이기보다는 문제를 드러내는 출발점으로 보는 편이 타당하다. 표본과 모델을 확대하고, 실제 답변·근거·정답 여부를 포함한 상호작용에서 행동을 측정하며, 저자들이 다루지 못한 저자원 언어와 다양한 사용자 집단까지 확인할 필요가 있다. 그럼에도 이 논문의 중심 명제는 설득력이 있다. 모델의 확신은 언어로 표현되지만, 그 위험은 사람과 언어가 만나는 지점에서 결정된다.