Grammarly의 교정 피드백에는 어떤 오류가 있는가

본 논문은:

• Joshua Kloppers가 2023년 International Journal of Computer-Assisted Language Learning and Teaching 13권 1호에 게재한 연구 논문이다.
• 중국어권 대학생의 영어 글에 Grammarly가 표시한 교정 항목을 두 명의 영어 모어 화자가 평가하여, 자동 작문 평가 소프트웨어의 정확성과 피드백 품질을 정량·정성적으로 탐색한 혼합 연구이다.
• Grammarly는 형식적 오류를 찾고 고치는 보조 도구로는 유용하지만 스타일 제안을 권위 있는 정답으로 받아들여서는 안 되며, 학습자가 피드백을 비판적으로 선별하도록 교육해야 한다는 시사점을 제시한다.

서론

Grammarly와 같은 자동 작문 평가(Automated Writing Evaluation, AWE) 도구는 교사가 없을 때도 즉시 오류를 표시하고 수정안을 제공한다. 제2언어 학습자에게는 특히 매력적인 기능이다. 글을 제출하기 전에 피드백을 받을 수 있고, 교사는 반복적인 문법 교정에 드는 시간을 줄일 수 있다. 그러나 피드백이 빠르다는 사실과 피드백이 정확하다는 사실은 같지 않다.

이 논문이 다루는 문제는 “Grammarly를 사용하면 학생의 글쓰기 능력이 향상되는가?”가 아니다. 저자는 Grammarly가 이미 표시한 개별 오류와 수정안을 주의 환기 단서(attentional cue)로 보고, 각각이 타당한지를 평가한다. 교사의 첨삭과 Grammarly의 첨삭 중 어느 쪽이 더 좋은지 비교하기보다, 학습자가 화면에서 실제로 마주하는 경고와 수정안을 그 자체로 분석하려는 것이다.

이 구분은 연구 결과를 해석할 때 매우 중요하다. Grammarly가 표시한 항목만 조사하면 잘못 표시한 항목, 즉 거짓 양성(false positive)의 정도는 평가할 수 있다. 그러나 Grammarly가 아예 발견하지 못한 원문의 오류, 즉 거짓 음성(false negative)은 알 수 없다. 따라서 논문에서 말하는 “accuracy”는 전체 오류 탐지 성능이라기보다 표시된 피드백이 얼마나 믿을 만한가를 나타내는 정밀도에 가까운 값이다. 높은 수치가 곧 높은 오류 탐지율을 뜻하지 않는다.

저자는 두 가지 질문을 제시한다.

1. 영어 모어 화자가 보기에 Grammarly의 오류 식별과 수정안은 얼마나 정확한가?
2. 영어 모어 화자는 이러한 식별과 수정안을 어떻게 인식하고 설명하는가?

첫 질문에는 수치로, 두 번째 질문에는 평가자 인터뷰와 구체적인 사례로 답한다. 그래서 이 논문은 정량 평가와 정성 분석을 결합한 혼합 연구로 볼 수 있다.

또 하나 기억해야 할 것은 제품의 시간성이다. 논문은 2023년에 출판되었고, 당시 Grammarly Premium이 생성한 보고서를 분석하였다. 상용 AWE 제품은 자주 업데이트되므로 이 수치를 2026년 현재 제품의 성능으로 그대로 옮길 수는 없다. 오히려 이 논문의 장기적인 가치는 특정 버전의 점수보다, 자동 교정 피드백을 어떤 기준으로 검토해야 하는지 보여준 데 있다.

본론

연구 자료: 학생의 글이 아니라 Grammarly 보고서가 분석 대상이다

연구자는 TECCL(Ten-thousand English Compositions of Chinese Learners Corpus)에서 대학 학부생이 작성한 것으로 확인되는 영어 글 40편을 무작위로 골랐다. TECCL은 중국 본토·홍콩·대만의 영어 학습자가 수업이나 시험 상황에서 작성한 글을 모은 코퍼스이다. 선택된 글은 총 6,286단어였다.

두 명의 경력 영어 교사는 이 글들의 수준을 CEFR A2로 평가했지만, 자동 텍스트 분석기 CatHoven은 B1–B2로 판정했다. 저자는 이 차이를 인간 평가와 자동 평가가 텍스트 수준을 다르게 판단할 수 있다는 사례로 제시한다. 이 연구의 핵심 분석에는 이 수준 판정이 직접 사용되지 않지만, 자료가 비교적 낮은 숙련도의 L2 글이라는 맥락을 제공한다.

40편의 글은 하나의 문서로 합쳐 Grammarly Premium에 입력되었다. 설정은 독자를 “knowledgeable”, 격식을 “neutral”, 영역을 “general”로 두었다. 보고서에는 511개 문장, 평균 단어 길이 4.4자, 평균 문장 길이 12.3단어, Grammarly 점수 25/100이 기록되었다.

논문은 이 과정에서 1,136개의 Grammarly 식별 오류가 생성되었다고 초록·방법·결론에서 반복해서 말한다. 그러나 결과 본문과 Table 3–4의 합계는 모두 1,126개이다. 257개의 스타일 항목과 869개의 correctness 항목을 더해도 1,126개이다. 원문에는 이 10개 차이에 대한 설명이 없다. 이후의 백분율은 모두 1,126을 분모로 정확히 재현되므로, 결과 해석에서는 표의 1,126개를 기준으로 보는 것이 타당하다. 동시에 이는 논문의 보고 일관성에 명백한 오류가 있음을 뜻한다.

두 평가자는 식별과 수정안을 별도로 판단했다

평가자는 남아프리카공화국 출신 영어 모어 화자 두 명이었다. 모두 대학 졸업자이고 학술적 글쓰기 경험이 있었지만, 영어 교육 경력은 한 명에게만 3년 있었다. 한 명은 의학, 다른 한 명은 심리학 배경을 가지고 있었다.

평가표는 Grammarly의 오류 식별과 수정안을 분리한다. 오류 식별은 다음 네 범주였다.

1. 실제로 수정이 필요한 오류를 정확히 식별함
2. 오류가 아닌 표현을 오류로 잘못 식별함
3. 문제가 있기는 하지만 오류의 위치나 유형을 오해하게 표시함
4. 평가자가 판단하기 어려움

수정안은 다섯 범주로 나뉘었다.

• 적절하고 필요한 수정
• 틀리지는 않지만 불필요하거나 최선이 아닌 수정
• 문장을 더 나쁘게 만드는 부적절한 수정
• 수정안 없음
• 평가자가 판단하기 어려움

예를 들어 1A는 오류 식별과 수정안이 모두 적절한 경우이고, 1D는 오류는 정확히 찾았지만 수정안을 제공하지 않은 경우이다. 논문의 전체 정확도는 1A와 1D를 합친 값이다. 이는 “오류 위치만 맞으면 수정안이 없어도 정확한 피드백”으로 인정한 정의이다.

평가자는 훈련용 텍스트를 연구자와 함께 채점한 뒤 1,126개 항목을 독립적으로 평가하였다. 합의 전 불일치율은 6.67%였고 Krippendorff의 α는 0.72, 95% 신뢰구간은 [0.65, 0.78]이었다. 일반적으로 자주 인용되는 0.80 기준보다 낮았다. 이후 각 평가자와 45분 반구조화 인터뷰를 진행하고, 두 사람이 만나 모든 불일치를 합의한 다음 15분 공동 인터뷰를 추가하였다.

합의 채점은 최종 표를 만들기에는 실용적이지만 한계도 있다. 최종 수치는 두 평가자의 독립적 일치를 그대로 나타내는 것이 아니라 토론으로 합의한 판단이다. 더구나 스타일은 본질적으로 정답 경계가 흐리므로, 두 명만의 합의가 모든 영어 사용자의 기준을 대표한다고 보기는 어렵다.

전체 78.86%라는 수치를 분해해서 읽어야 한다

Table 3의 최종 분포는 다음과 같다.

평가 결과	항목 수	전체 중 비율
정확한 식별 + 적절한 수정	808	71.76%
정확한 식별 + 수정안 없음	80	7.10%
그 밖의 조합	238	21.14%
합계	1,126	100%

논문은 앞의 두 행을 정확한 것으로 간주해 $888/1,126=78.86\%$를 보고한다. 그러나 무엇을 묻느냐에 따라 값이 달라진다.

• 오류가 정확히 식별되었는지만 보면 931/1,126, 즉 82.68%이다.
• 수정안이 실제로 제공된 958개만 보면 식별과 수정이 모두 적절한 경우는 808/958, 즉 84.34%이다.
• 수정안이 없었던 168개 가운데 식별이라도 정확했던 것은 80개이므로, 표에서 계산한 정확도는 47.62%이다.

세 번째 값은 교육적으로 중요하다. Grammarly가 문제라고 표시하면서 구체적인 수정안을 내놓지 못한 경우, 그 표시 자체도 절반 이상이 오해를 낳거나 틀린 판단이었다. 논문 Discussion에는 이 비교를 설명하면서 78.86%와 85.07%를 “accuracy”처럼 서술한 문장이 있는데, 85.07%는 정확도가 아니라 수정안이 붙은 항목의 비율인 $958/1,126$이다. Table 3을 기준으로 읽으면 수정안 없는 표시의 정확도는 47.62%, 수정안이 있는 항목의 완전 정확도는 84.34%이다.

correctness는 91.60%, style은 35.80%였다

전체 평균보다 더 중요한 결과는 피드백 유형에 따른 격차이다.

Grammarly 대분류	항목 수	정확 판정 수	정확도
Style	257	92	35.80%
Correctness	869	796	91.60%

Correctness는 맞춤법, 문법, 구두점, 형식처럼 비교적 규칙을 명시하기 쉬운 문제를 포함한다. 10건 이상 등장한 세부 유형 중 정확도가 70% 아래인 항목은 없었다. 주요 결과는 improper formatting 99.36%, incorrect noun number 95.65%, wrong or missing prepositions 94.29%, conjunction use 94.12%, faulty tense sequence 91.30%였다. 복합문·중문 구두점은 76.54%로 상대적으로 낮았지만 여전히 스타일 범주보다 높았다.

Style은 clarity, engagement, delivery로 구성되며 각각 52.94%, 23.81%, 16.67%였다. 세부적으로 wordy sentences는 71.19%, monotonous sentences는 85.71%였지만, passive voice misuse는 23.53%, word choice는 18.18%, tone suggestions는 12.00%에 불과했다. 표본이 1–2개뿐인 세부 유형의 100% 수치는 일반화할 수 없으므로 항목 수를 함께 보아야 한다.

이 차이는 “Grammarly가 78.86% 정확하다”는 한 문장으로는 포착되지 않는다. 사용자가 쉼표·철자·수 일치 피드백을 검토할 때와 어조·단어 선택·수동태 피드백을 검토할 때 적용해야 할 신뢰 수준이 완전히 다르다.

사례가 보여주는 문제는 문맥과 의미 변화이다

평가자 인터뷰는 낮은 스타일 정확도가 어떻게 나타나는지 구체적으로 보여준다.

• 학생이 쓴 rich heritage를 더 흥미롭게 만들겠다며 wealthy heritage로 바꾸도록 제안했지만, 두 표현은 같은 의미가 아니다.
• 소설 속 인물 이름 Pan을 주방 도구를 뜻하는 보통명사 pan과 맞추라며 소문자로 바꾸도록 했다.
• satisfied를 어휘 다양성을 위해 delighted로 바꾸라고 했지만, 만족의 강도를 높여 원래 의도를 변경할 수 있었다.
• We are prepared to give ...의 are prepared를 수동태 오용으로 표시했지만 평가자는 자연스러운 문장으로 보았다.
• In my opinion. I think it's better...에서 마침표를 쉼표로 고치지 않고 In, my opinion.처럼 In 뒤에 쉼표를 추가하는 잘못된 수정을 제안했다.

공통점은 더 넓은 문맥과 저자의 의도를 이해해야 한다는 것이다. 평가자들은 Grammarly가 절이나 구 단위의 국소적 오류에는 강하지만, 판단에 필요한 문맥 범위가 문장 이상으로 넓어질수록 약해지는 경향이 있다고 보았다.

두 평가자는 “general” 설정을 사용했는데도 Grammarly가 전통적이고 격식 있으며 학술적인 한 가지 문체를 밀어붙인다고 느꼈다. 참여와 다양성을 높이려는 제안이 오히려 문장을 예측 가능한 공식으로 통일해 글을 덜 흥미롭게 만들 수 있다는 지적도 나왔다. 이는 스타일 교정의 문제가 단순 오탐을 넘어 필자의 목소리와 소유감을 바꿀 수 있음을 뜻한다.

교육에서는 수정 명령이 아니라 재검토 신호로 사용해야 한다

논문은 Grammarly를 폐기하라고 결론짓지 않는다. correctness 피드백은 상당히 정확했고, 교사가 즉시 피드백을 제공할 수 없는 상황에서 학습자에게 유용할 수 있다. 그러나 자동 제안을 곧바로 수락하는 습관은 언어를 이해하는 대신 도구가 지적한 표현을 회피하게 만들 수 있다.

평가자 한 명은 스타일 경고를 “틀렸으니 고쳐라”는 명령이 아니라 “이 부분을 다시 읽어보라”는 주의 환기 장치로 사용할 가능성을 제안했다. 이 접근은 낮은 스타일 정확도를 인정하면서도 도구의 가치를 남긴다. 다만 학습자가 왜 제안을 수락하거나 거부했는지 설명할 수 있도록 교사가 훈련해야 한다.

내가 이 결과를 실제 사용 규칙으로 정리하면 다음과 같다.

1. 형식·철자·명백한 문법 오류는 우선 확인하되 원문과 대조한다.
2. 수정안이 없는 경고는 특히 낮은 신뢰도로 취급한다.
3. 단어 선택·어조·수동태·간결성 제안은 정답이 아니라 재독 질문으로 바꾼다.
4. 수정 전후의 의미 강도, 필자의 의도, 글의 장르가 유지되는지 확인한다.
5. 학습자는 제안을 수락한 이유를 자신의 문법 지식이나 문맥으로 설명해야 한다.

연구의 범위와 한계

논문이 직접 밝힌 한계와 자료를 읽으며 추가로 확인되는 한계는 다음과 같다.

• 평가자가 두 명뿐이며 α=0.72로 초기 일치도가 높지 않았다.
• 두 평가자 중 영어 교육 경력이 있는 사람은 한 명뿐이었고, 모두 영어 모어 화자이므로 L2 학습자의 의도나 다양한 영어 규범을 완전히 대표하지 못한다.
• 자료는 중국어권 학부생의 40편, 6,286단어에 한정된다. 다른 숙련도, 모어, 장르에는 결과가 달라질 수 있다.
• 모든 글을 하나의 문서로 합쳤기 때문에 개별 글의 경계와 문맥 처리에 어떤 영향이 있었는지 알기 어렵다.
• Grammarly가 표시하지 않은 오류를 조사하지 않아 재현율과 전체 탐지 성능을 계산할 수 없다.
• 항목별 빈도가 크게 달라 일부 세부 정확도는 1–7건의 매우 작은 표본에서 산출되었다.
• 1,136개와 1,126개가 혼재하는 보고 오류가 있으며, Discussion의 비율 설명에도 용어상 혼동이 있다.
• 빠르게 업데이트되는 상용 제품 한 시점의 결과이므로 현재 버전이나 다른 설정으로 일반화할 수 없다.

이 한계 때문에 논문은 Grammarly가 교사를 대체할 수 있다는 근거가 아니다. 반대로 모든 자동 피드백이 무가치하다는 근거도 아니다. 논문이 가장 잘 뒷받침하는 결론은 피드백의 범주에 따라 신뢰도를 달리해야 한다는 것이다.

결론

이 논문을 읽기 전에는 Grammarly의 정확도를 하나의 숫자로 평가할 수 있을 것처럼 보였다. 그러나 결과를 분해하면 질문 자체가 달라진다. 표시한 위치가 맞는가, 오류 설명이 맞는가, 수정안이 문법적으로 가능한가, 수정안이 필자의 의도와 장르에 적합한가는 서로 다른 평가이다. 전체 78.86%는 이 차이를 평균으로 가린다.

가장 명확한 결과는 correctness 91.60%와 style 35.80%의 격차이다. Grammarly는 규칙 기반으로 확인하기 쉬운 국소적 형식 오류에서는 유용했지만, 의미·담화·필자의 목소리를 판단해야 하는 스타일 영역에서는 신뢰하기 어려웠다. 특히 수정안이 없는 경고는 Table 3상 정확한 식별이 47.62%뿐이었다. 사용자가 도구의 침묵이나 모호한 경고까지 권위로 받아들여서는 안 되는 이유이다.

교육적으로 Grammarly의 적절한 위치는 최종 심판이 아니라 두 번째 독자를 흉내 내는 보조 장치에 가깝다. 도구가 표시한 부분을 다시 살펴보게 할 수는 있지만, 무엇이 오류이고 어떤 수정이 더 좋은지는 학습자가 문법, 문맥, 목적을 근거로 결정해야 한다. 스타일 피드백은 자동 수락 버튼보다 “이 표현이 정말 내 뜻에 맞는가?”라는 질문으로 바꾸어 사용할 때 더 가치가 있다.

마지막으로 이 연구는 AWE 평가 지표를 읽는 방법도 가르쳐 준다. 표시된 항목의 정확도가 높아도 놓친 오류가 많을 수 있으며, 평균 정확도가 높아도 특정 범주의 성능은 매우 낮을 수 있다. 자동 교정 도구를 평가할 때는 최소한 정밀도와 재현율, 오류 유형별 성능, 문맥 범위, 수정 후 의미 보존을 따로 확인해야 한다. 이 논문의 핵심 교훈은 간단하다. 자동 피드백의 장점은 즉시성에 있지만, 그 피드백을 학습으로 바꾸는 책임은 여전히 사용자와 교사에게 있다.