LLM 어노테이션의 동향과 방법론적 좌표 — 양연동
1. LLM 기반 텍스트 어노테이션의 연구 동향
성능 수렴과 방법론적 표준화. 2022년 11월 ChatGPT 공개 이후 LLM 기반 텍스트 어노테이션 연구는 빠르게 축적되어, 관련성·주제·입장과 같이 이론 부하가 낮은 분류 과업에서는 LLM이 크라우드 워커를 상회하고 전문가 코더에 근접하는 성능을 반복적으로 보여 왔다. Gilardi et al.(2023)은 GPT-3.5-turbo로 5개 어노테이션 과업을 수행하여 MTurk 크라우드 워커 대비 평균 25%p 높은 정확도와 약 1/30 수준의 비용을 보고했고, Törnberg(2025)는 GPT-4를 활용한 미국 정치인 트윗 정당 분류에서 전문가·크라우드 양자를 모두 상회하는 정확도를 기록했다. Heseltine와 Clemm von Hohenberg(2024)는 정치 텍스트의 인간 전문가 대체 가능성을 체계적으로 확인하였고, Alizadeh et al.(2025)은 오픈소스 LLaMA-2(70B)가 11개 과업 중 9개에서 MTurk를 능가함을 보고하여 상용 API 의존 없이도 방법론적 활용이 가능함을 보였다. 2024년 이후는 이 초기 성능 보고가 체계적 평가와 표준화로 전환되는 국면이다. Törnberg(2024)는 모델 선택, 프롬프트 안정성, 자기일관성 프롬프팅, 인간 검증 등 모범 사례를 체계화하며 현 단계가 "학술적 무법지대"임을 경고했고, Calderon et al.(2025)은 LLM의 인간 어노테이터 대체 가능성을 공식 검정하는 Alternative Annotator Test를 제안하여 통계적 엄밀성을 한 단계 높였다. 동시에 Pangakis et al.(2023)은 27개 과업 중 9개에서 정밀도 또는 재현율이 0.5 미만으로 나타남을 들어 "자동화된 어노테이션에는 반드시 검증이 필요하다"고 경고하였으며, Tseng et al.(2025)은 사고사슬(chain-of-thought)과 자기일관성 기법이 도메인 전문 과업에서 한계적·부정적 효과를 보임을 보고하여 복잡한 방법론이 항상 더 나은 것은 아님을 시사했다. 사회과학 각 분야로의 확산도 가속화되어 심리학(Rathje et al., 2024), 경영학(Carlson & Burbano, 2026) 등에서 분야별 가이드와 경고가 병행 축적되고 있다. 이론 부하가 높은 주석 과업으로의 확장. 적용 범위는 점차 해석적 판단이 개입하는 주석 과업으로 확장되어 왔으며, 이 흐름은 질적 연구 절차 자체를 자동화하려는 시도가 아니라 연구자의 이론적 관점을 주석 지침으로 조작화하여 LLM에 주입하는 접근으로 수렴해 왔다(Ziems et al., 2024). Chew et al.(2023)은 LLM-Assisted Content Analysis(LACA)를 제안하며 연역적 코딩의 정확도를 인간 코더 수준으로 끌어올리는 프롬프트 개선 절차와 함께, LLM이 사실상 무작위 추측을 하는 코드를 통계적으로 식별하여 해당 코드에 대해서는 인간 코딩으로 전환하는 경계 설정 방법을 제시했다. Dunivin(2025)은 사회역사적 코드를 단락 수준 텍스트에 적용하는 해석학적 과업에서 GPT-4가 인간과 동등한 성능에 도달할 수 있음을 보이고, 코드 설명을 LLM이 이해할 수 있는 형식으로 재작성하는 절차의 효과를 구체화하였다. 이론 주입 방식에 따른 성능 차이도 경험적으로 확인되었는데, Bijker et al.(2024)은 동일한 ChatGPT 모델이 귀납적 코딩에서는 κ 0.72–0.82를 달성한 반면 이론적 프레임워크를 직접 적용하는 연역적 코딩에서는 κ 0.58–0.73으로 낮아지는 비대칭을 보고했고, Parfenova et al.(2025)은 단순한 문장에서는 LLM이, 복잡한 문장에서는 인간이 강세를 보이는 상보적 패턴을 기록하였다. 나아가 Li et al.(2026)은 인간 코더 간 일치도가 매우 높은(κ 0.95 이상) 연역 코딩에서도 데이터가 희소하거나 이론적으로 민감한 코드에서는 LLM의 일치도가 0에 가깝게 급락함을 보고하여, 같은 연역 과업 안에서도 코드의 성격에 따라 LLM 적용 가능성이 갈림을 보였다. 방법론지 수용도 가시화되어, Than et al.(2025)은 Nelson et al.(2021)의 수동/자동 비교 데이터셋을 재활용하여 생성형 LLM이 지도학습 수준으로 수동 코딩을 재현할 수 있음을 보이고 이를 Sociological Methods & Research에 게재하였다. 이 흐름은 이론적 부하가 높은 과업일수록 주입 방식(연역적 범주 적용 vs. 귀납적 코드북 구축)과 텍스트 복잡성에 따라 수행이 체계적으로 달라짐을 보여준다. 곧 기술적 주제 분류, 가치 판단 기반 입장 분류, 이론 관점에 근거한 분류로 이어지는 일련의 과업 계열은 연역적 분류 과업의 내부에서도 이론 주입 강도의 계단을 이루며, 이 계단을 어떻게 등급화하고 검증할 것인가가 적용 방법론의 핵심 과제로 떠오른다. 한편 이러한 과업 복잡성 증가는 LLM 주석 검증 틀 자체에 대한 재고를 요청한다. 과업 복잡성—이론 투사 부하만이 아니라 측정 구조·처리 규모를 포함하는—이 임계점을 넘으면 인간 코더 합의 기반의 전통적 gold standard 구축이 사실상 불가능한 영역이 존재함이 보고되었고(양연동 외, 2026), LLM 주석 타당성이 인간 코더를 능가하는 사례도 누적되고 있다(Gilardi et al., 2023; Törnberg, 2025; Dunivin, 2025). 이처럼 과업 복잡성의 증가는 인간 합의 근사도라는 단일 검증 축의 전제를 흔들며, 검증 틀 자체의 재고를 요청한다. 국내 연구 현황과 공백. 국내 LLM 어노테이션 연구는 해외에 비해 양적·질적으로 상당한 격차가 있으나 2023년 이후 관련 연구가 등장하기 시작했다. 한국어 일반 텍스트에서는 권순찬 외(2024)가 GPT-3.5·GPT-4를 네이버 쇼핑·게임·영화 리뷰에 제로샷으로 적용해 쇼핑(0.94)·영화(0.89)에서 높은 정확도를 보였으나 게임 데이터에서는 비속어·은어 영향으로 성능이 하락함을 보고했고, 고상훈·안현철(2024)은 한국어 가짜뉴스 탐지에서 정확도가 59.8\~62.1%에 머물러 과업에 따라 성능이 제약될 수 있음을 보여주었다. 교육학 인접 분야에서는 평가·생성 과업을 중심으로 연구가 빠르게 등장하고 있다. 키워드 추출(임태형 외, 2023, 2025), 문항 생성(임상묵 외, 2024), 작문·창의적 글쓰기·말하기 자동 평가(김성은, 2025; 김종인 외, 2025; 이진, 2025; 최지예·허영수, 2024) 등이 보고되었으며, 이들 연구는 공통적으로 객관적·표층적 과업에서는 LLM의 신뢰도가 확보되나 해석적·심층적 과업에서는 인간 평가자와의 정합성이 낮아짐을 시사했다. 교사 온라인 커뮤니티 담론 분석에서는 양연동 외(2026)가 대규모 게시글에 경량 LLM 기반 감정-정동 추출을 적용했으며, 과업 복잡성으로 인해 gold standard를 설정하지 않고 설명가능 AI 관점에서 전문가 수용가능성을 간접 평가하는 전략을 택했다. 한편 LLM을 내용분석 도구 자체로 검증하려는 시도도 등장하였다. 이상혁·김은미(2025)는 GPT를 뉴스 기사 내용분석에 적용하여 반복 분석 기반의 내적 신뢰도와 인간 코더 대비 외적 타당도를 검토하였고, 민세인·김은기(2026)는 문헌정보학 논문을 대상으로 인간 코더와 네 개 LLM의 코딩 수행을 과업 유형별로 비교하여 명시적 기준에 따르는 분류에서는 높은 일치도가, 추론적 판단을 요하는 차원에서는 낮은 일치도가 나타남을 보고하였다. 후자의 결과는 LLM 코딩 성능이 모델 역량보다 과업의 판단 구조에 좌우됨을 시사하여, 본고가 제안하는 이론 주입 강도의 계단과 상통하는 양상을 국내 자료에서 보여준다. 신나라·조한규(2026) 또한 상담학의 이론적 준거에 근거한 연역적 코딩에 복수 LLM을 적용하여, 균형 정확도가 무작위 기준선을 상회하되 유형별 성능 편차와 체계적 오분류가 나타남을 보고함으로써 동일한 양상을 확인하였다. 이들 연구를 종합하면 국내 연구의 현 단계는 두 가지 공백을 드러낸다. 첫째, 기존 연구는 감성 분석·키워드 추출·자동 평가·문항 생성 등 특정 과업에 개별적으로 집중되어 있으며, 교육 텍스트를 대상으로 이론적 부하가 서로 다른 복수 주석 과업에서 LLM과 인간 코더의 일치도를 일관된 틀 아래 비교한 연구는 본 연구의 검토 범위에서 확인되지 않는다. 둘째, 대부분 제로샷 프롬프팅 기반의 기초적 성능 비교나 상관계수 보고에 머물러 있어, Krippendorff's Alpha 등 내용분석의 표준 신뢰도 지표와 Alternative Annotator Test(Calderon et al., 2025)와 같은 통계적 대체 검정을 통합한 절차가 갖춰지지 않았다. 이상의 두 측면이 본고가 적용 모형을 제안하며 겨냥하는 방법론적 공백이다.
2. 내용분석\, 텍스트마이닝\, 그리고 LLM 어노테이션의 방법론적 위치
교육학 연구에서 텍스트 분석은 교육정책 담론 분석, 교육 언론 보도 분석, 교사 인식 조사, 교육과정 문서 분석 등 다양한 맥락에서 활용되어 왔다. 이러한 텍스트 분석에는 크게 두 가지 방법론적 전통이 존재하며, LLM 어노테이션의 성격과 가능성을 이해하려면 양자의 인식론적 차이를 먼저 정리할 필요가 있다.
가. 내용분석과 텍스트마이닝의 인식론적 구분
내용분석(content analysis)은 텍스트 내용을 객관적·체계적·계량적으로 기술하는 연구 기법으로 정의되어 왔으며(Berelson, 1952; Stemler, 2001), 전통적으로는 연구자가 이론에 기반하여 범주 체계(코드북)를 사전 구성하고 훈련된 코더가 개별 텍스트를 해당 범주에 배정하는 연역적·확인적 절차를 가리킨다(Holsti, 1969; Krippendorff, 2019; Neuendorf, 2017). 국내에서도 윤영민(2019)은 이를 "명백한 미디어·커뮤니케이션 콘텐츠에 대한 객관적, 체계적, 수량적, 재연 가능한 연구 방법"으로 정의한 바 있다. 핵심 요소는 이론 기반 코드북, 코더 훈련과 합의, 독립 코딩, 코더 간 신뢰도 검증이다. 범주의 의미는 연구자와 코더 간의 협상·합의를 통해 구성되며, 파일럿 코딩에서의 불일치는 코드북 수정과 경계 사례에 대한 해석적 합의로 해소된다(Krippendorff, 2019). 코더 간 신뢰도는 단순 일치율을 넘어 우연을 보정한 계수로 보고하는 것이 표준으로 자리잡았으며(Lombard et al., 2002), 그중 Krippendorff's Alpha가 권고되어 왔다(Hayes & Krippendorff, 2007). 국내에서도 내용분석의 신뢰도 보고 관행이 비판적으로 검토되었고(김성태, 2005), 질적 내용분석의 연역적·귀납적 절차가 소개·정리된 바 있다(최성호 외, 2016). 텍스트마이닝은 대규모 텍스트에서 통계적·알고리즘적 방법으로 패턴을 추출하는 귀납적·탐색적 절차다(Grimmer & Stewart, 2013). 잠재 디리클레 할당(LDA; Blei et al., 2003)을 비롯한 토픽 모델링 계열이 대표적이며, 연구자는 범주를 사전 정의하지 않고 토픽이 데이터에서 귀납적으로 도출되며 연구자의 역할은 사후적 토픽 해석과 명명에 집중된다. 국내 교육학 연구에서도 두 전통이 병행 활용되어 왔으며, 김은혜와 박주호(2022)는 교육부 대입 정책 보도자료에 토픽 모델링을 적용하여 정권별 정책 특징을 분석한 바 있다. 여기서 중요한 점은 두 방법론의 구분이 처리 규모가 아니라 인식론적 전제에 있다는 것이다. 과거에는 내용분석이 소규모, 텍스트마이닝이 대규모라는 양적 구분이 통용되었으나, 지도학습 분류기·능동학습·LLM의 등장으로 내용분석의 연역적 논리를 대규모 텍스트에 적용하는 것이 기술적으로 가능해진 현재 환경에서 이 구분은 더 이상 유효하지 않다. 양자를 구분하는 핵심 기준은 범주의 원천이다: 연구자가 이론에 기반하여 범주를 사전 구성하는가(연역적), 아니면 알고리즘이 데이터에서 범주를 도출하는가(귀납적). 이 구분은 질적 내용분석 내에서 기존 이론으로부터 범주를 도출해 적용하는 directed(연역적) 접근과 자료에서 범주를 생성하는 conventional(귀납적) 접근의 대비와 상응하며(Hsieh & Shannon, 2005; Schreier, 2012), 국내 교과교육 연구에서도 두 접근이 코더 간 신뢰도 검증과 함께 적용되어 왔다(홍서영·서태열, 2014).
나. LLM 어노테이션의 방법론적 특성과 위치
텍스트마이닝이 범주를 알고리즘에 위임하는 것과 달리, LLM 어노테이션에서 범주 체계는 연구 설계 단계에서 연구자가 구성한다. 이 점에서 LLM 어노테이션은 연역적 접근의 성격을 갖는다. 구체적으로는 기존 이론에서 도출한 범주 체계를 텍스트에 적용하는 directed content analysis(Hsieh & Shannon, 2005)의 논리를 대규모로 수행하는 것에 해당한다. Ziems et al.(2024)이 LLM을 사회과학 연구의 어노테이션 보조 도구로 규정한 것과 같이, LLM 어노테이션은 연구자의 이론적 의도를 분석에 적극적으로 반영하면서도 대규모 처리라는 실용적 이점을 취한다. 절차적으로는 내용분석의 논리 구조를 그대로 따른다: 연구자가 코드북을 설계하고, 코드북을 프롬프트로 전환하여 LLM에 제공하고, LLM이 인간 코더를 대신하여 텍스트를 범주에 배정한다. 코드북 설계(연역적 범주) → 코더 훈련(프롬프트 작성) → 독립 코딩(API 호출) → 신뢰도 검증(인간 코딩 대비 일치도)이라는 내용분석의 절차적 골격이 보존된다(Gilardi et al., 2023; Törnberg, 2024). 그러나 LLM 어노테이션은 코더의 성격에서 전통적 내용분석과 질적으로 다르다. 첫째, 해석적 협상의 부재. 인간 코더는 훈련 과정에서 연구자와 상호작용하며 범주의 의미를 협상하지만(Krippendorff, 2019), LLM은 일방향적 프롬프트만 받으며 출력의 사후 검증을 통해서만 의도 일치 여부를 확인할 수 있다(Törnberg, 2024). 둘째, 사전지식의 비통제성. LLM의 판단은 코드북과 사전학습 지식의 혼합물이며, 이 통제가 원리적으로 불가능하다(Ziems et al., 2024). 셋째, 대규모 처리 능력. 내용분석의 가장 큰 실천적 제약인 인적 비용과 시간을 극적으로 완화하여, 텍스트마이닝의 확장성을 내용분석의 프레임워크 안으로 가져온다(Gilardi et al., 2023). 세 전통을 인식론적 차원에서 대비하면 <표 1>과 같다. <표 1> 내용분석·LLM 어노테이션·토픽 모델링의 인식론적 대비
| 차원 | 내용분석 | LLM 어노테이션 | 토픽 모델링 |
|---|---|---|---|
| 인식론적 전제 | 연역적·확인적 | 연역적·확인적 | 귀납적·탐색적 |
| 범주 체계 | 연구자 사전 구성 | 연구자 사전 구성 | 알고리즘 도출 |
| 분류 주체 | 인간 코더 | LLM (블랙박스) | 통계 알고리즘 |
| 해석적 협상 | 가능 | 불가 | 해당 없음 |
| 사전지식 통제 | 코드북으로 통제 | 통제 불가 | 해당 없음 |
| 처리 규모 | 수백\~수천 건 | 수만\~수십만 건 | 수만\~수십만 건 |
| 타당성 근거 | 코더 간 α | 인간 대비 일치도 + AAT | 토픽 일관성 |
표에서 특히 주목할 대비는 LLM 어노테이션과 토픽 모델링의 관계다. 양자는 모두 수만에서 수십만 건을 처리하는 대규모(빅데이터) 방법이라는 점에서 외형이 유사하여 같은 계열로 묶이기 쉽다. 그러나 둘은 범주의 원천에서 정반대에 위치한다. 토픽 모델링이 범주(토픽)를 데이터에서 귀납적으로 도출하고 연구자가 이를 사후에 해석·명명하는 반면, LLM 어노테이션은 연구자가 이론에 기반하여 사전 구성한 범주를 연역적으로 적용한다. 전자에서 연구자의 이론은 결과 해석 단계에 개입하지만, 후자에서 이론은 분석에 선행하여 범주 체계로 조작화된다. 처리 규모라는 외형의 유사성이 이 인식론적 차이를 가리지 않도록 하는 것이, LLM 어노테이션을 텍스트마이닝의 변종이 아니라 내용분석의 연역적 전통의 확장으로 정확히 위치시키는 출발점이다. 이처럼 LLM 어노테이션은 내용분석을 대체하기보다, 내용분석의 프레임워크 안에서 코딩 단계를 보완하는 도구로 위치한다(Törnberg, 2024; Ziems et al., 2024). 인간 코더가 소규모 표본으로 gold standard를 구축하고 LLM 어노테이션의 적용 가능성을 확인한 뒤, 그 범위 내의 과업에 대해 대규모 코딩을 LLM에 위임하는 "인간 검증–LLM 확장" 모형이 현실적 활용 방안이 된다. 이때 적용 가능성은 전통적 내용분석의 기준—코더 간 일치도—으로 평가되어야 하며(Hayes & Krippendorff, 2007), 이것이 인간 코더 기반 gold standard와 LLM 분류 결과의 직접 일치도 비교를 기본 검증 전략으로 삼는 이론적 근거다. 다만 이 모형은 아직 일반적 지향에 머물러 있어, 교육학 연구자가 실제 과업에 적용하기 위해서는 과업의 배치·위임 범위·검증 축 전환을 규율하는 절차로 구체화될 필요가 있다. 그 구체화는 적용이 부딪히는 방법론적 쟁점을 먼저 정리하는 데서 출발한다.
3. 어노테이션 난이도와 검증의 쟁점
LLM 어노테이션을 내용분석의 연역적 확장으로 위치시키고 나면, 그 적용에는 세 가지 방법론적 쟁점이 뒤따른다. 어노테이션 과업의 난이도가 이론적 부하에 따라 갈리고, 프롬프트 구성에 따라 결과가 달라지며, 그 타당성을 무엇으로 검증할 것인가가 단일하지 않다. 이 절은 선행 연구가 드러낸 이 세 쟁점을 정리하여, 적용 모형 설계가 응답해야 할 토대를 확정한다.
가. 이론 주입 강도와 어노테이션 난이도
"텍스트를 범주에 배정한다"는 동일한 형식 아래에는 인식론적으로 이질적인 작업들이 혼재한다. 어떤 과업은 표면 어휘만으로 판별이 끝나는 반면, 어떤 과업은 텍스트에 명시되지 않은 평가적 입장을 추론해야 하고, 또 어떤 과업은 특정 이론적 관점을 텍스트에 투사해야 한다. 이 차이는 범주 판별에 연구자의 이론적 관점이 개입해야 하는 정도, 곧 **이론 주입 강도(intensity of theoretical injection)**로 포착할 수 있다. 강도는 표면 어휘로부터 판별이 자족적으로 종결되는 과업에서 가장 낮고, 이론틀 없이는 범주 자체가 성립하지 않는 과업에서 가장 높다. 선행 연구를 종합하면 이 강도는 세 단계의 계단을 이룬다. **저강도(기술적 분류)**는 관련성·주제처럼 표면 단서로 판별되는 과업으로, Gilardi et al.(2023)의 topic classification이 대표적이다. 이들이 콘텐츠 모더레이션 트윗·기사에 ChatGPT를 제로샷 적용했을 때 관련성·주제 분류의 정확도는 크라우드 워커를 평균 약 25%p 상회했고 코더 간 일치도도 90%대에 이르렀다. **중강도(가치 판단 분류)**는 입장·태도처럼 평가적 추론을 요하는 과업으로, Törnberg(2025)의 stance classification에서 전문가 수준의 수행이 보고되었다. **고강도(이론 관점 투사)**는 프레임·문제 표상처럼 이론 렌즈로만 식별되는 구조를 분류하는 과업으로(Potter & Levine-Donnerstein, 1999), Dunivin(2025)은 신문 단락에 아홉 개 사회역사적 코드를 적용하여 코드별 프롬프트와 단계적 추론으로 평균 κ 0.68(아홉 중 여덟이 0.60 이상)에 도달했으나 가장 모호한 코드는 κ 0.30에 그쳐 같은 고강도 안에서도 편차를 보였다. 이 난이도 위계가 한 연구 안에서 어떻게 드러나는지는 Gilardi et al.(2023)에서 직접 관찰된다. 동일 자료에 다섯 과업을 적용했을 때 관련성·주제·입장과 이분적 일반 프레임까지는 ChatGPT가 크라우드 워커를 웃돌았으나, 열네 개 범주로 세분된 정교한 정책 프레임 분류에 이르자 크라우드 워커를 넘어서지 못했고 훈련된 인간 어노테이터조차 코더 간 일치도가 약 50%에 머물렀다. 강도가 임계를 넘자 LLM의 성능만이 아니라 인간 합의의 토대 자체가 흔들린 것이다. 강도의 분기는 인간과 LLM의 상대적 강점이 갈리는 지점이기도 하다. 연역적 적용과 귀납적 구축에서 양자가 서로 다른 강점을 보이고(Parfenova et al., 2025), 동일 모델·코드북에서도 연역적 적용의 일치도가 귀납적 구축보다 낮아지는 비대칭이 관찰된다(Bijker et al., 2024). 요컨대 어노테이션의 난이도는 단일하지 않으며, 이론 주입 강도가 적용 가능성과 검증 방법을 동시에 좌우한다. 이 강도를 어떻게 진단하고 등급화할 것인가가 적용 모형의 첫 과제로 떠오른다.
나. 프롬프팅에 따른 결과의 변산
LLM 어노테이션에서 프롬프트는 두 역할을 동시에 진다. 연구자가 사전 구성한 이론적 범주가 모델에 전달되는 통로이자(이론 주입), 모델이 그 범주를 어떤 추론 경로와 출력 형식으로 적용할지를 지시하는 장치다(수행 규정). 이 이중의 규정력 때문에 동일한 코드북도 프롬프트를 어떻게 구성하느냐에 따라 결과가 달라진다. 프롬프트 공학 문헌은 서로 다른 전략군과 그 효과를 보고해 왔으며, 그 효과가 과업의 성격에 따라 조건적으로 갈린다는 사실이 적용 설계에 직접적 함의를 갖는다. 어노테이션과 관련된 주요 전략과 보고된 효과를 <표 2>로 정리한다. <표 2> 프롬프트 전략군별 보고된 효과와 적용에의 함의
| 전략군 | 대표 기법 | 보고된 효과(어노테이션·분류 맥락) | 적용에의 함의 | 대표 문헌 |
|---|---|---|---|---|
| 맥락 내 학습(ICL) | 제로샷·퓨샷, 예시 선택·순서 | 파인튜닝 없이 소수 예시로 수행, 예시 수↑ 시 향상되나 예시 선택·순서에 민감하며, 시연의 효과는 라벨 정확성보다 형식·레이블 공간 노출에서 비롯됨 | 퓨샷 예시를 인간 합의 사례에서 선정하되, 예시 구성 자체를 소규모 검증의 점검 대상으로 삼음 | Brown et al.(2020); Liu et al.(2022); Lu et al.(2022); Min et al.(2022); Abraham et al.(2025) |
| 추론 유도 | 사고사슬(CoT)·zero-shot CoT·자기일관성 | 수학·기호 추론에는 이득이 집중되나 분류·도메인 주석에서는 이득이 불분명하거나 부정적이라는 보고 | 명시적 CoT의 효과는 과업 의존적이므로 일률 적용을 피함 | Wei et al.(2022); Kojima et al.(2022); Wang et al.(2023); Sprague et al.(2025); Tseng et al.(2025) |
| 어노테이션 특화 | 코드북→프롬프트 구조화, 반복적 정교화 | 정의·예시·배제 기준의 구조화가 인간–LLM 정합도를 높이나, 출력은 표집 온도·반복에 민감 | 코드북의 프롬프트 전환과 파일럿 정제를 절차에 내장 | Halterman & Keith(2025); Chew et al.(2023); Reiss(2023) |
표가 시사하듯, 시연의 효과가 라벨 정확성보다 형식 노출에서 비롯된다는 보고(Min et al., 2022)는 퓨샷을 '코더 훈련의 대응물'로 보는 통상의 비유가 부분적임을 일러 준다. 퓨샷은 협상된 판단을 전달하는 통로인 동시에 출력 형식을 규정하는 장치이며, 그 효과는 예시 구성의 품질에 의존한다. 이 대응 관계를 적용 설계의 관점에서 보면, 제로샷 프롬프팅은 코드북만 배포하는 초기 단계에, 퓨샷 프롬프팅은 연습 코딩과 불일치 논의를 거치는 코더 훈련 단계에 대응한다. 특히 퓨샷 예시를 파일럿에서 인간 코더 간 합의가 이루어진 사례 중에서 선정하면, 어떤 텍스트가 어떤 범주에 속하는지에 대한 코더 간 해석적 협상의 산물이 프롬프트를 매개로 LLM에 간접 전달된다. 2절에서 LLM 코더의 한계로 지적한 해석적 협상의 부재가 이 경로로 부분적으로 완화되며, LLM은 협상 과정에 참여하지 못하더라도 그 결과물을 예시로 수신함으로써 '훈련 없는 코더'에서 '간접적으로 훈련된 코더'에 가까워진다. 한편 코드북을 프롬프트로 옮기는 일은 단순한 복사가 아니라 별도의 변환을 요구한다. 인간 코더용으로 작성된 코드북을 그대로 제시하면 LLM의 수행이 떨어진다는 점이 거듭 보고되었기 때문이다(Dunivin, 2025; Halterman & Keith, 2025). LLM은 범주의 정의보다 범주의 이름이 환기하는 사전학습된 통념에 기대는 경향이 있어, Halterman & Keith(2025)는 코드북을 레이블(대문자로 고정)·간결한 정의·포함 기준·배제 기준·대표 예시의 반(半)구조화 형식으로 재작성할 것을 제안한다. 특히 혼동하기 쉬운 인접 개념을 명시적으로 가르는 '배제 기준'을 덧붙일 때 분류 성능이 개선되었는데, 이는 경계 사례를 명시하여 코더의 판단을 정렬하는 내용분석 코드북의 원리와 그대로 대응한다. Dunivin(2025) 또한 코드의 제목이나 핵심 어구를 LLM의 어휘 감각에 맞게 바꾸는 것만으로 일치도가 크게 달라짐을 보고하면서, 정의의 핵심 기준을 앞쪽에 배치하고 적용 조건과 배제 조건을 함께 명시하는 재작성 원칙을 제시하였다. 이상의 지형이 일러 주는 결론은 분명하다. 어떤 단일 전략도 모든 과업에서 보편적으로 우월하지 않으며, 전략의 효과는 과업 유형·이론 주입 강도·모델에 따라 조건적으로 결정된다. 따라서 적정 프롬프트 전략은 사전에 처방되기보다 소규모 검증에서 경험적으로 확정되어야 한다는 것이 두 번째 쟁점이다. 특히 이론 주입 강도가 프롬프트 구성을 차등적으로 규정한다는 점은, 강도를 먼저 진단하고 그에 맞추어 프롬프트를 설계해야 함을 요구한다.
다. 내적 일치도·외적 타당도와 gold standard의 쟁점
LLM 어노테이션의 타당성은 무엇으로 검증하는가. 내용분석의 신뢰도 전통은 코더 간 일치도(내적 일치도)를 우연 보정 계수로 보고할 것을 표준으로 삼아 왔고(Lombard et al., 2002; Hayes & Krippendorff, 2007), LLM 어노테이션에서는 여기에 인간 코더 기반 gold standard 대비 일치도(외적 타당도)가 더해진다. 그러나 다수의 내용분석 연구자들은 다의적 해석이 가능한 텍스트의 경우, 단순 신뢰도 지수보다 연구자 간의 토론을 통한 '합의(consensus coding)' 과정이 내용 타당도를 확보하는 데 더 중요하고 엄격한 절차임을 강조한다(Lombard et al., 2002; Neuendorf, 2017). 이는 LLM 어노테이션에도 함의를 갖는다. LLM은 이 합의 과정에 직접 참여하지 못하므로(2절), 검증은 산출된 일치도 수치만이 아니라 그 수치에 이르기까지의 코드북 정련 과정을 함께 포괄할 때 신뢰성을 갖는다. 그러나 검증에 동원되는 지표는 단일하지 않으며, 각각 답하는 물음과 한계가 다르다. 검증 지표는 네 층위로 구분된다. 분류 성능 지표(정확도·범주별 정밀도·재현율·F1·혼동 행렬)는 gold standard 대비 분류 정확성을, 우연 보정 일치도(Krippendorff's α, Cohen·Fleiss κ)는 인간 합의에 대한 근접도를, 대체 가능성 검정(Calderon et al., 2025의 Alternative Annotator Test)은 인간 코더 대체의 통계적 정당성을, 근사도·해석 평가는 폐쇄형 분류가 성립하지 않는 고강도 과업에서 구조화된 산출과 그 추론 근거의 규범 근사를 측정하며, 그 평가 차원은 고강도 어노테이션에서 보고된 실패 양상(이론 비정합·근거 환각·산출 동질화)에 대응하여 구성된다(Ⅲ장 4절 가). 어떤 단일 지표도 모든 물음에 답하지 못하므로, 다범주·불균형 자료에서 F1과 α를 함께 보고하고 대체를 주장할 때 AAT를 더하는 식으로 물음에 맞게 조합해야 한다. 네 층위를 요약하면 <표 3>과 같다. <표 3> 어노테이션 검증 지표의 네 층위
| 지표군 | 대표 지표 | 측정 대상 | 적용·주의 |
|---|---|---|---|
| 분류 성능 | accuracy, 범주별 precision·recall·F1(macro/weighted), 혼동 행렬 | gold standard 대비 분류 정확성 | 불균형 시 accuracy 과신 금지; 우연 미보정 |
| 우연 보정 일치도 | Krippendorff's α(표준), Cohen·Fleiss κ | 인간 합의에 대한 근접도(우연 보정) | 인간–인간 α를 기준선으로; 단순 일치율 지양 |
| 대체 검정 | 대안적 어노테이터 검정(AAT) | 대체 가능성의 통계적 정당화 | 대체를 주장할 때 |
| 근사도·해석 평가 | 4차원 근사도 루브릭, 맹검 출처 판별 | 구조화 산출·추론 근거의 규범 근사 | gold standard 불성립 과업 |
이 지표들의 적용에는 한 가지 전제가 깔려 있다. 인간 합의 기반 gold standard가 '참값의 근사치'로 성립한다는 것이다. 그러나 이 전제는 모든 과업에서 충족되지 않는다. gold standard 기반 평가가 성립하려면 세 조건이 필요하다. 분류 범주가 사전에 명확히 정의되고, 인간 코더 간 합의가 가능하며, 합의된 레이블이 참값의 근사치로 해석될 수 있어야 한다. 저·중강도 과업은 이를 대체로 충족하나, 이론 관점을 요구하는 구조화 주석·감정/정동 추출·암묵적 전제 식별과 같은 고강도 과업에서는 조건이 깨진다. 과업 복잡성이 임계를 넘으면 인간 코더 합의 자체가 어려워져 gold standard 구축이 사실상 불가능한 영역이 보고되었고(양연동 외, 2026), 이는 내용분석 방법론에서 오래 지적된 문제이기도 하다. 이론 틀을 텍스트에 투사하는 projective 코딩에서는 단일 참조 레이블을 요구하는 것 자체가 부적절하며(Potter & Levine-Donnerstein, 1999), 개념적으로 정교한 코딩 틀일수록 코더 간 일치도가 체계적으로 낮아진다(O'Connor & Joffe, 2020). 따라서 '인간 합의에 대한 근사도'라는 단일 검증 축은 gold standard가 성립하지 않는 과업에서 한계에 부딪히며, 검증 방법 자체를 그 성립 유무에 따라 분기시킬 필요가 제기된다. 이론 주입 강도는 그 성립을 어렵게 만드는 요인의 하나이되 유일한 경로는 아니다. 이것이 세 번째 쟁점이다.
← 글 목록으로