LDA와 BERTopic의 토픽 질적 차이 — 양연동

LDA와 BERTopic의 토픽이 "질적으로" 달라지는 지점은 두 모델이 의미를 표상하는 방식 자체가 다르기 때문에 발생합니다. 단순한 알고리즘 차이를 넘어, 산출되는 토픽의 성격·입자성·해석 양식이 구조적으로 갈립니다.

표상 기반: 단어 동시출현 vs 문맥적 의미 LDA(Blei, Ng & Jordan, 2003)는 bag-of-words 가정 위에서 문서를 토픽의 확률적 혼합으로, 토픽을 단어 분포로 보는 생성 모델입니다. 따라서 토픽은 본질적으로 통계적 단어 동시출현 패턴입니다. 어순, 다의어(polysemy), 동의어(synonymy)는 무시되며, 의미적으로 유사하지만 표면 어휘가 다른 문서는 분리되는 경향이 있습니다. BERTopic(Grootendorst, 2022)은 문맥적 임베딩(SBERT; Reimers & Gurevych, 2019) → UMAP 차원축소 → HDBSCAN 밀도기반 군집화 → c-TF-IDF 토픽 표현의 파이프라인을 따릅니다. 토픽은 의미 공간에서의 문서 밀집 영역으로 정의되므로, 어휘가 달라도 의미가 가까운 문서가 한 토픽으로 묶입니다. 결과적으로 BERTopic 토픽은 더 의미론적으로 응집된(semantically coherent) 군집이 되는 경향이 있습니다.

할당 구조: 소프트 혼합 vs 하드 군집 LDA는 한 문서를 여러 토픽에 확률적으로 분배합니다(soft assignment, 문서-토픽 분포 θ). 이는 한 텍스트가 여러 주제를 동시에 담는다는 가정과 정합적이며, 담론분석에서 "한 발화가 복수의 의미 질서에 걸쳐 있다"는 관점과 친화적입니다. 반면 BERTopic은 기본적으로 한 문서를 하나의 클러스터에 귀속시키며(hard assignment), 군집화되지 않는 문서는 -1 이상치(outlier) 토픽으로 처리합니다. 혼합적 해석이 필요하면 approximate_distribution으로 근사할 수 있으나 LDA의 모수적 혼합과는 성격이 다릅니다.

입자성(granularity)과 토픽 수 결정 LDA는 토픽 수 K를 사전에 지정해야 하며(perplexity·coherence로 탐색), 토픽이 더 거시적·포괄적으로 나오는 경향이 있습니다. BERTopic은 HDBSCAN이 데이터 주도적으로 군집 수를 결정하여(min_topic_size 등에 민감) 더 세분되고 구체적인(specific) 토픽을 다수 산출하는 경향이 있습니다. 이는 질적으로 "BERTopic은 미시적 하위 주제를 잘 포착하지만 토픽 파편화 위험이 있고, LDA는 안정적이나 거친 주제 덩어리를 준다"는 차이로 이어집니다.

텍스트 길이 민감성과 일관성 Egger & Yu(2022)는 트위터 데이터에서 LDA·NMF·Top2Vec·BERTopic을 비교하며, 짧은 텍스트(소셜미디어 댓글 등)에서 LDA가 데이터 희소성(sparsity)으로 취약한 반면 BERTopic이 더 해석 가능한 토픽을 산출함을 보고했습니다. 선생님의 인디스쿨 데이터처럼 게시글 길이 편차가 큰 코퍼스에서는 이 차이가 실질적입니다 — 짧은 댓글류에서 LDA 토픽은 노이즈가 끼기 쉽습니다. 다만 충분히 긴 문서와 풍부한 단어 통계가 확보되면 LDA의 coherence도 경쟁력이 있어, "항상 BERTopic 우위"는 아닙니다(Röder et al., 2015의 coherence 측정 맥락 참조).

해석 보조와 재현성 질적 연구자 관점에서 BERTopic은 대표 문서(representative documents), c-TF-IDF 키워드, 위계적 토픽 구조, 동적 토픽 모델링 등 해석을 보조하는 산출물이 풍부하여, 계량 결과를 질적 해석으로 연결하는 작업이 수월합니다. 반대로 재현성은 주의가 필요합니다. BERTopic은 UMAP의 확률성 때문에 random_state를 고정하지 않으면 실행마다 토픽이 달라집니다. 재현성 패키징을 중시하시는 워크플로우라면, UMAP 시드 고정과 임베딩·라이브러리 버전 명시를 방법 기술에 포함하시는 것이 안전합니다. LDA 역시 추론 방식(Gibbs/변분)과 초기값에 의존하나 상대적으로 안정적입니다. 요약하면, LDA 토픽은 확률적 단어군에 가깝고 BERTopic 토픽은 의미적 문서 군집에 가깝습니다. 전자는 거시적·혼합적·재현 안정적이고, 후자는 미시적·의미응집적·해석친화적이되 파편화와 비재현 위험을 안습니다. 두 모델 중 선택은 코퍼스 길이 분포, 원하는 입자성, "한 문서의 다중 주제성"을 이론적으로 어떻게 다룰 것인가에 달려 있습니다.

LDA: 단어 중심이라는 표현의 정확한 의미 LDA를 "단어 군집"이라 부를 때 주의할 점은, LDA가 단어들을 직접 군집화하는 모델이 아니라는 것입니다. LDA는 생성 모델로서 두 분포를 동시에 추정합니다 — 토픽별 단어 분포(φ)와 문서별 토픽 분포(θ). 즉 단어와 문서를 동시에 모델링합니다. 그럼에도 "단어 중심"이라는 직관이 타당한 이유는, 토픽의 정체성을 규정하는 단위가 단어이기 때문입니다. 한 토픽은 어휘 전체에 걸친 확률 분포로 정의되고, 그 분포가 곧 토픽의 의미입니다. 문서는 이 단어 기반 토픽들을 끌어다 쓰는 "소비자"에 가깝습니다. 그래서 "단어 동시출현에서 출현하는 잠재 구조"라는 표현이 더 정확합니다.

BERTopic: 문서 중심이라는 표현의 정확한 의미 BERTopic을 "문서 기반"이라 부르는 것은 핵심을 정확히 짚은 것입니다. 군집화의 대상이 문서 임베딩이기 때문입니다. 의미 공간에 흩어진 문서 벡터들의 밀도 높은 영역을 HDBSCAN이 토픽으로 잡아냅니다. 여기서 토픽의 1차적 정체성은 "이 문서들의 집합"이고, 단어(c-TF-IDF 키워드)는 그 군집을 사후적으로 설명·라벨링하는 2차 산출물입니다. 이 순서가 LDA와 정반대라는 점이 두 모델의 결정적 대비입니다.

다만 한 가지 단서 "문서 기반"이라는 표현이 BERTopic의 의미 해상도가 문서 임베딩에서 온다는 점까지 포괄한다면 완전합니다. 즉 BERTopic의 군집은 단순히 "문서를 묶었다"가 아니라 "문맥적 의미 임베딩 공간에서 문서를 묶었다"는 것이 본질입니다. 만약 임베딩이 단어 가방 수준이었다면 LDA와 큰 차이가 없었을 텐데, 차이를 만드는 것은 SBERT가 포착하는 문장 수준 의미입니다. 그래서 가장 압축된 정식화는 다음과 같습니다:

• LDA 토픽 = 단어 동시출현에서 추론된 잠재 단어 분포
• BERTopic 토픽 = 의미 임베딩 공간에서의 문서 밀집 군집(+ 사후 단어 라벨)