BERTopic是一種主題建模技術，它結合了BERT（Bidirectional Encoder Representations from Transformers）模型和c-TF-IDF算法來創建密集的文檔集群，同時保留重要的關鍵字。該模型包含以下三個階段：
Embed documents：使用BERT或其他嵌入技術提取文檔的詞向量。
Cluster documents：使用UMAP對詞向量進行降維，同時保留位置信息。
Create topic representation：使用HDBSCAN算法對降維後的文檔進行聚類，得到文檔的主題表示。
此外，BERTopic還使用c-TF-IDF提取主題詞，並採用最大邊際相關性算法提高單詞的連貫性和多樣性。這種方法允許輕鬆解釋主題，同時在主題描述中保留重要的關鍵字。
BERTopic模型的優勢在於能夠結合海量無標記語料的上下文信息進行訓練，因此在識別上下文語義、處理複雜主題等方面具有顯著優勢。在微調階段，通過在BERT預訓練模型上添加一個額外的輸出層，可以實現情感分析、主題分類等多種自然語言處理任務。