Hub documentation
Hugging FaceでのBERTopicの使用方法
Hugging FaceでのBERTopicの使用方法
BERTopic は、🤗 transformers と c-TF-IDF を活用したトピックモデリングフレームワークです。トピック記述において重要な単語を保持しつつ、解釈しやすいトピックを生成する密なクラスタリングを実現します。
BERTopicは、あらゆるトピックモデリング手法をサポートしています：
| ガイド付き | 教師あり | 半教師あり |
| マニュアル | マルチトピック分布 | 階層的 |
| クラスベース | 動的 | オンライン/増分 |
| マルチモーダル | マルチアスペクト | テキスト生成/LLM |
| ゼロショット（新機能！） | モデルのマージ (新機能!) | シードワード (新機能!) |
HubでのBERTopicの探索
モデルページの左側でフィルタリングすることで、BERTopicモデルを見つけることができます。
Hub にホストされている BERTopic モデルには、モデルに関する有用な情報が記載されたモデルカードがあります。BERTopic の Hugging Face Hub 統合により、数行のコードで BERTopic モデルを読み込むことができます。また、これらのモデルは Inference Endpoints を使用してデプロイすることもできます。
インストール
開始するには、BERTopicのインストールガイドに従うことができます。 また、pipを介した以下の1行のインストールも利用できます:
pip install bertopic
既存のモデルの使用
すべてのBERTopicモデルは、Hubから簡単に読み込むことができます:
from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")読み込みが完了すると、BERTopicの機能を使用して新しいインスタンスのトピックを予測できます。
topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]これにより、以下のトピックが得られます:
64_rating_rated_cinematography_film
モデルの共有
BERTopicモデルを作成した後、Hugging Face Hubを通じて他の人と簡単に共有できます。そのために、モデルをHugging Face Hubに直接プッシュできるpush_to_hf_hub関数を利用できます。
from bertopic import BERTopic
# Train model
topic_model = BERTopic().fit(my_docs)
# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
repo_id="MaartenGr/BERTopic_ArXiv",
save_ctfidf=True
)保存されたモデルには、次元削減およびクラスタリングアルゴリズムは含まれていません。これらはモデルの学習と関連トピックの特定にのみ必要であるため、削除されています。推論は、トピックと文書の埋め込み間の単純なコサイン類似度によって行われます。これにより、モデルが高速になるだけでなく、扱いやすい非常に小さなBERTopicモデルを持つことが可能になります。