46.6kデモを予約するログイン無料で始める
  • 学習

  • 自然言語処理（NLP）の基礎

データサイエンティストが知っておくべきNLPテクニックトップ10

この記事では、NLPで広く使われている上位10個のテクニックを、わかりやすい説明、応用例、コード・スニペットとともに紹介する。

By Fariba LaiqFreelance Technical Writer
Published 5 分で読めます

人間の言葉を理解し分析する能力は重要だ。バーチャルアシスタントであれ、電子メールのフィルタリングであれ、ソーシャルメディアの分析であれ、自然言語を処理し理解する機械に対するニーズは拡大している。この需要の高まりは、コンピュータが人間の言語を解釈、生成、操作できるようにする数多くの技術の開発に火をつけた。自然言語処理(NLP)は、この努力の最前線に立ち、人間のコミュニケーションと機械理解のギャップを埋めている。

この記事では、NLPで使用されるトップ10のテクニックを調べ、明確な説明、実用的なアプリケーション、そしてあなたが始めるのに役立ついくつかのコードスニペットも提供します。さらに、ベクトルデータベースが様々なNLPのユースケースでどのような役割を果たし、これらのテクニックのパワーと効率を高めているのかを探ります。

自然言語処理（NLP）とは？

自然言語処理（NLP）は、人工知能（AI）と計算言語学を組み合わせた分野です。アルゴリズムとモデルを用いて自然言語を分析、理解、生成し、さまざまな用途に利用する。機械が大量の自然言語データを処理し、意味のある情報を抽出することを可能にし、多くのAIシステムにおいて重要な要素となっている。

自然言語処理は、広範な産業にわたってトップアプリケーションを見出しています。NLPの実世界での応用例トップ10](https://zilliz.com/learn/top-5-nlp-applications)を詳しくご覧ください。実世界のシナリオにおけるNLPの例をいくつか挙げよう：

  • チャットボット：** NLPは、顧客からの問い合わせをリアルタイムで理解し応答できるインテリジェントなチャットボットを構築し、顧客サービス体験を向上させるために広く使用されています。

  • センチメント分析：***企業は、ソーシャルメディアの投稿、レビュー、およびアンケートを分析することによって、世論を測定し、顧客のフィードバックを理解するためにセンチメント分析を使用しています。

  • 翻訳:** NLP は言語翻訳サービスを強化し、ユーザーがテキストをある言語から別の言語に正確かつ迅速に翻訳できるようにします。

  • 音声アシスタント:** Siri、Alexa、Google Assistantのような仮想アシスタントは、話し言葉を処理し、コマンドを理解し、適切な応答やアクションを提供するためにNLPに依存しています。これらのアシスタントは、スマートホームや個人用デバイスで使用されています。

  • ソーシャルメディア・プラットフォームやオンライン・コミュニティは、NLPを利用して不適切または有害なコンテンツを自動的に検出・フィルタリングし、より安全なオンライン環境を確保しています。これには、不快な言葉のフラグ立て、フェイクニュースの検出、ネットいじめの防止などが含まれます。

  • テキストの要約:** NLP は、長い文書を自動的に要約することができ、ユーザーはテキスト全体に目を通すことなく、重要なポイントを簡単に抽出することができます。これは、大量のテキストを効率的にレビューする必要がある法律や学術分野で有用です。

トップ10 NLPテクニックの概要

自然言語処理は、機械が人間の言葉を理解し、解釈し、生成することを可能にする、幅広い技術とテクニックをカバーしています。各技術にはそれぞれ独自の用途と強みがあり、NLPはテキスト分析から機械翻訳まで、あらゆる場面で不可欠かつ強力なツールとなっている。

各技術について詳しく説明する前に、データサイエンティストが知っておくべきNLP技術のトップ10を簡単に見てみましょう。これらのテクニックは、多くの高度なNLPアプリケーションのバックボーンであり、チャットボットから翻訳サービスまで、あらゆるものを強力にサポートします。

1.トークン化

2.レンマタイゼーションとステミング

3.名前付き固有表現認識 (NER)

4.品詞タグ付け

5.構文解析

6.単語の埋め込み

7.機械翻訳

8.テキスト要約

9.感情分析

10.トピックモデリング

では、それぞれのテクニックをさらに詳しく調べてみよう。

トークン化

トークン化は、テキストをトークンと呼ばれる小さなセグメントに分割します。このトークンは、タスクに応じて、単語、センテンス、あるいはサブワードになることもある。テキストをトークンに分割することで、NLPモデルは言語の構造と意味をよりよく理解できるようになり、テキスト分析、翻訳、センチメント分析などのタスクの実行が容易になります。

トークン化には2つのタイプがあります：

  • 単語トークン化：** 単語トークン化とは、テキストを別々の単語に分割するプロセスです。これはトークン化の最も一般的な形式の1つで、テキスト分類、センチメント分析、単語埋め込みなどのタスクで使用されます。

  • センテンス・トークン化：** テキスト・ファイルをセンテンスに分割します。これは要約、翻訳、構文解析など、文の構造を理解することが重要なタスクに役立ちます：

NLTKによる単語のトークン化

```
インポート nltk
from nltk.tokenize import word_tokenize


# 必要なリソースをダウンロードする
nltk.download('punkt')


# サンプルテキスト
text = "トークン化は自然言語処理に不可欠です。"


# 単語のトークン化
トークン = word_tokenize(text)
print(tokens)
```

出力：[トークン化'、'is'、'essential'、'for'、'NLP'、'。］

トークン化の応用

トークン化のよく知られた使用例をいくつか挙げます：

  • テキスト分類:** トークン化は、分類タスクのためにテキストデータを準備する最初のステップです。テキストをトークンに変換することで、モデルはコンテンツを分析し、スパム検出や感情分析などのカテゴリに分類することができます。

  • 機械翻訳：*** 翻訳タスクでは、ある言語から別の言語へ正確に翻訳するために、テキストを単語やサブワードにトークン化します。文のトークン化は、翻訳の文脈を維持するのに役立ちます。

  • 検索エンジン:** トークン化は、検索エンジンで関連文書のインデックス付けと検索に使用されます。検索クエリをトークンに分解することで、検索エンジンは類似したトークンを含む文書とクエリをマッチさせることができます。

  • テキスト要約：**センテンス・トークナイゼーションは、大きなテキストを小さなセンテンスに分解し、最も重要なセンテンスやフレーズを選択して要約するために使用されます。

  • 音声認識:**Speech-to-Text アプリケーションでは、トークン化は話し言葉を扱いやすいテキスト単位に分解して、さらに処理するのに役立ちます。

ストップワードの除去

ストップワードとは、"and"、"the"、"is"、"in "など、言語内でよく使われる単語のことです。これらの単語は、意味のある情報をほとんど含んでいないことが多く、自然言語処理タスクの前処理でテキストから頻繁に取り除かれます。これらの単語は非常に一般的であるため、文や文書の意味に寄与する、より重要な単語の影に隠れてしまうことがある。ストップワードを除去することで、NLPモデルはテキストの核心的な意味を担う、より重要な用語に焦点を当てることができ、テキスト分析の効率と精度が向上する。

ストップワード除去には主に2つの手法がある：

  • 多くのNLPライブラリは、テキストから一般的で本質的でない単語をフィルタリングできるストップワードリストを提供しています。これらのリストは言語固有であり、通常、分析に寄与しそうにない、最も頻 繁に出現する単語が含まれています。

  • ストップワードリストのカスタマイズ：** 特定のアプリケーションによっては、単語を追加したり削除したりして、ストップワードリストを カスタマイズする必要があるかもしれません。例えば、法律文書を分析する場合、一般的な言語でよく使われる特定の単語は、その文脈では重要であり、削除すべきではないかもしれません。カスタムストップワードリストは、ドメインやタスクに基づいたより正確なフィルタリングを可能にします。

NLTKによるストップワード除去


    インポート nltk
    from nltk.corpus import stopwords
    from nltk.tokenize import word_tokenize


    # stopwordsコーパスをダウンロード
    nltk.download('stopwords')
    nltk.download('punkt')


    # サンプルテキスト
    text = "これはストップワード除去を示す簡単な例です。"


    # テキストをトークン化する
    トークン = word_tokenize(text)


    # ストップワードのリストを読み込む
    stop_words = set(stopwords.words('english'))


    # トークンからストップワードを取り除く
    filtered_tokens = [word for word in tokens if word.lower() not in stop_words].


    print(filtered_tokens)

出力される：出力： ['This', 'simple', 'example', 'demonstrate', 'stop', 'word', 'removal', '.'].

ストップワード除去アプリケーション

  • 重要でない単語を削除することで、モデルはテキストの全体的な意味に最も貢献する用語に 焦点を当てることができます。

  • モデル性能の向上：** 単語の除去は、モデルが処理する必要のある特徴の数を減らし、学習時間の短縮と未見データでのより良い汎化につながります。

  • 検索エンジン:**ストップワード除去は、検索クエリの関連性を変える可能性が低い一般的な単語を無視することで、検索結果を改善するために検索エンジンで一般的に使用されています。

  • 要約:**テキストを要約する際、ストップワードを除去することで、アルゴリズムがキーポイントに集中し、不必要なフィラー語を排除して文書の本質を確実に要約することができます。

ステミングとレンマタイゼーション

ステミングとは、接尾辞や接頭辞を除去することで、単語を基本形または語根形に還元するプロセスである。単語を基本形に単純化することで、NLPモデルが異なる語形を同じ実体として扱えるようにする。このアプローチは、テキストデータの次元を減らし、単語の異なる屈折が一様に扱われるようにします。

ステミングの例:。

  • "playing"、"played"、"plays" はすべて "play" になる。

  • "Cats "は "cat "になる。

一方、レンマタイゼーションは、ステミングと同様、単語を基本形に戻すプロセスですが、レンマと呼ばれる 辞書または正規形に戻すことに重点を置きます。レンマタイゼーションでは、単語の文脈や品詞が考慮され、単語が正しい形式に変換されます。単語の一部を切り取ることが多いステミングとは異なり、レンマタイゼーションは、より意味のある正確な基本形 を生成することを目的としています。

レムマタイゼーションの例:)

  • "Running "は "run "に短縮されます。

  • "better "は "good "になる（文脈に基づく）。

NLTK によるステミング


    from nltk.stem import PorterStemmer
    from nltk.tokenize import word_tokenize


    # ステム機能の初期化
    ステマー = PorterStemmer()


    # サンプルテキスト
    text = "プレイ プレイ プレイ"


    # テキストをトークン化する
    トークン = word_tokenize(text)


    # ステミングを適用する
    stemmed_words = [stemmer.stem(token) for token in tokens] # ステミングを適用する


    print(stemmed_words)

出力されます：['play'、'play'、'play'] を出力します。

NLTKによるレンマタイゼーション


    from nltk.stem import WordNetLemmatizer
    from nltk.tokenize import word_tokenize
    インポート nltk

    # 必要なリソースをダウンロード
    nltk.download('wordnet')
    nltk.download('omw-1.4')


    # レンマタイザーを初期化する
    lemmatizer = WordNetLemmatizer()


    # サンプルテキスト
    text = "ランニングの方がよく走る"


    # テキストをトークン化する
    トークン = word_tokenize(text)


    # レンマタイゼーションを適用
    lemmatized_words = [lemmatizer.lemmatize(token, pos='v') for token in tokens].


    print(lemmatized_words)

出力される：['Run', 'run', 'good''］

ステミングとレンマタイゼーションの応用

ステミングとレンマタイゼーションの興味深いアプリケーションには、次のようなものがあります：

  • テキストの正規化の強化:** 単語のステミングやレンマタイゼーションによってテキストを正規化すると、テキスト 分類やセンチメント分析などのタスクで、モデルのパフォーマンスが大幅に向上します。これは、異なる語形が同じエンティティとして扱われることで、モデルが単語間のパターンや関係をよ り適切に識別できるためです。

  • 検索エンジンの向上:** 検索エンジンでは、ステミングとレムマタイゼーションによって、同じ単語の異なる形 を持つクエリとドキュメントがより効果的に一致するようになり、検索結果が向上します。

  • 次元の削減:** 語を基本形に変換することで、ステミングとレムマティゼーションはテキストデータの次元を削減し、処理を高速化および効率化します。

品詞タグ付け

品詞タグ設定では、文中の各単語を適切な品詞に割り当てます。これは文の文法構造を理解するために不可欠であり、多くのNLPタスクにおいて重要な役割を果たす。

品詞タグ付けは、異なる文脈で複数の意味や機能を持つ単語の曖昧性を解消するのに役立つため、非常に重要である。例えば、「run」という単語は名詞（「朝走る」）にも動詞（「毎日走る」）にもなり得る。品詞を正しく識別することで、NLPモデルは文章をより正確に解釈し、固有表現認識、感情分析、機械翻訳などのより高度なタスクを実行することができます。

品詞認識には主に2つの手法がある：

  • ルールベースの手法：** ルールベースの品詞タグ付けは、手作業で作成された一連のルールに基づき、単語に品詞タグを割り当てる。これらのルールは、多くの場合、単語の接尾辞、接頭辞、周囲の単語を考慮して品詞を決定します。ルールベースの方法は効果的ですが、曖昧性に悩まされることが多く、大規模なルール作成が必要です。

  • 統計的手法：*** 統計的品詞タグ付けでは、機械学習アルゴリズムを使用して、文脈から推測される単語の品詞の確率に基づいて品詞タグを割り当てます。このアプローチでは通常、大規模なラベル付きデータセットでモデルを学習し、単語と品詞の間のパターンと関係を学習する。隠れマルコフモデル（HMM）や条件付き確率場（CRF）などの統計的手法は、ルールベースの手法よりも正確で適応性が高い傾向があります。

NLTK による品詞タグ付け


    インポート nltk
    from nltk.tokenize import word_tokenize
    from nltk import pos_tag

    # サンプルテキスト
    text = "素早い茶色の狐は怠け者の犬を飛び越える。"


    # テキストをトークン化する
    トークン = word_tokenize(text)


    # 品詞タグ付けを行う
    pos_tags = pos_tag(tokens)


    print(pos_tags)

出力される：[('The', 'DT'), ('quick', 'JJ'), ('brown', 'JJ'), ('fox', 'NN'), ('jumps', 'VBZ'), ('over', 'IN'), ('the', 'DT'), ('lazy', 'JJ'), ('dog', 'NN')].
タグ**意味例DT
DT｜ 決定子｜"the", "a", "an"
JJ｜ 形容詞｜ "quick", "lazy", "brown"
NN｜ 名詞（単数または複数）｜"dog", "fox"
VBZ｜動詞（三人称単数現在）｜"jumps", "runs"
IN｜ 前置詞または従属接続詞｜"over", "in", "before"

品詞タグの応用例

  • 文構造の分析：**品詞を特定することで、NLPモデルは単語やフレーズ間の関係をよりよく理解することができる。

  • 品詞タグは、名前、日付、場所などのエンティティの識別と分類に役立ちます。例えば、固有名詞認識（NER）では、POSタグは単語が固有名詞である可能性が高いか、エンティティである可能性が高いかを判断するのに役立ちます。

  • テキスト要約:** POSタグは、テキスト内のキーフレーズや重要な情報を識別するため、文書のエッセンスを把握することを目的とするテキスト要約タスクに役立ちます。

  • センチメント分析：**単語の文脈を理解するのに役立ちます。例えば、"happy "や "sad "のような形容詞は、しばしばセンチメントの重要な指標となり、それらに正しくタグ付けすることで、分析の精度が向上します。

  • 機械翻訳：** 単語が正しい文法的文脈で翻訳されるようにします。たとえば、単語が名詞か動詞かを正しく識別することは、翻訳の品質に大きな影響を与えます。

##名前付き固有表現認識（NER）

名前付き固有表現認識（NER）は、テキスト内の名前付きエンティティを識別し、人名、組織名、場所、日付など、事前に定義されたカテゴリに分類します。NERの目的は、非構造化テキストデータから価値ある情報を抽出し、機械が特定のエンティティを理解し、扱えるようにすることである。NERは、情報検索、コンテンツ分類、質問応答システムにおいて極めて重要である。

NERが重要なのは、NLPシステムが大量のテキストの中から重要な情報を自動的に検出して分類できるようにするためである。例えば、ニュース記事において、NERは記事に関わる重要な人物、場所、日付を特定し、内容をより明確に理解することができる。

NERには主に3つの手法がある：

  • ルールに基づくアプローチ：** このアプローチは、確立されたパターンと言語ルールを使用して、名前付きエン ティティを認識する。これらのルールには、正規表現、ガゼッ テター（既知のエンティティのリスト）、およびテキスト内の特定のエンティティを検出するための品詞タグが含 まれます。ルールベースの手法は、特定のドメインには効果的であるが、多くの場合、厳格であり、手作業による大規模なルール作成が必要であるため、新しいコンテキストへの適応性が低い。

  • 機械学習アプローチ：** 機械学習ベースのNERシステムは、ラベル付けされた学習データを使用して、単語とエンティティの間のパターンと関係を学習する。これらのシステムは通常、条件付き確率場（CRF）や隠れマルコフモデル（HMM）のようなアルゴリズムを採用し、文中の文脈に基づいてエンティティを分類する。機械学習アプローチは、ルールベースの手法よりも柔軟性が高く、異なるドメイン間でよりよく一般化できる。

  • ディープラーニングアプローチ：** ディープラーニングベースのNERシステムは、ニューラルネットワーク、特にリカレントニューラルネットワーク（RNNs）とTransformersを活用して、テキストデータからエンティティの複雑なパターンと表現を自動的に学習する。BERT (Bidirectional Encoder Representations from Transformers)のようなこれらのモデルは、長距離の依存関係や文脈情報を捉えることができるため、NERタスクにおいて最先端の性能を達成している。

NLTKを用いたNER


    インポート nltk
    from nltk import ne_chunk
    from nltk.tokenize import word_tokenize
    from nltk.tag import pos_tag


    # 必要なリソースをダウンロードする
    nltk.download('maxent_ne_chunker')
    nltk.download('words')
    nltk.download('punkt')
    nltk.download('averaged_perceptron_tagger')


    # サンプルテキスト
    text = "アップルはイギリスの新興企業を10億ドルで買収することを検討している。"


    # テキストをトークン化する
    トークン = word_tokenize(text)


    # 品詞タグ付け
    pos_tags = pos_tag(tokens)


    # NERを実行する
    named_entities = ne_chunk(pos_tags)


    print(named_entities)
  • 出力Tree('S', [('Apple', 'NNP'), ('is', 'VBZ'), ('looking', 'VBG'), ('at', 'IN'), ('buying', 'VBG'), ('U.K.', 'NNP'), ('startup', 'NN'), ('for', 'IN'), ('′,′', ''), ('1', 'CD'), ('billion', 'CD'), ('.', '.')])
タグ意味例NNP
NNP｜ 固有名詞, 単数形｜ "Apple," "U.K."
VBZ｜ 動詞 三人称単数現在｜"is"
VBG｜動詞の現在分詞｜"looking", "buying"
IN｜ 前置詞または従属接続詞｜"at", "for"
NN｜名詞（単数形）｜"startup"
通貨記号"$"
CD｜基数｜"1", "billion"
.句読点（ピリオド）".

この例では、NERシステムは「Apple」と「UK」を名前付きエンティティとして認識し、それに応じてタグ付けする。

NER の応用

  • 情報抽出：*** NER は、ニュース記事や研究論文に含まれる人物、組織、場所を特定するなど、非構造化テ キストから重要な情報を抽出する際に広く利用されている。これによってデータが構造化され、分析に利用しやすくなる。

  • コンテンツ・カテゴライゼーション：*** コンテンツ管理システムにおいて、NERは、特定の企業やイベントに関する記事にタグを付けるなど、含まれるエンティティに基づいて文書を自動的に分類することができる。

  • 質問応答システム：*** NER は、クエリ内の関連するエンティティを識別し、正しい答えとマッチさせることで、質問応答シス テムを強化する。例えば、「テスラ」に関する質問が、科学者ではなく会社に関するものであることをシステムが識別し、適切な情報を取得することができる。

  • 検索最適化：** 検索エンジンとデータベースは、クエリ内の名前付きエンティティを認識し、優先順位を付けることで、検索結果を改善するためにNERを使用し、より適切で的を絞った情報検索につなげている。

単語の袋 (BoW)

BoWモデルはテキストを単語の袋（または集合）に変換する。テキストは固定サイズのベクトルとして表現され、各要素は語彙内の単語に対応する。各要素の値は、テキスト中のその単語の頻度を示す。例えば、"cat"、"dog"、"bird "という単語を含むテキスト・コーパスでは、"The cat and the dog are friends "という文は、"cat"、"dog"、"bird "の頻度カウントを持つベクトルとして表現される。BoWは単純な手法であるが、テキスト分類や情報検索のようなタスクの強力な基礎となる。

BoWモデルを作成するには、以下の手順に従う：

1.**テキストを個々の単語（トークン）に分割する。

2.**テキスト・コーパスから固有の単語（語彙）のリストを作成する。

3.テキストをベクトル化する： 各テキストを語彙に基づく単語頻度のベクトルに変換する。

NLTKによるBoWモデル


    インポート nltk
    from nltk.tokenize import word_tokenize
    from collections import Counter


    # サンプルテキストコーパス
    テキストコーパス = [
       「猫がマットの上に座った
       「犬が丸太の上に座った"、
       「鳥がマットの上を飛んだ。
    ]


    # テキストをトークン化し、語彙を構築する
    tokens = [word_tokenize(text.lower()) for text in text_corpus].
    語彙 = sorted(set(word for sentence in tokens for word in sentence))


    # BoWモデルを作成する
    BOW_MODEL = [] (ボウモデル)
    for sentence in tokens：
       word_count = Counter(文)
       bow_vector = [word_count[word] for word in vocabulary] ボキャブラリ内の単語に対するカウント
       bow_model.append(bow_vector)


    print("Vocabulary:", vocabulary)
    print("単語袋モデル:", bow_model)

Output:`Vocabulary: ['bird', 'cat', 'dog', 'flew', 'log', 'mat', 'on', 'over', 'sat', 'the'].

バッグ・オブ・ワード・モデル[[0, 1, 0, 0, 0, 1, 1, 0, 1, 2], [0, 0, 1, 0, 1, 0, 1, 0, 1, 2], [1, 0, 0, 1, 0, 1, 1, 1, 0, 2]]

BoWの応用

  • テキスト分類：** BoWモデルは、スパム検出やセンチメント分析に広く使用されている。テキストを固定長のベクトルとして表現することで、機械学習アルゴリズ ムは簡単にデータを処理し、新しいテキストを分類するパターンを学習できる。

  • 情報検索：** BoWモデルは、情報検索システムにおいて、クエリと関連文書をマッチングする。クエリと文書のBoWベクトルを比較することで、システムは最も類似した文書を特定し、それに応じてランク付けすることができる。

  • 文書の類似性：** BoWは、単語頻度ベクトルを比較することで、文書の類似性を測定することができる。これは、類似文書のクラスタリングや重複コンテンツの発見といったタスクに役立つ。

  • キーワード抽出：** BoWモデルは、最も頻度の高い単語を特定することで、文書から重要なキーワードを抽出するのに役立つ。これはコンテンツの要約や検索エンジン最適化（SEO）でよく使われる。

  • 言語モデリング：** BoWは語順や文脈を無視しますが、言語モデリング・タスクのシンプルなベースラインとして機能し、その上にさらに洗練されたモデルを構築することができます。

TF-IDF (項頻度-逆文書頻度)

単語の出現頻度をカウントするBoW（Bag of Words）モデルとは異なり、TF-IDFは1つの文書における頻度とコーパス全体における希少性に基づいて単語に重みを割り当てる。ある文書に頻繁に登場するが、コーパス全体ではまれな単語は、より高いTF-IDFスコアを受け、テキスト検索や関連性ランキングのようなタスクでより重要な意味を持つ。

計算

1.期間頻度(TF):。

ある単語が文書に現れる回数を、その文書に含まれる単語の総数で割って TF を計算する。

TF(t, d) =用語tが文書に出現する回数 d文書中の用語の総数 d

2.逆文書出現頻度（IDF）：*。

文書総数の対数を、その単語を含む文書数で割ってIDFを算出する。

IDF(t,D) = log 総文書数 DN 用語tを含む文書数

3.TF-IDF:。

TFにIDFを掛けて、各単語のTF-IDFスコアを得る。

TF-IDF(t,d,D)=TF(t,d)×IDF(t,D)。

PythonのSci-kit learnを使ってTF-IDFを計算する。


    from sklearn.feature_extraction.text import TfidfVectorizer


    # サンプルテキストコーパス
    コーパス = [
       "猫がマットの上に座った"、
       "犬は丸太の上に座った"、
       「鳥がマットの上を飛んだ"
    ]


    # TfidfVectorizer を初期化する。
    vectorizer = TfidfVectorizer()


    # コーパスをフィットしてTF-IDF行列に変換する。
    tfidf_matrix = vectorizer.fit_transform(corpus)


    # TF-IDF行列を密な配列に変換する
    tfidf_array = tfidf_matrix.toarray()


    # 特徴名（単語）を取得
    feature_names = vectorizer.get_feature_names_out()


    # TF-IDF値を出力する
    print("Feature Names:", feature_names)
    print("TF-IDF 行列:n", tfidf_array)

出力特徴名： ['bird' 'cat' 'dog' 'flew' 'log' 'mat' 'on' 'over' 'sat' 'the'].

TF-IDF行列：

[[0. 0.49203758 0. 0. 0. 0.37420726

0.37420726 0. 0.37420726 0.58121064]

[0. 0. 0.46869865 0. 0.46869865 0.

0.3564574 0. 0.3564574 0.55364194]

[0.44839402 0. 0. 0.44839402 0. 0.34101521

  1. 0.44839402 0. 0.52965746]]

TF-IDF の応用

  • テキスト検索の強化：** TF-IDFは、検索クエリとの関連性に基づいて文書をランク付けするために、検索エンジンで広く使用されています。TF-IDFスコアが高い重要な用語を含む文書を優先的に検索することで、検索エンジンはより正確で関連性の高い結果を返すことができる。

  • 文書分類：*** テキスト分類タスクにおいて、TF-IDFは最も重要な用語を特定することで、異なるカテゴリーの文書を区別するのに役立つ。これにより、テキストデータで学習した機械学習モデルの精度が向上する。

  • キーワード抽出:** TF-IDFは、TF-IDFスコアが最も高い単語を特定することで、文書からキーワードを抽出します。これは要約、SEO、コンテンツ分析に役立ちます。

  • 情報検索:** TF-IDFは、クエリとの関連性に基づいて文書をランク付けできるようにすることで、情報検索システムにおいて重要な役割を果たす。これは、最も関連性の高い文書を検索することが重要な、法律や学術研究において特に有用である。

  • 推薦システムでは、TF-IDFはユーザーの嗜好や検索履歴との関連性に基づいて、アイテム（商品や記事など）をランク付けする。これにより、より関連性の高いコンテンツを提供することで、ユーザーエンゲージメントを向上させることができる。

単語の埋め込み

単語埋め込みモデルでは、語彙の各単語は実数のベクトルとして表現され、通常100～300次元の空間内にある。これらのベクトルは、大規模なテキストデータ・コーパスから学習され、文脈に基づいて単語の意味的な意味を捉える。例えば、"king "と "queen "は同じような文脈を共有しているため、同じような埋め込みを持つかもしれない。

単語を離散的で疎なベクトルとして表現するBag of Words(BoW)やTF-IDFのような伝統的な手法とは異なり、単語埋め込みは単語を低次元空間にマッピングします。このアプローチにより、NLPモデルは単語間の意味的関係をよりよく理解できるようになり、単語埋め込みはNLPモデルのパフォーマンスを向上させる強力なツールとなる。

単語埋め込みには主に3つのタイプがあります。

  • Word2Vec：**Googleによって開発されたWord2Vecは、ニューラルネットワークを使って単語表現を学習する、一般的な単語埋め込み手法です。2つの種類があります：Continuous Bag of Words (CBOW)とSkip-gramである。CBOWは周囲の文脈から対象単語を予測し、Skip-gramは対象単語から文脈を予測する。Word2Vec埋め込みは、単語間の構文的関係と意味的関係の両方を捉えます。

  • GloVe (Global Vectors for Word Representation):** Stanford社によって開発されたGloVeは、コーパスの大域的な統計情報を取り込むことで単語ベクトルを生成する。局所的な文脈に注目するWord2Vecとは異なり、GloVeはコーパス全体の共起統計を使って単語間の関係をモデル化する。

  • FastText:**Facebookによって開発されたFastTextは、各単語を1つのベクトルとして、単語を文字n-gramに分割するため、語彙の少ない単語や形態素の豊富な言語を扱うのに効果的です。

Gensim Word2Vecによる単語の埋め込み生成


    from gensim.models import Word2Vec
    from nltk.tokenize import word_tokenize


    # サンプルテキストコーパス
    コーパス = [
       「猫がマットの上に座った
       "犬は丸太の上に座った"、
       「鳥がマットの上を飛んだ"
    ]


    # テキストをトークン化する
    tokenized_corpus = [word_tokenize(doc.lower()) for doc in corpus].


    # Word2Vecモデルを学習する
    model = Word2Vec(sentences=tokenized_corpus, vector_size=100, window=5, min_count=1, workers=4)


    # 単語のベクトルを取得
    vector = model.wv['cat'] # 単語のベクトルを取得
    print("Word Vector for 'cat':", vector)


    # 似た単語を探す
    similar_words = model.wv.most_similar('cat')
    print("「猫」に似た単語:", similar_words)

出力：cat' の単語ベクトル：[0.1324516, -0.2402345, ..., 0.0112534]

cat' に類似する単語：('犬', 0.89), ('鳥', 0.85), ...].

単語の埋め込みの応用

  • 意味理解によるNLPモデルの改善:** 単語埋め込みは、単語間の意味的関係を捉えるためにNLPモデルで広く使われています。これは単語の文脈と意味を理解するモデルの能力を向上させ、テキスト分類、感情分析、機械翻訳などのタスクでより良いパフォーマンスを導きます。

  • テキスト類似度とクラスタリング:** 単語埋め込みにより、モデルは単語ベクトルを比較することでテキスト類似度を測定することができる。これは、文書クラスタリング、情報検索、剽窃検出のタスクで有用である。

  • 固有表現認識(NER):** 単語埋め込みは、意味的な文脈に基づいたエンティティの認識を支援することで、NERモデルを強化します。例えば、"France "や "city "のような単語の近くに "Paris "が現れた場合、モデルは "Paris "がある場所を指していることを認識することができる。

  • 機械翻訳:** 機械翻訳では、単語埋め込みは、共有ベクトル空間内の意味と関係をキャプチャすることによって、ある言語から別の言語への単語のマッピングを支援します。これは、翻訳の精度と流暢さを向上させます。

  • 質問応答システム:** 単語埋め込みは、単語間の意味的関係を理解することにより、質問と適切な答えをマッチングする質問応答システムで使用されます。例えば、「フランスの首都」が「パリ」を指していることを、埋め込みに基づいて理解することができます。

  • センチメント分析：** 単語埋め込みは、言語の微妙なニュアンスを捉えることによって、センチメント分析モデルを改善します。例えば、"great "という単語は肯定的な感情を持つかもしれず、その埋め込みは "excellent "や "fantastic "のような他の肯定的な単語に近いでしょう。

トピックモデリング

トピック・モデリングは教師なし機械学習技法であり、文書のコレクション内の隠れたトピックを自動的に識別する。ここでいう「トピック」とは、共通のテーマや主題を示す、一緒に出現する頻度の高い単語のグループのことである。トピックモデリングは、データの根本的な構造を発見することで、大規模なテキストデータセットの要約と整理を支援する。

トピックモデリングは、テキストマイニング、文書分類、情報検索など、コーパス内で議論されている主な主題を理解することが不可欠なタスクに有用である。類似した文書をトピックに基づいてグループ化することで、トピックモデリングは大規模なデータセットをより効率的にナビゲートし、分析するのに役立つ。

トピックモデリングには主に2つの手法がある：

  • LDA（Latent Dirichlet Allocation：潜在的ディリクレ割り当て）：** LDAは、各文書がトピックの混合物であり、各トピックが単語の混合物であると仮定する、一般的な生成確率モデルである。LDAは、関連するトピックに基づいて文書内の単語に確率を割り当てる。LDAは、トピックの数が事前に不明である大規模なテキストコーパスのトピックを発見するために一般的に使用される。

  • 非負行列因数分解(NMF):** NMFは線形代数的手法であり、文書-項行列をトピックとそれに関連する単語を表す2つの非負行列に分解する。確率モデルであるLDAとは異なり、NMFは元のデータを解釈しやすい部分に因数分解することに重点を置いている。NMFは、トピックがよく分離されたデータセットや、解釈しやすさが優先される場合に、トピックを発見するのに有用である。

Scikit-learnを使ったLDAによるトピックモデリング：


    from sklearn.decomposition import LatentDirichletAllocation
    from sklearn.feature_extraction.text import CountVectorizer


    # サンプルテキストコーパス
    コーパス = [
       "猫がマットの上に座った"、
       「犬が丸太の上に座った」、
       「鳥がマットの上を飛んだ」、
       「猫が鳥を追いかけた
       「犬が猫に吠えた。
    ]


    # テキストデータを文書項行列に変換する
    vectorizer = CountVectorizer()
    X = vectorizer.fit_transform(corpus)


    # LDAモデルを定義しフィットさせる
    lda = LatentDirichletAllocation(n_components=2, random_state=42)
    lda.fit(X)


    # トピックと関連する単語を表示
    words = vectorizer.get_feature_names_out()
    for index, topic in enumerate(lda.components_)：
       print(f "Topic {index}:")
       print([words[i] for i in topic.argsort()[-5:]])

出力：

トピック 0: ['mat', 'on', 'sat', 'cat', 'the'].

トピック1: ['the', 'flew', 'over', 'bird', 'chased'].

トピックモデリングの応用

  • テキストデータにおける隠れたテーマの発見：*** トピックモデリングは、大規模な文書コレクション内の根底にあるテーマやトピックを発見するために広く使われている。例えば、ニュース記事において、トピックモデリングは記事を政治、スポーツ、技術などのトピックに分類するのに役立つ。

  • トピックモデリングは、文書内の主要なトピックを特定することで、重要なテーマに焦点を当て、無関係な情報を削除することで、長い文書の要約を支援することができる。

  • 文書分類：*** トピックモデリングは、含まれるトピックに基づいて文書を分類することができる。これは、文書を主題ごとに整理する必要があるコンテンツ管理システムにおいて有用である。

  • 推薦システムでは、トピックモデリングは、ユーザーが関与するコンテンツのトピックを分析することで、ユーザーの興味に沿ったコンテンツとのマッチングを支援することができる。

  • 情報検索:**トピックモデリングは、文書をトピックに基づいてグループ化することで、情報検索システムを改善し、特定のテーマや主題を検索する際に関連文書を容易に検索できるようにする。

  • ソーシャルメディア分析：*** トピック・モデリングは、ソーシャルメディア・データを分析し、トレンド、議論、新たなトピックを特定する。これは、企業や研究者がさまざまな問題に関する世論や感情を理解するのに役立ちます。

センチメント分析

オピニオン・マイニングとしても知られるセンチメント分析は、テキストに表現された感情的なトーンを識別し、分類する。この手法は、世論、顧客満足度、ブランド認知度を測定するために、マーケティング、カスタマーサービス、ソーシャルメディア分析など、様々な分野で一般的に使用されている。

センチメント分析は、人々が自社の製品、サービス、またはコンテンツについてどのように感じているかについての洞察を提供するため、企業や組織にとって極めて重要です。企業は、顧客からのフィードバック、ソーシャルメディアへの投稿、レビューに含まれるセンチメントを分析することで、データ駆動型の意思決定を行い、サービスの改善、顧客体験の向上、ブランド評価の管理を行うことができます。

センチメント分析には主に3つの手法があります：

  • ルールに基づくアプローチ：** ルールに基づくセンチメント分析は、テキストを分類するために、事前に定義されたルールと語彙（肯定的な単語と否定的な単語の辞書）のセットに依存します。例えば、テキストに「great」や「excellent」のような肯定的な単語が「bad」や「terrible」のような否定的な単語より多く含まれている場合、センチメントは肯定的なものとして分類されます。単純で解釈しやすいが、ルールベースの手法は、複雑な言語や文脈のニュアンスを扱うには限界がある。

  • 機械学習アプローチ：** テキストを分類するために、機械学習ベースのセンチメント分析は、ナイーブベイズ、サポートベクターマシン（SVM）、またはロジスティック回帰のようなアルゴリズムを使用します。これらのモデルは、各テキストに対応するセンチメントが注釈されたラベル付きデータセットで学習されます。モデルはデータのパターンを学習し、新しい未見のテキストを分類することができます。機械学習アプローチは、ルールベースの手法よりも柔軟性があり、より幅広いテキストを扱うことができますが、学習にはラベル付けされたデータが必要です。

  • ディープラーニングアプローチ：** ディープラーニングベースの感情分析は、リカレントニューラルネットワーク（RNN）、長短期記憶（LSTM）ネットワーク、Transformersなどのニューラルネットワークを活用し、テキスト内の複雑なパターンや文脈情報を捉える。手作業による特徴設計を行うことなく、これらのモデルは生のテキストデータから自動的に特徴を学習することができる。ディープラーニングアプローチは、長くて複雑なテキストを扱うのに特に効果的であり、ソーシャルメディア、レビュー、顧客フィードバックにおけるセンチメント分析に適している。

TextBlobによるセンチメント分析


    from textblob import TextBlob


    # サンプルテキスト
    text = "この製品の新機能はとても気に入っていますが、バッテリーの持ちがもっと良くなるといいですね。"


    # TextBlobオブジェクトを作る
    blob = TextBlob(text)


    # センチメント分析を実行する
    センチメント = blob.sentiment


    print(f "センチメント: {sentiment}")
    出力センチメントセンチメント(極性=0.35, 主観=0.65)

出力センチメントセンチメント(極性=0.35, 主観性=0.65)

ここで、極性スコアは穏やかで肯定的なセンチメントを示し、主観性スコアはステートメントがやや意見ベースであることを示唆しています。

センチメント分析の応用

  • センチメント分析は、レビュー、アンケート、サポートチケットなどの顧客からのフィードバックを分析するために広く使用されています。肯定的な感情と否定的な感情を識別することで、企業は顧客の懸念に対処し、製品を改善し、顧客満足度を高めることができます。

  • ソーシャルメディアのセンチメント:** ソーシャルメディア・プラットフォームは、世論の豊富な情報源です。センチメント分析は、企業がソーシャルメディアのセンチメントをモニターし、自社のブランド、製品、サービスが世間一般にどのように受け止められているかを理解するのに役立ちます。これにより、企業はオーディエンスと関わり、リアルタイムでトレンドに対応することができます。

  • 市場調査：**センチメント分析は市場調査において価値があり、さまざまな製品、サービス、ブランドに対する消費者の意見、嗜好、態度を分析するために使用されます。これは、企業が機会を特定し、マーケティング戦略を最適化し、情報に基づいた意思決定を行うのに役立ちます。

  • 政治分析：政治では、センチメント分析は、政治候補者、政策、イベントに関する世論を測定します。アナリストは、ニュース記事、演説、ソーシャルメディアへの投稿で表明された感情を分析することで、選挙結果を予測し、有権者の行動を理解することができます。

  • 製品開発：**センチメント分析は、ユーザーが製品の特定の機能や側面についてどのように感じているかについての洞察を提供します。このフィードバックは、製品開発チームが機能の優先順位を決め、問題を修正し、より良いユーザー体験を提供する際の指針となります。

  • 顧客サービスの自動化：**センチメント分析は、リアルタイムで否定的な感情を検出し、より迅速な解決のために人間のエージェントに問題をエスカレーションするために、顧客サービスのチャットボットや自動化されたシステムに統合することができます。

ベクターデータベースはどのように自然言語処理に役立つか？

MilvusやZilliz Cloud(フルマネージドMilvus)のようなベクターデータベースは、多くの自然言語処理タスクで重要な役割を果たすことができる。これらのデータベースは、大量の高次元データ、特に ベクトル埋め込み-機械が学習・理解しやすい単語、文、文書全体の数値表現-を効率的に保存、インデックス付け、検索するように設計されている。

効率的な類似検索

NLPでベクトルデータベースを使う主な利点の一つは、類似検索を実行できることです。類似文書の検索、質問への回答、推奨の作成などのタスクを扱う場合、キーワードの完全一致ではなく、概念的な類似性に基づいて結果を取得することが重要です。ベクトルデータベースは、余弦類似度のような距離メトリックを使用して、最も近い一致を見つけるために格納された埋め込みを比較することによって、このタスクに優れています。この機能はセマンティック検索アプリケーションにおいて特に価値があります。クエリの文脈や意味を理解することは、単に単語をマッチさせることよりも重要です。

大規模ベクトルデータの処理能力

検索機能に加えて、ベクトル・データベースは大規模で高次元のデータを効率的に扱うように設計されている。例えば、高性能なオープンソース・ベクトルデータベースであるMilvusは、数万次元の億スケールのベクトルをミリ秒レベルのレイテンシで管理することができます。BERT](https://zilliz.com/learn/bge-m3-and-splade-two-machine-learning-models-for-generating-sparse-embeddings#BERT-The-Foundation-Model-for-BGE-M3-and-Splade)やGPTのような最新のNLPモデルは、数百から数千次元の埋め込みを生成します。このような埋め込みを保存し、クエリするには、このような複雑さを管理できる特別なシステムが必要です。ベクトルデータベースは、これらの埋め込みを格納するだけでなく、次元削減のような技術によって、その格納を最適化するツールも提供します。このアプローチは、システムのスケーラビリティと応答性を維持しながら、異なるテキスト片の間の意味のある関係が保持されることを保証します。

機械学習モデルとのシームレスな統合

ベクターデータベースは、自然言語処理で使用される機械学習モデル(埋め込みモデル)(https://zilliz.com/learn/training-your-own-text-embedding-model)とも統合することができます。ベクターデータベースはこれらのモデルによって生成された埋め込みを保存し、推論（新しいデータに基づいて予測や決定を行うプロセス）の際に素早く検索できるようにします。この統合は、実世界のアプリケーションで高速かつ正確な結果を提供し、大規模に動作するNLPシステムを構築するために不可欠である。MilvusとZilliz Cloudは、OpenAIの テキスト埋め込みモデルや マイクロソフトの多言語モデルなどの様々な機械学習モデルを統合し、ベクトル埋め込みと類似検索を同じシステム内でより簡単に行えるようにしました。

検索拡張生成(RAG)

ベクターデータベースは、ChatGPTのような大規模な言語モデル(LLMs]における幻覚を緩和するための高度なAI技術である検索拡張生成(RAG)に最適です。ベクターデータベースは、LLMがユーザーのクエリに対してより正確な回答を生成するために、長期記憶と追加の知識ベースとして機能します。

図1- RAGの仕組み](https://assets.zilliz.com/Figure_1_How_RAG_works_24108cefb1.png)

Milvusとベクトルデータベースの詳細については、こちらのビデオをご覧ください。

結論

この記事では、テキストデータを扱うために不可欠なNLPテクニックのトップ10を取り上げました。これらの手法は、言語データを効果的に分析・理解しようとするデータサイエンティストにとって基本的なツールです。NLPを使い続ける中で、これらのテクニックは意味のある洞察を引き出し、より正確なモデルを構築するのに役立つでしょう。また、ベクターデータベースが様々なNLPタスクにどのように役立つのか、そして高度なRAGアプリケーションの構築についても取り上げました。

NLPの分野には、まだまだ学ぶべきこと、探求すべきことがあります。Pythonの組み込みライブラリが使用されているトップ10のNLPツールとプラットフォームを発見し、私たちが学んだテクニックを簡単に適用することができます。また、GenAIの基礎や、様々なAIツールやベクトルデータベースを使ってGenAIアプリケーションを構築する方法を学ぶこともお勧めします。

その他のリソース

  • トップ10の自然言語処理ツールとプラットフォーム](https://zilliz.com/learn/top-10-natural-language-processing-tools-and-platforms)

  • 自然言語処理に役立つ20のオープンデータセット ](https://zilliz.com/learn/popular-datasets-for-natural-language-processing)

  • テキストを変換する：自然言語処理における文変換器の台頭](https://zilliz.com/learn/transforming-text-the-rise-of-sentence-transformers-in-nlp)

  • あなたのGenAIアプリのためのトップパフォーマンスAIモデル｜Zilliz](https://zilliz.com/ai-models)

  • 生成AIリソースハブ｜Zilliz](https://zilliz.com/learn/generative-ai)

  • ベクターデータベースとは何か、どのように機能するのか】(https://zilliz.com/learn/what-is-vector-database)

  • Fariba Laiq
    Fariba LaiqFreelance Technical Writer

    Description: Fariba Laiq is a freelance content writer at Zilliz. She has studied Computer Science, been a coding instructor, and published research papers in the domain of AI and cyber-security. She is passionate about learning more about LLMs and vector databases in the ever evolving era of AI. Along with technical skills, she is also a self-taught artist.

読み続けて