自然言語処理の基礎：トークン、Nグラム、Bag-of-Wordsモデル

これらの出現回数があれば、各トークンの出現回数の合計で正規化することで、確率を計算することができる。例えば

$$
    p(Milvus | <S>) = \frac{c(<S>, Milvus)}{c(<S>)} = \frac{2}{3}.
$$

同様に

$$
    p(rocks | Milvus) = \frac{c(Milvus, rocks)}{c(Milvus)} = \frac{1}{3}.
    p(database | vector) = \frac{c(vector database)}{c(vector)} = \frac{1}{2}.
$$

この知識を持って、これを一般化し、ビグラムモデルを構築するコードを書いてみよう。簡単のため、すべての入力文書の各トークンが空白で区切られていると仮定します（最近のトークン解析器はもっと複雑なルールを持つことが多いことを、前のセクションで思い出してください）。まずはモデルそのもの、つまりビグラム数とトークン数の定義から始めよう。

python
from typing import Dict, Tuple
from collections import defaultdict


# キーはトークンに対応する
# 値は出現回数
token_counts = defaultdict(int)

# キーは2タプルのビグラムペア
# 値は出現数
bigram_counts = defaultdict(int)


def build_bigram_model(corpus: Dict[str])：
    """ビグラムモデル。
    """

    # コーパスの全文書をループする
    for doc in corpus：

        prev = "<S>"
        for word in doc.split()：

            # トークン数の更新
            token_counts[word] += 1

            # bigramのカウントを更新
            bigram = (prev, word)
            bigram_counts[bigram] += 1

            prev = word

        # 確率が1になるように、ダミーの終端トークンを追加する。
        bigram_counts[(word, "</S>")] += 1

    return (token_counts, bigram_counts)


def bigram_probability(bigram: Tuple[str])：
    """コーパスからbigramの尤度を計算する。
    """

    return bigram_counts[bigram] / token_counts[bigram[0]]。

次に build_bigram_model はコーパスの文書全体をループし、それぞれを空白で分割してから bigram とトークンのカウントを格納する。次に bigram_probability 関数を呼び出すことができ、対応する bigram の数とトークンの数を調べて比率を返す。

では、バイデン大統領の2022年の一般教書演説でテストしてみよう。よろしければ、transcriptをダウンロードして、上のコードで試してみてください。

パイソン

with open("state_of_the_union.txt", "r") as f...： ... build_bigram_model([f.read()]) ... print(bigram_probability(("keep", "moving")))) 0.07692307692307693

## 単語の袋モデル

n-gramの議論に続いて、_bag-of-wordsモデル_ (BoW)についても簡単に触れておこう。BoWモデルは文書やコーパスを順序のないトークンの集合として表現する。この意味で、各トークンの出現頻度は維持するが、各文書内での出現順序は無視する。そのため、BoWモデルの文書全体はスパースベクトルに変換することができ、ベクトルの各エントリーは、特定の単語が文書内に出現する頻度に対応する。ここでは「Milvus is the most widely adopted [vector database](https://zilliz.com/).Milvusを使った[ベクトル検索](https://zilliz.com/learn/vector-similarity-search)は簡単です。"をBoWスパースベクトルとして表現します：

パイソン
# 限定された語彙
bow_vector = [
    0, # a
    1, # 採用
    0, # バッグ
    0, # 本
    0, # 座標
    1, # データベース
    1, # イージー
    0, # 素晴らしい
    0, # 良い
    0, # 素晴らしい
    2, # is
    0, #ジャグル
    2, #ミルバス
    1, # 最も
    0, #決して
    0, #証明
    0, #商
    0, # 比
    0, # 直す
    1, # 検索
    1, # その
    0, # 畝る
    2, # ベクトル
    1, # 広く
    1, # with
    0, # yes
    0, # ゼブラ
]

これらのスパース・ベクトルは、テキストやセンチメントの分類など、様々なNLPタスクで使用することができる。このブログポストではBoWモデルの学習と推論については触れません。もう少し詳しく知りたい方は、Jason Brownleeのブログが良いリソースです。

BoWモデルは理解しやすく使いやすいが、明確な限界がある。文脈や個々のトークンの意味的な意味を捉えることができないため、最も単純なタスクを超えるものには適していない。このような理由から、現在ではもっぱらニューラルネットワークが使用されている。

自然言語処理の基礎 まとめ

この投稿では、自然言語処理の基礎(https://zilliz.com/learn/A-Beginner-Guide-to-Natural-Language-Processing)として、トークン化、N-gram、Bag-of-wordsモデルの3つを取り上げました。特に、n-gramに関する概念は、自己回帰モデルや自己符号化モデルの学習方法に関する後のトピックで広く役立ちます。

次回のチュートリアルでは、「最新の」NLP、つまりリカレントネットワークとテキスト埋め込みについて説明します。ご期待ください！