Glossary
Diffusion Models

拡散モデルとは何か？包括的な定義

拡散モデルとは何か？包括的な定義

拡散モデルとは何か？

拡散モデルは確率的生成モデルの一種です。画像合成だけでなく、機械学習におけるノイズの低減にも威力を発揮する。拡散モデルは、ガウスノイズを加えることによってデータを徐々に破壊し、サンプル生成のためにそのプロセスを逆にすることを学習する。

例えば画像生成では、拡散モデルは純粋なノイズ画像になるまで、画像に100回でも1000回でもノイズを加える。その後、コヒーレントな画像になるまで、画像からノイズを徐々に除去していく。最終的に、モデルは元の画像に近い多様な画像を新たに生成することができる。

拡散モデルの構成要素

拡散モデルは3つの数学的フレームワークに基づいている：

1.拡散確率モデル（DDPM）：DDPMは2つのマルコフ連鎖（順連鎖と逆連鎖）を用いて、データからノイズを追加または除去する。ディープ・ニューラル・ネットワークを活用し、順鎖で導入されたノイズをどのように反転させるかを学習し、最終的に元のデータ分布に近いデータサンプルの生成を可能にする。 2.スコアベース生成モデル（SGM）：SGMは、データにガウスノイズを加え、ノイズ訓練されたディープニューラルネットワークを用いてスコア関数を推定することで機能する。これらのスコア関数は、元の分布によく似た新しいデータサンプルの生成を導く。 3.確率微分方程式（スコアSDE）：スコアSDEはDDPMやSGMを一般化し、無限の時間ステップやノイズレベルを持つデータをモデル化する。ノイズの摂動とサンプル生成過程をモデル化するためにSDEを使用し、生成されたデータをノイズ除去するためにスコア関数に依存する。

拡散モデルはどのように機能するか？

拡散モデルは、データ、制御されたガウシアンノイズ、および中間的な潜在空間の綿密な相互作用を含む、洗練されたレベルで動作します。この複雑なプロセスは、最終的にオリジナルデータの拡張バージョンを作成する力を与える。では、そのメカニズムについてさらに深く掘り下げてみよう：

1.**ガウス雑音の役割

拡散モデルは、その動作全体を通して体系的にガウスノイズを導入する。各反復ステップで、正確に制御されたガウスノイズがデータに加えられる。このノイズはガウス分布からサンプリングされるため、ノイズレベルを細かく制御することができる。

# 制御されたガウシアンノイズを加える noisy_data = original_data + noise

2.正規分布への遷移:.

拡散プロセスを容易にするために、入力データは変換を受ける。この変換はノイズ制御を単純化するだけでなく、拡散の旅の基礎を築く。

# データを正規分布に変換する normalized_data = (original_data - original_data.mean()) / original_data.std()

3.Diffusion Modelling Process:

生成モデル、特に画像や動画の文脈における拡散モデリングプロセスを解剖してみよう。拡散の旅は、2つの極めて重要なフェーズから構成される：

前方拡散プロセス：** このフェーズでは、モデルは原始的な画像のピクセルを変換する旅に出ます。数百から数千の段階的なステップを経て、ガウスノイズが徐々に導入される。このプロセスはマルコフ連鎖で展開され、各ステップでは正確に制御された量のノイズが注入される。画像は効果的に純粋なノイズの状態に「拡散」する。

# 前方拡散処理 for step in range(num_steps): noisy_image = noisy_image + step_noise

逆拡散プロセス:** 対照的に、逆拡散プロセスは明瞭化への道を示す。このフェーズでは、ノイズの除去、スケーリング、そして最終的に鮮明な画像を出現させる反復ステップを含む。これは、霧のかかった画像が徐々にシャープになり、焦点が合ってくるのを見るのに似ている。

# 逆拡散プロセス for step in reversed(range(num_steps)): noisy_image = noisy_image - step_ノイズ[step].

前方拡散処理では、ピクセル値のスケーリングが、さらにノイズを加える前の重要なステップであることに注意することが重要です。このステップをスキップすると、画像が飽和して細部が失われる可能性がある。

# 画素値をスケーリングする scaled_image = original_image \* scaling_factor

4.Leveraging Convolutional Neural Networks (CNNs):

逆拡散プロセスでは、畳み込みニューラルネットワーク（CNN）が重要な役割を果たす。純粋なノイズに覆われた画像が与えられた場合、このニューラルネットワークは画像のノイズ除去に長けている。ノイズを巧みに除去し、原画に忠実な鮮明で一貫性のある画像を出現させる。

5.次世代のためのトレーニング：*

訓練後、拡散モデルは新鮮な画像を生成するために準備される。これには、入力データに意図的にノイズを導入することが含まれる。その後、モデルは、学習したノイズ除去能力を使用して、入力データの新しい、原始的なバージョンを作成します。

# ノイズを導入して新しい画像を生成する new_image = noisy_input_data + generated_noise

Intermediate Latent Space in Modern Diffusion Models:

現代の画像拡散モデルの領域では、説得力のある展開が繰り広げられる。これらのモデルは、しばしば第3のプレイヤーである中間潜在空間をミックスに導入します。生の画像ピクセルを直接操作するのではなく、拡散プロセスはこの潜在空間の中で起こる。この技術革新により、拡散モデルの効率と効果が向上し、より微妙で制御された変換が可能になります。

AI/MLにおける拡散モデルの応用

拡散モデルは、その多くの実際の使用例により、生成モデリングにおいて人気を集めているアプローチである。画像生成、テキストから画像への生成、画像の超解像、自然言語生成などに利用されている。

自然言語生成

自然言語処理 (NLP)は、今日のAIの世界において多くの実生活への応用がある。その多様な出力を生成する能力のために、拡散モデルは本質的に自然言語生成（NLG）に適用される。生成的事前訓練変換器（GPT）のような大規模言語モデル（LLM）の多くのNLGタスクを可能にする。これには、コンテンツ生成、テキスト要約、テキスト補完などが含まれる。

画像・動画生成

拡散モデルは生成されたビデオの品質を向上させる。ビデオフレームの複雑さと時空間連続性の課題に対処する。この機能により、コンテンツ制作者はテキストプロンプトを送り、短くて高品質なビデオスクリプトを生成することができる。

テキスト画像生成

今日、テキストから画像へのジェネレーターにテキストプロンプトを入力することで、画像を生成することができます。GoogleのImagenやOpenAIのDALL-Eがその例である。LLMは拡散を利用して、視覚的な単語を画像にデコードする。理想的には、これらのジェネレーターは画像をベクトル視覚単語としてエンコードする。そして、これらの単語を使って拡散モデルを条件付けし、元の画像に似たスタイルの新しい画像を生成する。

画像の超解像

拡散モデルの最も初期の応用例のひとつに、画像の超解像がある。これは、低解像度から高解像度へと画像の解像度を高めつつ、その内容を可能な限り保持するものである。

拡散モデルを使った画像解像度は2つのステップで行われます。まず、拡散モデルを使用して低解像度の画像を生成します。次に、別の拡散モデルを訓練し、低画質画像の解像度を向上させる超解像にモデルを条件付けします。

拡散モデルの限界

拡散モデルは強力で、AI業界に革命をもたらしている。しかし、以下に示すように、拡散モデルにはそれなりの課題がある。

拡散モデルの学習には時間がかかる

拡散モデルは画像を生成するためにノイズ除去に依存しています。ノイズ除去モデルをゼロからトレーニングするには、多くの反復が必要です。初期のレベルでは、拡散モデルのトレーニングは長くなります。モデルがトレーニングデータに近いサンプルを生成できるようになる後期段階では、トレーニングは徐々に短縮されます。このプロセスには数分から数時間、あるいは計算時間がかかる。言い換えれば、拡散モデルはサンプルを生成するためにニューラルネットワークに何千回も呼び出しを行う。このため、拡散モデルはサンプル生成に時間がかかる。

拡散モデルの微調整は難しい

モデルの個別化バージョンを得るには、事前に訓練されたモデルを自分のデータで訓練します。しかし、限られたデータで事前に訓練された無条件拡散モデルを微調整することは困難です。データの制限により、トレーニングの初期段階でオーバーフィッティングが発生する可能性があります。オーバーフィッティングしたモデルから得られる画像は、品質が低く、多様性に欠けます。

拡散モデルには大容量メモリが必要

大規模な拡散モデルは大規模なメモリを必要とする。拡散モデルには何十億ものパラメータが含まれることがあります。そのため、強力なサーバーで学習とテストが行われます。限られたGPUメモリサイズを考慮すると、これらのモデルをモバイルデバイスに実装するのは困難です。この制限により、モバイルデバイスは単一の大規模拡散モデルを実行することが困難になります。

GPUメモリ使用量がモバイルでの拡散モデル展開に脅威を与える中、解決策が生まれつつある。一つの解決策は、拡散モデルの小さいバージョンをリリースすることです。このモデルは、モバイルで展開するのに十分なほど圧縮されている。

よくある質問

GANと拡散モデルの違いは何ですか？

生成的敵対ネットワーク（GAN）は敵対的な学習プロセスを通じて機能します。GANは、データサンプルを生成するためにジェネレーターニューラルネットワークを採用し、データサンプルが本物か偽物かを区別するために識別器ニューラルネットワークを採用します。拡散モデルは尤度ベースのモデルであり、データにガウシアンノイズを繰り返し加えてサンプルを生成し、学習されたノイズ除去関数を適用してデータを徐々に現実的なサンプルに変換する。

変換器と拡散モデルの違いは？

トランスフォーマーは、逐次データの要素間の文脈的関係を学習するために自己注意メカニズムを適用し、画像分類やNLPを得意とします。拡散モデルは、高品質で写実的な画像を生成することに優れています。

拡散モデルの課題とは？

拡散モデルは、多くの反復を伴う時間のかかるノイズ除去トレーニングプロセスに従います。さらに、何十億ものパラメータを持つ大規模な拡散モデルは、膨大なメモリリソースを必要とします。最後に、限られたデータで拡散モデルを微調整すると、オーバーフィッティングにつながり、低品質で多様性のない画像が生成される可能性があります。