46.6kデモを予約するログイン無料で始める

OpenAI Whisper

Published 2 分で読めます

OpenAI Whisperはオープンソースの音声認識・翻訳モデルです。90以上の言語をサポートしています。何ができるのか、どのように使うのか、実際のアプリケーションをご紹介します。

簡単なまとめ

  • OpenAI Whisperは、多言語音声認識、音声翻訳、言語識別のための最先端の自動音声認識(ASR)モデルであり、68万時間の音声、99言語で学習されました。

  • このモデルは、様々なアクセントや厳しい環境に適応し、より高い性能を発揮するために、エンコーダー・デコーダーのTransformerアーキテクチャを使用しています。

  • WhisperのAPIはユーザーフレンドリーで、容易に統合可能であるため、開発者はその機能をリアルタイムのテープ起こしや翻訳に利用することができます。

OpenAI Whisperとは？

OpenAI Whisper Model Architecture : Source Open AI: https://openai.com/index/whisper/](https://images.ctfassets.net/kftzwdyauwt9/d9c13138-366f-49d3-a1a563abddc1/8acfb590df46923b021026207ff1a438/asr-summary-of-model-architecture-desktop.svg?w=3840&q=90)

OpenAI Whisperは音声認識モデル（ASRとも呼ばれる）で、多言語音声認識が可能です。680,000時間の教師付き多言語音声データで訓練され、公式に99言語をサポートしているため、ASR分野では最高のものの一つです。つまり、多くのアクセントや語彙を高い精度で扱うことができ、異なる言語間でシームレスに動作します。そして、このモデルはトップモデルのひとつです。

また、多くのアクセントや語彙を処理するのに役立つ生成AIも備えている。OpenAIは音声認識で可能なことの限界に挑戦しており、開発者や企業にとって素晴らしいツールです。

ウィスパーの主な機能

Whisperモデルの最も優れた点の一つは、90以上の言語に対応した多言語書き起こしおよび翻訳です。そのため、国際電話会議のテープ起こしから外国語メディアの英語翻訳まで、グローバルなユースケースに最適なツールです。Whisperは、厳しい条件下、騒がしい環境、複数のアクセントでも優れた性能を発揮するので、実世界での使用に最適です。

さらに、Whisperはあらゆるメディアフォーマット用の多言語字幕を生成できるため、世界中の視聴者がコンテンツにアクセスできます。また、単語レベルのタイムスタンプを提供できるため、トランスクリプションと音声を一致させることができ、ビデオ編集やコンテンツ作成に非常に便利です。

このように、素晴らしい機能がたくさんあります。

ウィスパーの仕組み

ウィスパーのアーキテクチャ：ソースオープンAI](https://images.surferseo.art/1c9f09ab-4c6c-4176-a74d-e5eaf225b731.svg+xml)

Whisperモデルは、様々な話し方に適応できるように、幅広い音声データで事前に訓練されたニューラルネットワークアーキテクチャを使用しています。その中核には、エンコーダー・デコーダーのトランスフォーマーアーキテクチャーを使用しています。これは、複数のタスクを1つのモデルに統合する凝った設計で、ASRシステムの複雑さに対処する必要がありません。

Whisperを使うと、エンコーダー・デコーダー構造を通して音声入力を処理し、音声エンコーディングからテキストを予測します。特別なタスクに特化したトークンがデコード時に使用されるため、このモデルは多くのNLPタスクをこなすことができます。

これらのトークンはタスク指定子または分類対象として機能するため、Whisperは言語識別、フレーズレベルのタイムスタンプ、多言語音声書き起こし、英語音声翻訳などの追加タスクを処理することができます。

利用可能なモデルと性能

Whisperには6つのモデルがあり、それぞれ異なるユースケースに対応している。そのうち4つは英語のみのモデルで、一般的に多言語モデルよりも優れた性能を発揮します。大規模なトレーニングデータセット（680,000時間以上の音声）は、言語間のモデルのパフォーマンスに大きな影響を与えます。

モデルの性能は、各言語の単語誤り率（WER）と文字誤り率（CER）を用いて評価されます。ターボ・モデルはラージ・モデルの高速バージョンで、精度の低下を最小限に抑えながら高速化し、速度と精度のバランスをとっています。このように様々なモデルが用意されているため、スピードと精度のニーズに合ったモデルを選択することができます。

英語のみのモデルと多言語モデルの両方が用意されているため、ユーザーはそれぞれのニーズに合ったモデルを選ぶことができます。高精度の英語テープ起こしにも、堅牢な多言語サポートにも、Whisperの多彩なモデルはあらゆるシナリオに対応します。

インストールとセットアップ

モデルの学習とテストにはPython 3.9.9とPyTorch 1.10.1を使用したが、WhisperはPythonバージョン3.8から3.11と互換性がある。また、いくつかのPythonパッケージ、すなわちトークナイザー実装のためのOpenAIのtiktokenに依存している。以下のコマンドでインストールしてください：

pip install -U openai-whisper

オーディオ処理に必要なコマンドラインツールであるFFmpegは、オペレーティングシステム固有のコマンドを使ってインストールできる。さらに、tiktoken があなたのプラットフォーム用のビルド済みホイールを提供していない場合は、Rust もインストールする必要があります。

コマンドラインからWhisperを使う

コマンドラインからWhisperを使いたい場合、手順は簡単だ。ユーザーはローカル環境をセットアップすることなく、音声ファイルをGoogle Colabにアップロードしてテープ起こしすることができる。音声ファイルの書き起こしには、Whisperモデルを読み込み、書き起こし機能を使用します。デフォルトの設定では、効率的な書き起こしのためにターボモデルを採用しています。

さらに、-language オプションで英語以外の音声を書き起こす際の言語を指定したり、-task translate コマンドで音声を英語に翻訳することもできる。Whisperは、FFmpegと互換性があれば、様々なオーディオフォーマットをサポートしている。この柔軟性により、Whisperは様々な技術レベルのユーザーにとって利用しやすいツールとなっている。

音声ファイルの音声を書き起こすには

whisper audio.flac audio.mp3 audio.wav --model turbo

日本語のような言語で書き起こす：

whisper japanese.wav -言語 日本語

翻訳タスクを追加する：

whisper japanese.wav -言語 日本語 -タスク 翻訳

Python で Whisper を実装する

PythonでWhisperを実装するには、仮想環境を構築し、すべての依存関係を満たす必要がある。ユーザーはcondaを使って仮想環境を作成し、CUDAをサポートするPyTorchのような必要なパッケージをインストールする必要がある。このセットアップにより、Whisperは30秒のスライディングウィンドウで音声を処理し、正確なトランスクリプションのために自己回帰予測を行うことができる。

transcribe関数は、音声ファイルのパスと言語をパラメータとして受け取り、音声を書き起こすことができる。Whisperは、検出された各言語の確率スコアとともに話し言葉を特定するdetect_language関数も提供します。

デコード機能はさらに、log-Melスペクトログラムをトランスクリプションに変換し、シームレスな音声からテキストへの変換を実現します。

インポート ウィスパー

model = whisper.load_model("turbo")

# オーディオをロードし、30秒に合うようにパッド/トリムする
audio = whisper.load_audio("audio.mp3")
オーディオ = whisper.pad_or_trim(audio)

# ログメル・スペクトログラムを作成し、モデルと同じデバイスに移す
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)

# 話し言葉を検出
_, probs = model.detect_language(mel)
print(f "Detected language：{max(probs, key=probs.get)}")

# 音声をデコードする
options = whisper.DecodingOptions()
結果 = whisper.decode(model, mel, options)

# 認識されたテキストを表示
print(result.text)

ウィスパーの実世界での応用例

Whisperモデルの音声認識への応用例](https://images.surferseo.art/ccb4eb21-c523-417c-be79-bd432fcb2316.png)

Whisperの強力な音声認識機能は、実世界の様々な用途に役立ちます。例えば、会議のディスカッションを書き起こしたり、教育コンテンツをテキストに変換したり、ビデオに自動キャプションを付けたりすることができます。企業はテープ起こしを自動化し、時間とリソースを節約するためにWhisperを使用しています。

カスタマーサービスでは、Whisperは多言語でのコミュニケーションをリアルタイムで可能にします。教育機関では、講義の正確な書き起こしや翻訳を提供することで、語学学習に役立てています。医療機関では、患者とのやり取りを書き起こし、文書化を合理化し、管理作業を軽減します。

Whisperは、他の製品よりも長い音声を扱うのが得意なので、トランスクリプトは明瞭で正確です。話者ダイアライゼーション（音声録音の話者を特定し、ラベル付けするプロセス）は、複数の話者のシナリオにおいて、トランスクリプトの明瞭性をさらに向上させます。リアルタイムのトランスクリプションは、ライブイベントや通話中のユーザーエクスペリエンスを向上させます。

制限事項

Whisperは素晴らしいが、完璧ではない。Whisper APIは音声ファイルのストリーミングをサポートしておらず、完全なファイルしか処理できない。25MB以上の音声ファイルは圧縮するか、分割して処理する必要がある。30秒のオーディオファイル制限のため、長い録音を分割する必要があります。

テープ起こしの精度は、音質が悪かったり、バックグラウンドノイズが多いと影響を受けます。Whisperは全ての方言や訛り、特に一般的でない訛りに対応しているわけではありません。OpenAIには、Whisper APIを使って書き起こせるコンテンツの種類を制限するコンテンツポリシーがあります。

Whisperのスケーリングは、AIの専門知識が必要であり、ハードウェアに多大な費用がかかるため、困難な場合がある。

OpenAI Whisperの代替品

Whisperを含む様々な音声認識モデルの比較](https://images.surferseo.art/2bd289bc-ba19-4b5c-91dc-49b3a2edd451.png)

OpenAI Whisperの代替品を選ぶ際には、ユースケース、予算、プロジェクトの要件を考慮する必要があります。Kaldi、Wav2vec 2.0、Vosk、SpeechBrain、Nvidia Nemoのようなオープンソースのモデルは、異なる機能と性能を持っています。Kaldiは、いくつかのコンポーネントのパイプラインを使用する伝統的なASRモデルで、使い勝手が悪い場合があります。

Wav2vec 2.0は、特徴抽出フロントエンドを持つユニークなアーキテクチャを持つが、オーディオブックで学習される。Whisperは正確ですが、Wav2vec 2.0のような音声をより高速に処理する代替モデルよりも低速です。

ASRモデルの比較には、ユーザビリティ、モデル・アーキテクチャ、学習データ、推論速度を考慮する必要があります。

Whisper を最適化するためのベストプラクティス

特定のユースケースに合わせてモデルを微調整することで、より優れた精度とスピードを得ることができます。処理する音声や言語に合わせてモデルを微調整することで、大きな違いを生み出すことができます。バックグラウンドノイズの低減は、Whisperの結果を向上させる鍵です。

コントロールされたオーディオ環境でWhisperを実行することで、トランスクリプションのエラーや幻覚を最小限に抑えることができます。これらのベストプラクティスは、音声処理のあらゆるニーズに対してWhisperを最大限に活用するためのものです。

OpenAI Whisper API

OpenAI Whisper APIインターフェースの概要](https://images.surferseo.art/1c3605dc-7e17-40b3-9f50-9776fcdbbd2b.png)

OpenAI Whisper APIは、既存のソフトウェアに統合できるよう、使いやすく設計されています。開発者はAPIを使用することで、アプリのリアルタイム文字起こしや言語翻訳が可能になります。APIは多言語に対応しているため、グローバルなユーザーベースにリーチできます。

オープンソースプロジェクトなので、ユースケースに合わせてソフトウェアの修正やカスタマイズが可能です。Whisperを補強するAPIを使用することで、オリジナルモデルにはない機能や、全体的なパフォーマンスの向上を実現できる。

ドキュメンテーションとサポートリソースを利用することで、使い始めることができます。

ライセンスと使用条件

OpenAI WhisperのライセンスはMITライセンスです。すべてのコピーにオリジナルのライセンス表示を含める限り、自由にコードを使用、変更、配布することができます。つまり、個人または商用プロジェクトでWhisperを使用し、独自のコードをオープンソース化することなく、独自のソフトウェアに統合することができます。

ただし、MITライセンスに準拠するためには、Whisperの配布物にオリジナルの著作権表示とライセンステキストを含める必要があります。保証はありませんので、このコードを使用して発生したいかなる問題についても作者に責任を問うことはできません。

以上です。

まとめ

要するに、OpenAI Whisperは音声認識における大きな前進である。そのパワー、多言語サポート、柔軟性により、ビジネスオートメーションから教育サポートまで、多くのアプリケーションのためのツールとなる。その制限にもかかわらず、Whisperは他の多くの製品よりも優れており、ASRの分野では必須の製品です。

音声認識技術の進歩に伴い、Whisperのアプローチとオープンソースの性質は将来の発展を可能にするでしょう。Whisperを使用することで、開発者や企業は言語の壁を取り払い、グローバルなコミュニケーションが可能になります。

よくある質問

OpenAI Whisperとは何ですか？

OpenAI Whisperは、99言語をサポートする強力な自動音声認識（ASR）モデルです。その堅牢な設計は、音声認識タスクの精度を高めます。

Whisperはどのように騒音環境に対応しますか？

Whisperは、高い精度を維持することで、ノイズの多い環境にも効果的に対応します。

Whisperの限界は何ですか？

Whisperは、音声ファイルのストリーミングができない、音声の最大継続時間が30秒である、音質の悪い音声や一般的でない方言に対応する際の精度の低下といった制限に直面しています。これらの要因は、様々な文脈での使い勝手に大きな影響を与える可能性があります。

Whisper のパフォーマンスを向上させるには、どのように最適化すればいいですか？

Whisperをより良いパフォーマンスのために最適化するには、特定のアプリケーション要件に合わせてモデルを微調整し、バックグラウンドノイズを最小限に抑えることが、精度と処理速度を大幅に向上させる重要な戦略です。

Whisper にはどのようなライセンス条項が適用されますか？

WhisperのライセンスはMITライセンスであり、ユーザーは最小限の制限でコードを自由に使用、変更、配布することができます。これは、開発者にもユーザーにも大きな柔軟性を提供します。 OpenAI Whisperモデルアーキテクチャ](https://assets.zilliz.com/Open_AI_Whisper_Model_Architecture_02ef363410.svg)

関連リソース