このツールでできること・できないこと
このページでは、動画内の音声を別の言語の字幕に変換します。まず Whisper 音声モデルが話された内容を、各行の時刻とともに文字に起こします。次に OPUS-MT 翻訳モデルが各行を翻訳します。翻訳のみを表示することも、2つの言語を並べたバイリンガル字幕として表示することもできます。
次の2点にご注意ください。
- 機械翻訳です。人によるチェックは行われません。講義、インタビュー、製品紹介動画などの内容を理解するには十分な品質であることがほとんどですが、人名、ジョーク、スラング、専門用語は誤訳されることがあります。公開する前に字幕を読み返してください。リストから素早く修正できます。
- 音声は変わりません。このツールが作るのは字幕です。動画の吹き替えや、別の言語の新しい音声の生成は行いません。
すべてお使いのパソコン上で処理
多くのオンライン翻訳サービスは、動画をサーバーにアップロードします。このツールでは、音声モデルも翻訳モデルもブラウザにダウンロードされ、ブラウザ内で動作します。動画もテキストもデバイスの外に出ないため、会議、授業、インタビュー、未公開の作品にも安心です。モデルは初回の利用後にブラウザへ保存されるので、次回からははるかに速く始められます。
初回は2つのデータを一度だけダウンロードします。音声モデル(「音声認識の設定」で選ぶ、高速 41 MB、高精度 77 MB、最高精度 249 MB)と、約110〜140 MB の翻訳モデルです。英語を経由して翻訳する場合は、翻訳モデルが2つ必要です。一般的なパソコンでは、処理に動画の長さの約1〜3倍の時間がかかります。お使いのグラフィックスカードが WebGPU に対応している場合は「実行環境」で選択できますが、通常はプロセッサのほうが高速です。
翻訳できる言語
音声は99の言語で認識でき、言語は自動で検出されます。翻訳は英語と約24の言語の間で行え、それ以外の組み合わせは英語を経由する2段階の翻訳になります。
| 翻訳元 | 翻訳先 | 方法 |
|---|---|---|
| 中国語 | 英語 | 専用モデル |
| 英語 | 中国語 | 専用モデル |
| 中国語 | ドイツ語、フランス語、スペイン語、ロシア語、ベトナム語、アラビア語など | 英語を経由(2段階) |
| 日本語、韓国語、ほとんどのヨーロッパ言語 | 英語 | 言語ごとの専用モデル |
| すべての言語 | 日本語、タイ語、トルコ語、ギリシャ語、ポーランド語 | 汎用モデル(精度はやや低め) |
「翻訳先の言語」の下に、選んだ組み合わせのダウンロードサイズが表示され、汎用モデルを使う場合は注意が表示されます。韓国語は他の言語への翻訳は可能ですが、翻訳先としてはまだ選べません。
中国語の動画と中国語字幕
- 精度:中国語の音声には、「音声認識の設定」で「最高精度」を選んでください。小さいモデルよりも誤認識が大幅に減りますが、高性能なパソコンが必要です。
- 簡体字:Whisper は繁体字で出力することがあります。同じ設定にある「中国語を簡体字で出力」はデフォルトでオンになっており、繁体字を簡体字に変換します。
- 句読点:中国語への翻訳には、「,」や「。」などの中国語の句読点が使われます。
- 行の長さ:行を折り返すときは、中国語・日本語・韓国語の文字を2文字分として数えるため、字幕が横に長くなりすぎません。
バイリンガル字幕
バイリンガル字幕は、原文とその翻訳を上下に並べて表示します。語学学習や、2つの言語の話者が視聴する動画に人気です。「表示」で「両方」を選び、翻訳を上の行にしたい場合は「翻訳を上に表示」にチェックを入れます。ダウンロードするファイルでは、「原文」「翻訳」「バイリンガル」のテキストを選択でき、形式は SRT、VTT、TXT から選べます。
結果の確認と修正
各行のタイミングはおおよそのもので、通常は1秒前後のずれに収まります。字幕リストでは、原文と翻訳の編集、開始・終了時刻の変更、行の分割や結合ができ、「全体をずらす」ですべての行をまとめて前後にずらせます。すでに字幕ファイルがある場合は、「SRT / VTT を読み込む」から「字幕を翻訳」を使うと、音声を再認識せずに既存のファイルを翻訳できます。
テキストが整ったら、「クラシック白」「ボックス」「TikTok 太字」などのスタイルを選んで、MP4、WebM、MOV、MKV の動画に字幕を焼き込むか、YouTube などのプレーヤー用に字幕ファイルだけをダウンロードします。元の言語だけの字幕を作りたい場合は字幕を追加をご利用ください。長い録画は、先に動画をカットで必要な部分だけ切り出し、完成したファイルは動画を圧縮で軽くできます。