MENU

アバターはAI英会話の裏で何をしているのか。画面の人物が口を動かす仕組みを公式仕様から分解した

AI英会話の画面に人物が映っていて、こちらの発話に合わせて口を動かす、あのアバターは、撮りためた動画を再生しているわけではない。

公式の仕様を開くと、画面に出ているのは合成された映像だと書いてある。

しかも、その映像は音声より後に作られている。

先に声が確定し、その声に合う口の形を予測して、ようやく絵が出てくる順番になっている。

並びが「絵から声」ではなく「声から絵」であること、ここがこの技術のいちばんの勘所だ。

Microsoft のテキスト読み上げアバターの概要は、この機能を、書いた文章を人間そっくりのデジタル動画に変えて読ませる仕掛けだと位置づけている。

この記事では、AIの部品を売っている会社の開発者向けドキュメントに書かれた値だけを材料にして、画面の中の人物が動くまでの順番を開けていく。

サービスの順位づけはしない。

仕組みの話だけをする。

TOC

【結論】AI英会話のアバターは、絵を動かすのではなく「音から映像を予測」している

先に答えを置く。

カスタムテキスト読み上げアバターの公式ページは、アバターのモデルが3つの部品を直列につないだものだと明記している。

部品受け取るもの出すもの
テキストアナライザー読ませたい文章音素のならび
オーディオシンセサイザー同じ文章音声(標準またはカスタムの音声モデルが担当)
アバタービデオレンダラーできあがった音声音声に口を合わせた画像を予測して作った動画

⇒ 絵は最後に来る。しかも公式が使っている動詞は「予測」だ。

文章がいきなり映像になるのではなく、いったん音の単位に分解され、音として鳴ってから、その音に合う顔が作られている。

この並びを頭に入れておくと、口の動きだけが妙にずれて見える場面も、画質が途中で良くならない理由も、あとから説明がつく。

アバターは、映像制作の機能ではなく、音声合成の出口に増設された機能だということになる。

AI英会話のアバター①|出口が2つあり、動画向けと会話向けで用途が割れる

映像の作り方は、公式の時点で2通りに分かれている。

  • あとでまとめて作る=バッチ合成のAPI。動画ファイルとして書き出す用途。
  • その場で作る=リアルタイム合成。相手として画面に出しておく用途。
  • Foundry のツールを開けば、コードを1行も書かずに動画コンテンツを作る道もある。

相手と会話する場面で使われるのは、当然ながら後者になる。

概要ページは、Foundry の Voice Live を通してリアルタイムのアバター会話を有効にできること、そしてアバター付きの音声エージェントを組めることを、機能の一覧に並べている。

つまり同じ「アバター」という名前の下に、教材動画を量産する用途と、会話の相手として同席する用途の両方が入っている。

そして後で見るとおり、この2つは同じ機能なのに仕様表の値が一部違う。

学習者が話しかけている相手は、動画ではなくリアルタイム合成のほうだと考えてよい。

公式は、標準アバターをコレクションとして用意していて、その一覧が別ページに置かれているとも書いている。

つまりアプリ側は、ゼロから人物を作らなくても、並んでいる中から1体を選んで会話に出すことができる。

AI英会話のアバター②|ビデオ型は全身まで、写真型は頭だけに限られる

アバターの種類は、素材の違いで2つに分かれる。

ビデオアバターは、動画の録画を使って微調整したモデルから生成され、半身と全身の表現に対応すると書かれている。

もう一方の写真アバターは、入力画像1枚をプロンプトとして作るもので、頭だけの表現に限定される。

写真のほうにはさらに枝が2本あって、1枚から話す頭の動画を起こす標準版と、自分の画像で見た目を微調整するカスタム版に分かれる。

概要ページは、写真アバターに Microsoft の VASA モデルを使うとも書いている。

⇒ 「上半身まで映るのか、顔だけなのか」は演出の趣味ではなく、元になった素材の差だ。

顔しか映らないアプリを見たら、その裏にあるのは写真1枚だった可能性が高い、という読み方ができる。

公式は、アバターのモデルがさまざまな言語の人間の動画サンプルを使ったディープニューラルネットワークで訓練されていて、標準音声とカスタム音声のすべての言語に対応できると書いている。

顔の作りと、しゃべる言語は、ここでも切り離されている。

AI英会話のアバター③|解像度もコーデックも、仕様の側で決め打ちされている

画面の粗さは、アプリの手加減ではなく仕様表に書いてある値だ。

型解像度毎秒のコマ数コーデック(バッチ/リアルタイム)
ビデオアバター1920 x 1080(4Kの訓練も選べる)25H264・HEVC・VP9・AV1 / H264
写真アバター512 x 51225H264・HEVC・VP9 / H264

コマ数はどちらの型でも25で固定されている。

容器のほうも細かく指定されていて、mp4 で出すなら H264・HEVC・AV1、webm で出すなら VP9・AV1 から選ぶ形になる。

このうちアルファチャネル、つまり背景を抜いた状態を持てるのは vp9 だけだと明記されている。

一方、その場で作るリアルタイム合成のコーデックは H264 に固定される。

ビットレートは要求ごとに設定でき、既定値は 2,000,000 と書かれている。

背景を自由に差し替えられるアプリとそうでないアプリがあるのは、この一行の差から来ている。

会話の相手として出ているアバターの背景が固定なのは、リアルタイム側にアルファチャネルを持てる容器が並んでいないためだと読める。

AI英会話のアバター④|声は別の部品で、選び方が3通りある

アバターの声は、顔とは切り離して選ぶ。

標準で用意された音声を当てる道と、選んだ音声タレントのカスタム音声を当てる道があり、対応する言語はテキスト読み上げのそれと同じだと書かれている。

カスタムアバターの場合は、声の作り方が3つに整理されている。

方式何から作るかアバターから切り離せるか
アバターの音声同期訓練に使った動画の音声切り離せない(カスタムビデオアバター専用)
プロの声追加のデータで微調整切り離せる(別機能・申請も別)
個人の声本人の音声切り離せる

音声同期は、公式が「最も効率的なカスタム音声の選択肢」と位置づけているが、使えるのはカスタムビデオアバターだけだ。

プロの声を組み合わせるなら、微調整した音声モデルを、アバターがサポートしているリージョンへデプロイするかコピーする必要がある。

個人の声は、音声同期と同等の品質を保ちつつ、アバターと切り離しても使えると書かれている。

⇒ 画面の人物と、その人物の声は、最後まで別の部品として管理されている。

AI英会話のアバター⑤|動かせる場所が、地図の上で11拠点に絞られている

アバターは、音声サービスのどの拠点でも動くわけではない。

サポートされているリージョンの表を数えると、音声テキスト変換などの主要機能が並ぶ表には33の拠点がある。

ところがアバターの表に名前が載っているのは、次の11だけだ。

  • アメリカ側=westus2/eastus/eastus2/southcentralus
  • アジア側=southeastasia/centralindia
  • ヨーロッパ側=westeurope/swedencentral/northeurope/italynorth/francecentral
  • このうち francecentral には注記が付いていて、容量が限られていると書かれている。

日本の2拠点、すなわち東日本と西日本は、この11の中に入っていない。

さらにアバターの表は6つの列に分かれていて、リアルタイム/バッチ/カスタム/ビデオの訓練/写真の作成/音声同期のどれが使えるかが拠点ごとに違う。

6列すべてに印が付いているのは westus2・southeastasia・westeurope の3つだけである。

⇒ 日本語を話すアバターは作れても、その映像を作る計算はこの11拠点のどれかで回ることになる。

AI英会話のアバター⑥|同意と審査が、作りはじめる前の工程に入っている

カスタムアバターは、申し込めば誰でも作れるものではない。

公式は、この機能へのアクセスが資格と使用条件に基づいて制限されており、フォームから申請する形だと書いている。

カスタム写真アバターについては、そこからさらに別枠で申請が要るとされている。

素材の側にも下限があり、カスタムビデオアバターには最低10分の動画録画、カスタム写真アバターには写真と約1分の同意音声が必要だと明記されている。

手順の1番目に置かれているのは、同意書を読み上げているところを撮った動画を取得する作業だ。

その同意の検証は、モデルの訓練が走っている最中に行われると書かれている。

⇒ 本人の同意が、ファイルの一種として学習データに同梱される設計になっている。

なお服装や髪型といった外観の変更はサポートされておらず、見た目を変えたければスタイルごとに別のモデルを訓練することになる。

AI英会話のアバターが、学習者の画面に出てくるところ

ここまでの値を、画面で起きる現象のほうから並べ替えてみる。

画面で起きること仕様のどこから来ているか
顔しか映らない写真アバターは頭だけの表現に限られる
上半身や全身が映るビデオアバターが半身と全身に対応している
画質が途中で良くならない解像度とコマ数が仕様表で固定されている
背景が抜けている/抜けていないアルファチャネルを持てるのは vp9 だけ
顔と声の印象がちぐはぐ声はアバターとは別の部品として選ばれる

どれも、学習者の英語力とはまったく関係のない層で決まっている。

逆に言えば、アバターの出来ばえから教材の質を読み取ることはできない。

Azure Speech の概要ページも、言語学習の欄には発音評価・リアルタイムの文字起こし・ニューラル音声による教材の読み上げを挙げていて、アバターの作成はその隣に別の項目として置かれている。

見た目を担当する部品と、学習の中身を担当する部品は、公式の一覧の上でも別の行なのだ。

料金の面でも、アバターのリアルタイムセッションやバッチでの制作の全体を通して、テキスト読み上げの分は個別に支払う形だと書かれている。

顔と声の課金が分かれているという事実も、2つが別部品だという話と平仄が合っている。

AI英会話のアバター|よくある質問

Q. アバターは、あらかじめ撮った動画の使い回しなのか。 A. 公式は、モデルが音声に口を合わせた画像を予測して合成動画を生成すると書いている。素材こそ動画や写真だが、流れている映像はその場で作られたものだ。

Q. なぜ画質が上がらないのか。 A. 解像度とコマ数が仕様として固定されているからだ。

ビデオアバターは既定で 1920 x 1080、写真アバターは 512 x 512、どちらも毎秒25コマと書かれている。

Q. 声だけを他の用途に回せるのか。 A. 方式による。

公式ページは、音声同期で作った声はアバターと排他的に結び付いて個別には使えない、個人の声なら個別にも使えると分けて書いている。

Q. 自分の顔でアバターを作れるのか。 A. 仕組みの上で該当するのはカスタム写真アバターだが、アクセスが制限されており、写真に加えて約1分の同意音声が要る。

実在の人物の写真なら、先に本人の同意を取る必要があるとも書かれている。

Q. 日本の拠点でアバターを動かせるのか。 A. リージョンの表のアバター欄に載っているのは11拠点で、東日本と西日本はそこに含まれていない。

まとめ|AI英会話のアバターは「音から絵を起こす」機能である

もう一度、要点だけ並べ直す。

  • モデルは3部品の直列=文章を音素に分けるところ、音声を作るところ、その音声に絵を合わせるところ。絵は最後だ。
  • 出口はバッチ合成とリアルタイム合成の2つ。会話の相手として出ているのは後者。
  • 型はビデオアバターと写真アバターの2つ。映る範囲が全身までか頭だけかは、ここで決まる。
  • 解像度・コマ数・コーデックは仕様で決め打ち。背景を抜けるのは vp9 だけ。
  • 動かせるのは11拠点だけで、カスタム版は同意の動画と申請が前提になる。

⇒ AI英会話でアバターを見るときは、映像の出来ばえではなく「どの部品が、どの順番で仕事をしたか」で見る。

そうすれば、口のずれも、粗い画質も、抜けない背景も、仕様の側から説明がつく。

※本記事の一次ソースは、各公式ドキュメントを2026-09-20に取得した生テキストで確認した。

仕様は更新されるため、最新は各公式ドキュメントで確認してほしい。

画面の口の動きと並ぶ、声の表情の作り方を知りたい人向けの記事です。

声の表情まで分解した記事

Let's share this post !

Author of this article

Comments

To comment

TOC