MENU

カスタムモデルはAI英会話の認識をどこまで鍛えられるのか。学習データと効き方を公式仕様から分解した

AI英会話が自分の英語を毎回きれいに文字にしてくれないとき、直せるのは自分の発音だけではない。

聞き取りを担当している部品そのものを、あとから鍛える手段が用意されているからだ。

それがカスタムモデルだ。

ただし、この仕組みが鍛えているものは、多くの人が想像するものとは少し違う。

公式ドキュメントを読むと、カスタムモデルが減らせる誤りの種類まで名指しで書かれている。

つまり、何が直って何が直らないかは、最初から仕様として決まっている。

この記事では、マイクロソフトとグーグルの開発者向け公式ドキュメントの記述だけを材料にして、カスタムモデルの学習データと効き方を分解する。

サービスの順位づけはしない。仕組みの話だけをする。

TOC

【結論】AI英会話のカスタムモデルは、聞き取り側の語彙を足すもので発音の物差しではない

先に答えを置く。

マイクロソフトのCustom Speechの概要ページは、この機能の目的を、自分のアプリや製品に合わせて音声認識の正確さを測り、そのうえで引き上げることだと位置づけている(Custom Speech とは?)。

ここで言う正確性は、あなたの英語の正しさではない。機械が音を文字に起こしたときの当たり外れのことだ。

やりたいことカスタムモデルの守備範囲か
専門用語・製品名・人名を正しく文字起こしさせる◎ これが本来の用途
雑音の多い環境での聞き取りを底上げする○ 音声データを使った学習が該当する
表示のされ方(大文字・数字の書式)を整える○ 表示フォーマットのルールで扱う
学習者の発音を採点する✕ 別機能(発音評価)の担当
英文法の間違いを直す✕ 言語モデル側の担当

⇒ カスタムモデルは「機械の耳に単語を覚えさせる」仕組みであって、学習者の力を測る物差しではない。

この線引きを押さえたうえで、中身を開けていく。

AI英会話のカスタムモデルはベースモデルの上に積む

カスタムモデルは、ゼロから作るものではない。

既定で動いている土台は、マイクロソフトが自社で持つデータから学習されたもので、世の中で広く話されている言葉づかいを写し取った汎用品だと説明されている。

そして、この土台のままでもたいていの認識用途はまかなえる、という趣旨の但し書きが添えられている。

カスタムモデルの役割は、その土台を置き換えることではない。

ドキュメントの整理では、テキストを食わせて土台の守備範囲を広げ、そのアプリでしか出てこない語を拾えるようにする作業になる。

ここには、英語学習者にとって重要な但し書きがある。

学習データのページは、米国英語のように話者の多い言語を扱うなら、音声を用意してまで鍛える必要性は薄いと書いている(Custom Speech のトレーニングとテスト データ)。

理由も続けて示されていて、そうした言語なら土台の段階で認識の出来がすでに良いから、というのがその根拠だ。

⇒ 英語の聞き取り精度は、そもそも土台の時点でかなり高い。 カスタムモデルが埋めるのは、その土台が知らない語の穴だ。

運用の安定性についての記述もある。土台の新版が出たあとも、いま使っているモデルの認識品質は揺れない、という設計だ。

一度固定したモデルは、こちらが乗り換えを決めるまで動かない。

AI英会話のカスタムモデルに入れられる学習データは5種類

学習に使えるデータの種類と分量は、表の形で公開されている。

公式の「データ型」の一覧から、学習に使う側だけを抜き出して並べ直すとこうなる。

データ型学習に推奨される量
音声のみ1〜100時間(en-US はプレビュー扱い)
音声+人手で付けた書き起こし1〜100時間
プレーンテキスト関連するテキストで1〜200MB
構造化テキストクラスは最大10個/1クラスに項目は最大4,000/学習用の文は最大50,000
発音発音を書いたテキストで1KB〜1MB
表示形式ITNは最大200行/書き換えは1,000行/不適切語のフィルターは1,000行

この表でいちばん効くのは、いちばん軽いデータだ。

公式は、まずプレーンテキストか構造化テキストから手を付けるよう勧めている。

理由は速さで、テキストでの学習は分の単位、音声での学習は日の単位という差がそのまま書かれている。

同じページには、テキストだけで鍛える場合は数分で片づく、という記述もある。

なお、表の最後にある「表示形式」は、数字や日付の書き方など出力の見た目を決めるルールで、逆テキスト正規化(ITN)の詳細は別ページにまとまっている(表示テキストの書式設定)。

一方で、音声を使う学習は桁が違う。

  • 学習の処理そのものが、終わるまでに数日かかることもあると明記されている。
  • 専用ハードウェアのあるリージョンでも、使われる音声は最大100時間まで。1日に処理できる量は約10時間とされている。
  • 土台が音声での学習に対応していない場合、実際に使われるのは書き起こしのテキストだけになる。

⇒ 語彙を足すだけなら数分、声そのものに慣れさせるなら数日。同じ「学習」でも別物だ。

AI英会話のカスタムモデルに渡すテキストには細かい作法がある

テキストなら何でもいい、というわけではない。

プレーンテキストの要件は、文字コードから行数まで指定されている。エンコードはUTF-8 BOM、1行につき発話は1つ、ファイルの上限は200MBだ。

中身についての制限も具体的だ。

  • 同じ語の繰り返しは3回まで。 文字でも単語でもひとかたまりの語句でも、4回以上そろえるのは避けるよう書かれている。度を越したぶんはサービス側で落とされることがある、という注意つきだ。
  • URIは受け付けない。 こちらは拒否されると一行で切られている。
  • 日本語は分割が推奨されている。 日本語や韓国語のような言語では、まとめて放り込むと取り込みが遅れたり時間切れになったりするため、1ファイル2万行を上限に割るよう促されている。
  • 関係ない文は入れない。 用途から外れた文章はモデルの足を引っぱりうる、と明記されている。

構造化テキストのほうは、発音まで書き込める。

マークダウン形式で @list と例文を定義する方式で、リストは20個まで、1つのリストに入る項目は35,000までと決められている。

そして speech:phoneticlexicon という項目があり、cat と聞こえる語の読みを k ae t へ寄せたいときに - cat/k ae t と書く例が公式に載っている。

上限は、エントリが15,000まで、1語につき発音は2つまでだ。

独立した発音ファイルのほうも形式が決まっていて、画面に出る側の表記と、読みを表した側の表記を、タブで区切って並べる。公式の例は 3CPO three c p o、CNTK c n t k といった具合だ。

ただし、ここには強い警告がついている。

ありふれた単語の読みを、この発音ファイルで書き換えてはならない、というのがその警告だ。

ついでに、この手法の効き目についても率直に書いてある。Xboxを2語に割って読ませる例の直後に、全体の精度までは上がらないが、狙った語やその周辺の語の認識なら伸びる余地がある、と添えられている。

⇒ 発音登録は全体の底上げではなく、狙った語の一本釣りだ。

AI英会話のカスタムモデルが減らせるのは「置換エラー」だけ

ここが、この記事でいちばん大事な一文かもしれない。

公式ドキュメントは、カスタムモデルの効き方を明確に限定している。

カスタム音声が掴んでいるのは語の前後関係までで、そこから減らせるのは置換の誤りに限られる。挿入と削除は対象外だと名指しで書かれている。

この「挿入・削除・置換」は、音声認識の誤りを数えるときの3分類だ。

誤りの種類どんな状態か公式が挙げる原因
挿入 (I)認識結果の側に、実際には無かった語が足されている雑音の多い場所での録音や、複数人の声のかぶり
削除 (D)認識結果の側で、あったはずの語が拾われていない音の信号そのものが弱いこと
置換 (S)別の語に化けている(公式の例=John が Jones になる)その分野の用語の例が足りていないこと

⇒ 学習データを足して直るのは、3つのうち置換だけだ。

言い換えると、聞き取られなかった(削除)・余計な語が増えた(挿入)という現象は、語彙を足しても構造的に減らない。

公式が挙げている処方箋も、そちらは録音側の話になっている。削除が多いなら、音源のより近くで録れ、という助言だ。

学習者の立場に置き換えるなら、認識がおかしいときにまず疑うべきは辞書ではなくマイクと部屋ということになる。

AI英会話のカスタムモデルの効き目はWERという数字で測る

効いたかどうかは、印象ではなく計算式で判定される。

使われるのは単語誤り率(WER)だ。認識の途中で誤りと判定された語を数え上げ、人の手で正解を付けた原稿に含まれる語の総数(N)で割る、という形で公式は説明している(Custom Speech モデルの正確性をテストする)。

式そのものも載っていて、WER = (I+D+S) / N × 100 という形だ。先ほどの3分類が、そのまま分子に入っている。

そして、良し悪しの線引きまで数字で書かれている。

  • 5〜10%=品質は良好で、そのまま使い始めてよい水準。
  • 20%=使えなくはないが、学習を足すことを勧められる水準。
  • 30%以上=品質が低い側と判定され、作り込みと学習が要る水準。

用途ごとの目安も別表で公開されている。音声アシスタントとディクテーションはWER10%未満に届きうる領域、コールセンターは30%未満、動画の字幕は50%未満が目安として置かれている。

⇒ 同じエンジンでも、使う場面によって「当たり前の精度」がまるで違う。

AI英会話は、静かな部屋で1人がマイクに向かって話す形が多い。上の表でいえばディクテーションに近い条件になる。

ただしディクテーションの欄は、置換エラーの発生しやすさが「高」と書かれている。聞き逃しは少ないが、別の単語に化けやすい条件ということだ。

テストのやり方にも注意書きがある。測定に使う音のデータは、学習で使ったものとは別に用意することが大切だとされ、鍛えた素材でそのまま採点する形は勧められていない。

AI英会話のカスタムモデルに要る音声データは条件が細かい

音声で鍛える場合、ファイルの仕様まで決まっている。

プロパティ値
ファイル形式RIFF(WAV)
チャンネル1/モノラル
サンプルレート8,000Hz か 16,000Hz
サンプル形式PCM・16ビット
1ファイルの最大長テスト=2時間/学習=40秒
Zipの最大サイズ2GB、またはファイル10,000本

40秒という上限には続きがある。これを超えた音源では、対になっている書き起こしのテキスト側だけが学習に回される。

そして、手持ちの音源が1本残らず40秒超だった場合は、学習そのものが失敗する。

録音そのものへの助言も、そのまま学習者に使える。

  • できる範囲で、声の始まりと終わりに0.5秒以上の静かな部分を残す=話し出しと話し終わりに余白を作る。
  • 本番で使う機材そのもので録る=実運用と違うマイクで集めない。
  • 素材を集め始める前に、マイクと信号処理まわりの入れ替えを検討しておく=機材は先に見直す。
  • なまり、方言、複数言語の混在、年齢、性別、声の高さ、話し手の緊張の度合い、録った時間帯まで、幅を持たせて集める。

⇒ 小さすぎる音や、背景がうるさい録音は、公式の言い方でも役に立たない。 ただし、それを入れたせいでモデルが壊れることもない、と書き添えられている。

AI英会話のカスタムモデルに当たる仕組みはグーグル側にもある

同じ発想は、別の会社のドキュメントでは別の名前で説明されている。

グーグルのSpeech-to-Textでは「model adaptation」と呼ばれ、狙った語や言い回しを、ほかの候補より選ばれやすくする機能だと説明されている(Cloud Speech-to-Text のモデル適応ドキュメント)。

ドキュメントが挙げている例が分かりやすい。weather と whether のように、音が近くて綴りが違う語をどちらに倒すかを指定できる。

英語学習の目線だと、この「同音異義の取り違え」はまさに毎日起きるやつだ。

もう1つの例は fair と fare で、こちらは重みづけの説明に使われている。

重みづけの機能は boost と呼ばれる。既定のままだと効き目は控えめで、とくに1語だけのフレーズでは弱い、と公式は認めている。

値の決め方も具体的だ。boostには0より大きい小数を渡す形で、実用上の上限は20あたりという目安が示されている。

そして、上げすぎたときの副作用まで書いてある。

値を高くすると聞き逃し(false negatives)は減る。その代わり、話していない語が結果に紛れ込む側(false positives)の確率が上がる、とされている。

複数語のフレーズを登録したときの挙動にも注意書きがある。効くのは登録した並びが丸ごと一致したときだけで、一部だけ合っても発火しない。

⇒ 語を覚えさせる機能は、強くすれば良いというものではない。 公式ドキュメント自身が、上げすぎの副作用を明示している。

AI英会話のカスタムモデルを使わずに語を覚えさせる手もある

モデルを作らずに、その場のリクエストだけで語を効かせる方式もある。

OpenAIの音声認識ガイドは、プロンプトの使いどころとして、製品名・専門用語・頭字語を正しく書き起こさせる場面を挙げている(OpenAI Speech to text ガイド)。

さらに keywords というパラメータがあり、使い分けも明記されている。ここに入れるのは、実際に聞こえてくるはずの語そのものだ。

ここにも、効き目についての正直な但し書きがある。

キーワードはあくまで手がかりであって、その語を必ず出力させる指定ではない、と書かれている。

続けて、関係する語だけに絞って入れること、そして精度が上がったかどうかは、話していない語が湧いてこないかとセットで確かめること、とも書かれている。

古いモデルについては制限も示されていて、whisper-1 ではプロンプトが224トークンまでに収まるため、長い用語リストには向かないと説明されている。

⇒ 語彙を足す手段は3段階ある。 リクエストごとのヒント、語のリストによる重みづけ、そしてモデルそのものの学習だ。

  • リクエストのヒント=キーワードを列挙するだけ。効きは弱い(公式の言い方では hints)。
  • 語句の重みづけ=語句のリストに数値を添える。効きは中くらいで、上げすぎの副作用がある。
  • カスタムモデル=テキストや音声の学習データを用意する。効きは強いが、減らせるのは置換エラーだけ。

AI英会話のカスタムモデルに関するよくある質問

Q. カスタムモデルを鍛えると、自分の英語が上達しやすくなるのか。 A. 公式ドキュメントが書いている効果は「音声認識の正確性」の改善であって、話し手の能力ではない。学習者側の恩恵は、言い間違いではない部分で誤変換されるいらだちが減ることにある。

Q. 自分の発音のクセを覚えさせれば、雑に話しても通じるようになるのか。 A. 音声を使った学習は、なまりや話し方の癖、周囲の雑音に対する認識の当たりを良くする用途だと書かれている。ただし、通じやすくなるのはそのモデルの中だけで、人間相手の会話に持ち出せる話ではない。

Q. 学習データは多いほど良いのか。 A. 公式は、そのモデルで書き起こす予定のデータだけを入れるよう指示しており、用途から外れたデータは認識品質の足を引っぱりうるとしている。量よりも範囲の一致が先だ。

Q. WERが下がれば聞き取りは良くなったと言えるのか。 A. WERは (I+D+S) / N × 100 で計算される指標だ。数字が下がれば誤りは減っているが、公式は誤りの内訳がどう散らばっているかも見るべきだとしている。分布を見ないと、次に何を直すかは決まらない。

Q. 文字起こしが変なとき、まず何を疑えばいいのか。 A. 公式ドキュメントの分類に沿うなら、抜け(削除)は信号の弱さ、余計な語(挿入)は雑音や声のかぶり、化け(置換)は語彙の不足だ。語彙の話は3つのうち1つでしかない。

まとめ|AI英会話のカスタムモデルは「耳の語彙」を足す仕組み

もう一度、要点だけ並べる。

  • カスタムモデルはベースモデルを拡張するもので、目的は「音声認識の正確性」の改善。学習者の発音を測る機能ではない。
  • 学習データはテキストなら数分、音声なら数日。英語のような主要言語では、音声での学習の必要性は低いと公式が書いている。
  • 減らせる誤りは置換エラーだけ。挿入と削除は対象外だと名指しされている。
  • 効き目はWERで測る。5〜10%が良質、30%以上は低品質という線引きまで公開されている。
  • グーグル側の boost は実用上の上限が20とされ、上げすぎると話していない語が出る副作用が書かれている。

⇒ 「AIが自分の英語を聞き取ってくれない」は、発音の問題とは限らない。 語彙・信号・雑音のどれなのかは、公式が定義した3分類で切り分けられる。

そして、その切り分け方も上限の数字も、部品を売っている会社が最初から全部書いている。

※本記事の一次ソースは、各公式ドキュメントを2026-09-16および2026-09-18に取得した生テキストで確認した。仕様は更新されるため、最新は各公式ドキュメントで確認してほしい。

Let's share this post !

Author of this article

Comments

To comment

TOC