MENU

AI英会話の精度は何で決まるのか。単語誤り率(WER)と表示テキストの整形から分解した

「AI英会話の精度が悪い」という言い方は、そのままでは何も指していない。

精度という言葉が、少なくとも3つの別のものをまとめて指してしまっているからだ。

1つ目は、あなたが出した音を機械がどれだけ取り違えたかという数字。

2つ目は、その取り違えを測るために用意されたテストデータの質。

3つ目は、取り違えとは無関係に、画面へ出す文字をどう整えたかという整形処理だ。

この3つはまったく別の工程で、それぞれ別の公式ドキュメントに、別の仕様として書かれている。

この記事では、AIの部品を売っている会社が公開している開発者向けドキュメントの記述だけを材料にして、その3つを1つずつ開けていく。

サービスの順位づけはしない。仕組みの話だけをする。

TOC

【結論】AI英会話の精度は、単語誤り率という1本の割り算で決まっている

先に答えを置く。

音声認識の精度には、業界で共通に使われている測り方がある。

マイクロソフトは「モデルの正確性を測定するための業界標準は、ワード エラー率 (WER)」と書いている(Custom Speech モデルの正確性をテストする)。

式は次の1本だけだ。

記号何を数えるか
I(挿入)仮説トランスクリプトに誤って追加された単語
D(削除)仮説トランスクリプトで検出されなかった単語
S(置き換え)参照と仮説トランスクリプトの間で置き換えられた単語
N人間がラベル付けした文字起こしにある単語の総数

この I + D + S を N で割ったものが WER であり、画面には100を掛けたパーセントで出る。

⇒ AI英会話の精度とは、感想ではなく「間違えた単語数 ÷ 正解の単語数」という割り算のことだ。

そして、ここに載らないものが2つある。

1つは、画面に出る文字を読みやすく整える処理。もう1つは、その割り算を成立させるための人間の手作業だ。

この2つを知らないまま「精度が高い/低い」と言っても、何を褒めていて何に怒っているのかが自分でも分からなくなる。

AI英会話の精度の正体|WERは「3種類の間違い」を1本にまとめた数字

WERの本体は、誤りを3つの型に分けて数えるところにある。

同じ「間違い」でも、機械にとっては原因がまったく違う。

公式が挙げている例は短い1文だ。

認識結果に「a」という単語が余分に追加され(挿入)、「are」という単語が落ち(削除)、「John」が「Jones」に置き換えられた(置換)。

この例のワード エラー率は 60% だと明記されている(出典)。

たった3語ずれただけで60%になるのは、分母 N が短い文だからだ。

⇒ つまりWERは「短い発話ほど荒れる」性質を最初から持っている。

AI英会話で一言だけ返したときに認識が崩れやすく感じるのは、体感ではなく計算の構造による部分がある。

なお、数字の見え方にも仕様の差がある。

Microsoft Foundry ポータルと Speech Studio では商が100で乗算されパーセントとして表示されるが、Speech CLI と REST API の結果に100が乗算されることはないと公式が書いている。

同じモデルの成績が「0.12」と「12%」の二通りで出てくるということだ。

ローカルで同じ測定を再現したい場合は、NIST スコアリング ツールキット (SCTK) の sclite ツールを使えるとも書かれている。

AI英会話の精度は何%なら良いのか|公式が置いている合格ラインとシナリオ差

ここが、いちばん具体的に書かれている部分だ。

マイクロソフトはWERの水準について、次のように線を引いている(エラーの解決と WER の向上)。

WERの水準公式の書きぶり
5〜10%良質と見なされ、使用する準備ができている
20%許容範囲内だが、追加のトレーニングを検討することを推奨
30%以上低品質であることを示しており、カスタマイズとトレーニングが必要

⇒ 10単語に1つ間違える程度なら、開発側の基準では「良質」に入る。

この感覚のずれが、AI英会話の評価を荒らしている。

利用者は1文でも取り違えられると「精度が低い」と感じるが、作り手の物差しでは10%はすでに合格圏なのだ。

さらに、同じ技術でもシナリオによって出る数字がまるで違うと公式は書いている。

シナリオ音声認識の品質いちばん出やすい誤り
コール センターミディアム(< 30% WER)削除エラーが高くなる可能性あり
音声アシスタント高(< 10% WER の可能性あり)置換エラー(曲名・製品名・場所)
ディクテーション高(< 10% WER の可能性あり)置換エラー
動画の字幕動画の種類によって異なる(< 50% WER の可能性あり)削除エラー(音楽・ノイズ・マイク品質)

AI英会話の利用環境は、静かな室内でマイクに向かって短く話す形が多い。

条件としては音声アシスタントやディクテーションの列に近く、公式が「高」と置いた側に入る。

AI英会話の精度を測るには何が要るのか|テストデータの条件は想像より厳しい

WERは、比較する正解がなければ1ミリも計算できない。

公式は「精度をテストするには、音声と人間がラベル付けしたトランスクリプト データが必要」とし、30分から5時間の代表的なオーディオを提供するよう求めている(Custom Speech モデルの正確性をテストする)。

つまり人間が耳で聞いて逐語で書き起こした原稿が、先に要る。

データ種別ごとの推奨量も表になっている(トレーニングとテストのデータセット)。

データ型テストに使えるかテストの推奨量
オーディオのみはい(目視検査)5つ以上のオーディオ ファイル
オーディオ+人間がラベルを付けたトランスクリプトはい(精度の評価)0.5〜5時間のオーディオ
プレーンテキストいいえ適用なし
構造化テキストいいえ適用なし
発音いいえ適用なし

音声だけでは「目視検査」しかできない、と公式がはっきり分けている点が重要だ。

数値としての精度を出したいなら、人間の書き起こしを避けて通れない。

ファイルの側にも細かい条件がある。

  • ファイル形式は RIFF (WAV)。
  • サンプル レートは 8,000 Hz または 16,000 Hz。
  • チャンネルは 1(モノラル)、サンプル形式は PCM、16 ビット。
  • オーディオあたりの最大長は、テストで2時間、トレーニングで40秒。
  • アーカイブは .zip で、2 GB または 10,000 ファイルまで。

加えて「モデルで使用したものとは異なる音響データセットを選択することが重要」とも書かれている。

⇒ 学習に使った音声でそのまま採点すれば、数字はいくらでも良く見える。

公開されている精度の数字を読むときは、この分離ができているかどうかが最初の関門になる。

AI英会話の精度が「よく見える」もう1つの仕組み|表示テキストの整形

ここからが、精度と混同されやすい3つ目の工程だ。

音声認識の出力は、そのままでは読みにくい生の文字列でしかない。

そこで音声テキスト変換には、文字起こしされたテキストを明確で読みやすくするための書式設定機能が用意されている(音声テキスト変換での表示テキストの書式設定)。

代表が逆テキスト正規化(ITN)で、言語化されたフォームを対応するシンボリックな書き込み形式に変換する処理だ。

認識された音声表示テキスト
that will cost nine hundred dollarsThat will cost $900.
the time is six forty five p mThe time is 6:45 PM.
i live on thirty five lexington avenueI live on 35 Lexington Ave.
send it to support at help dot comSend it to support@help.com.

この変換はサービス側で完了し、構成できないと明記されている。

利用者側で切る設定は用意されていない、ということだ。

整形はITNだけではない。

  • 大文字化=固有名詞や文頭の単語を自動で大文字にする(my name is jennifer smith → My name is Jennifer Smith.)。
  • 不要な言葉の除去=「えーと」「あー」のようなつなぎ言葉や単語の重複を表示テキストから除去する(i uh said that we can go to the uhmm movies → I said that we can go to the movies.)。
  • 句読点=テキストに自動的に句読点を付ける(how are you → How are you?)。
  • 明示的な句読点=継続的認識では、SDKでディクテーション モードを有効にすると、声に出した「period」「question mark」を記号として解釈する。

⇒ あなたの発話がどれだけ言い淀んでいても、画面の英文はきれいに整って出てくる。

これは認識が正確だったことの証明ではなく、後段の整形が効いたことの証明だ。

AI英会話の精度を字面で測るTER|不適切表現のマスクまで採点に入る

整形まで込みで採点する指標も、ちゃんと用意されている。

公式は単語エラー率に加えて、トークン エラー率(TER)という発展的な測定を挙げている(トークン エラー率 (TER) を評価する)。

式はWERと同じ (I + D + S) ÷ N で、違いは単語レベルではなくトークン レベルで数えることだ。

TERは語彙形式に加え、句読点、大文字小文字の区別、ITNなどの表示形式の側面も考慮に入れると書かれている。

例として挙がっているのは that will cost nine hundred dollars と That will cost $900. の対比だ。

⇒ 同じ音声でも、WERとTERでは合格ラインが別になる。

TERを測るには、テストデータ側の文字起こしにも句読点・大文字小文字・ITNを含めておく必要があるとも注記されている。

もう1つ、表示を左右する設定が不適切表現フィルターだ。

設定値挙動
Masked不適切な言葉の文字をアスタリスク(*)に置き換える。既定のオプション
Raw不適切な言葉をそのとおりに含める
Removed不適切な言葉を削除する

フィルターは結果の Text および MaskedNormalizedForm プロパティに適用され、LexicalForm および NormalizedForm には適用されない。

さらにマイクロソフトは、不適切と見なす単語をフィルター処理の有無にかかわらず返さない権利を持つとも書いている。

⇒ 画面に出た英文と、機械が内部で持っている英文は、同じとは限らない。

AI英会話の精度を実際に決めているのは録音条件|ここは利用者側で動かせる

モデルを変えなくても動かせる変数が、入口の音にある。

グーグルは推奨と回避事項を1枚の表にしている(Best practices|Cloud Speech-to-Text)。

  • 16,000 Hz 以上でとる。低いサンプリング レートは精度を落とす可能性がある。ただし再サンプリングは避け、電話の8,000 Hzはそのまま送る。
  • 可逆コーデックを使う。FLAC または LINEAR16 が推奨で、mp3・mp4・m4a などの非可逆コーデックは精度を落とす可能性がある。
  • マイクを話者のできるだけ近くに置く。過剰な背景雑音とエコーは精度を落とす可能性がある。
  • ノイズ除去処理はかけない。送信前にノイズ低減信号処理を適用すると、通常は認識精度が下がるとされている。
  • 自動ゲイン制御(AGC)を使わない。音割れ(クリッピング)を避ける。
  • 複数人を別チャンネルで録っているなら、チャンネルごとに送る。同時に話す声は背景雑音として無視される可能性がある。

認識器は追加のノイズキャンセルなしで背景の声や雑音を無視するように設計されている、とも書かれている。

だから手前で音をいじるほど、機械が想定している入力から外れていく。

ストリーミングのフレーム サイズについては、遅延と効率のよい折衷として100ミリ秒が推奨されている。

AI英会話アプリの応答が速い代わりに取りこぼしが増えるように感じる場面があるとすれば、この遅延と効率の綱引きの中にいる。

要求の設定も精度に効く。

sampleRateHertz、encoding、language_codes、model を正しく記述することが、最も正確な文字起こしにつながると明記されている。

AI英会話の精度は学習で上げられるのか|カスタムモデルが減らせる誤りは限られる

ここには、はっきりした天井が書かれている。

カスタム モデルは、基本モデルを拡張してドメイン固有の語彙の認識を向上させる仕組みだ(Custom Speech の概要)。

ただし公式は「カスタム音声では、単語のコンテキストのみをキャプチャして、挿入エラーや削除エラーではなく置換エラーを減らすことができます」と書いている(出典)。

⇒ 学習で直せるのは3種類のうち1種類、置き換えの誤りだけだ。

聞き落とし(削除)と幻の単語(挿入)は、データを足しても構造的に減らない。

学習の重さにも差がある。

学習の材料かかる時間の目安推奨量
プレーンテキスト/構造化テキスト通常は数分で終了1〜200 MB の関連テキスト
オーディオ+人間がラベルを付けたトランスクリプト数日かかる場合がある1〜100時間のオーディオ

さらに「米国英語など、最も使用の多い言語の1つを使用する場合は、オーディオ データを使用してトレーニングする必要性は低い」とも書かれている。

英語圏向けのAI英会話がそこそこ最初から動くのは、この層の厚さによる。

固有名詞の読み違いには、発音データという別の逃げ道がある。

認識され表示されるフォームと音声フォームを並べる形で、3CPO を three c p o、CNTK を c n t k のように登録できる。

グーグル側にはboostという重み付けがあり、値は0より大きい浮動小数点で、実用上の最大値は20とされている(Model adaptation)。

ただし高いboost値は偽陰性を減らす一方で、音声に出ていない単語が文字起こしに現れる偽陽性の可能性も上げると明記されている。

⇒ 特定の単語を通りやすくする調整は、別の単語を誤って呼び出す副作用とセットになっている。

AI英会話の精度と「自信度」は別物|confidenceは0.0〜1.0の推定値にすぎない

アプリの画面に出る数字を、そのまま精度だと思わないほうがいい。

グーグルの認識結果には confidence という値が入る(Speech-to-Text basics)。

これは0.0から1.0の間の推定値で、音声中の各単語に割り当てられた「likelihood(尤度)」を集約して計算されると説明されている。

値が返るのは通常、最上位の仮説かつ is_final=true の結果だけだ。

しかも、最上位の結果が最高のconfidenceを持つとは限らない。

モデルは文の文脈など、confidenceスコア以外のシグナルも使って「最良」を決めているためだと書かれている。

珍しい単語を正しく認識した場合ですら、低い尤度が割り当てられることがあるという例まで添えられている。

そして公式は confidence を必須フィールドとしてコードに組み込まないよう求め、設定されない場合があり、正確でない場合もあると注意している。

⇒ 自信度は「機械の手応え」であって、答え合わせの結果ではない。

WERは人間の正解と突き合わせた後の数字、confidenceは突き合わせる前の見込みだ。

この2つを同じ「精度」という言葉で呼んでしまうと、話が噛み合わなくなる。

AI英会話の精度に関するよくある質問

Q. 自分の発音が悪いから認識されないのか。 A. 切り分けができる。置換エラー(別の単語になる)が多いなら語彙や発音の問題に寄っており、削除エラー(そもそも文字が出ない)が多い場合、公式は「通常、オーディオ信号の強度が弱いため」と書いている。後者はマイクの距離の話だ。

Q. 数字や金額がやたら正しく出るのはなぜか。 A. 逆テキスト正規化(ITN)が効いているからだ。nine hundred dollars のような言語化されたフォームを $900. という書き込み形式へ変換する処理が、サービス側で自動的に走っている(出典)。

Q. 言い淀みが消えるのは、聞き取れていないということか。 A. 違う。公式は「不要な言葉の除去」という機能として、口ごもりや単語の重複、つなぎ言葉を表示テキストから除去できると説明している。認識できたうえで、表示から外している。

Q. 静かな場所で使っているのに精度が上がらない。 A. 録音側の処理を疑う余地がある。グーグルは、送信前にノイズ低減信号処理を適用すると通常は認識精度が下がるとし、自動ゲイン制御を使わないこととノイズ低減処理をすべて無効にすることを推奨している(出典)。

Q. WERが10%なら、10回に1回しか通じないということか。 A. 違う。WERの分母 N は単語数であって発話の回数ではない。公式が「良質」と置いているのは5〜10%の範囲で、これは単語単位の誤り割合だ。

Q. 自分でAI英会話の精度を測ることはできるか。 A. 原理的にはできる。自分の音声を録り、人間が逐語で書き起こした原稿と機械の出力を突き合わせればよい。公式もローカルで同じ測定を再現する手段としてNIST スコアリング ツールキット (SCTK) の sclite ツールを挙げている。

まとめ|AI英会話の精度は「割り算」と「整形」を分けて見ると読める

もう一度整理する。

  • 精度の物差しは WER=(挿入+削除+置換) ÷ 正解の単語数。業界標準としてこの1本が使われている。
  • 公式の目安は5〜10%が良質、20%は許容、30%以上は低品質。利用者の体感より、作り手の合格ラインはずっと手前にある。
  • 誤りは3種類あり、削除は音の弱さ、挿入は雑音とクロストーク、置換は語彙の不足と原因が分かれている。
  • 画面の英文がきれいなのは、ITN・大文字化・不要語除去・句読点・不適切表現フィルターという別工程の仕事。精度の証明ではない。
  • confidence(自信度)は答え合わせ前の見込みで、公式自身が「正確でない場合がある」と注意している。

⇒ 「AI英会話は精度が高いか」ではなく、「どの工程の話をしているのか」で分けて見る。

入口の音(録音条件)は利用者が動かせて、真ん中の認識は3種類のうち置換しか学習で直せず、出口の整形は最初から自動で走っている。

この3つを分けた瞬間、精度の議論は感想から実測に変わる。

※本記事の一次ソースはすべて2026-09-11に各公式ドキュメントで確認した。仕様は更新されるため、最新は各公式ドキュメントで確認してほしい。

Let's share this post !

Author of this article

Comments

To comment

TOC