AI英会話の結果画面に、発音とは別枠で「語彙」「文法」「話題」といった点数が並ぶことがある。
これはコンテンツ評価（内容評価）と呼ばれる採点で、発音の点数とはまったく別の装置が出している。
発音の点数は音を測る専用の仕組みが出しているが、内容評価はチャットモデルに文章を読ませて点を付けさせている。
採点者が違えば、上がり方も下がり方も別の理屈になる。
この記事では、AIの部品を売っている会社の開発者向け公式ドキュメントの記述だけを材料にして、内容評価が何をどう採点しているのかを分解する。
サービスの順位づけやおすすめはしない。仕組みの話だけをする。
【結論】AI英会話の内容評価は、発音の採点とは別系統で動いている
先に答えを置く。
マイクロソフトの発音評価を使用するには、コンテンツ評価という節が置かれている。
そこに書かれているのは、次の2点だ。認識された発話の内容しだいで、語彙・文法・話題との関連という3つの観点の評価を受け取れること。そして、その3つを出させる手段として gpt-4o のようなチャットモデルを使う、ということ。
使われるのは、言語モデルである。発音の4項目を計算している仕組みとは出どころが違う。
| 採点の系統 | 出す数字 | 採点しているもの |
|---|---|---|
| 発音評価 | 精度・流暢さ・プロソディ・完全性 | 専用の音声テキスト変換モデルと重み付きの計算式 |
| コンテンツ評価 | ボキャブラリ・文法・トピックの関連性 | チャットモデルへの指示文と例 |
⇒ 同じ結果画面に並んでいても、内容評価の点は「計算された値」ではなく「言語モデルが返した値」だ。
AI英会話の内容評価が返す3つの数字は何か
公式ドキュメントには、実際にチャットモデルへ渡す指示文がそのまま載っている。
システムメッセージの中身は、英語教師の役をモデルに与えたうえで、生徒の作文を vocabulary と grammar と topic relevance の観点で採点させ、{"vocabulary": *.*(0-100), "grammar": *.*(0-100), "topic": *.*(0-100)} という形式で出力させるものだ。
- vocabulary（語彙）＝使った単語の水準。
- grammar（文法）＝文法の誤りと、使えている構文の水準。
- topic（話題）＝題（title）に対して内容がどれだけ沿っているか。
3つとも 0 から 100 の範囲で、小数を含む数字として返すよう指定されている。
注目すべきは3つ目だ。topic は、答案が与えられた題にどれだけ沿っているか（aligns with the title）を見る欄だと定義されている。
つまり話題の点は、英語力ではなく「お題から外れていないか」を見ている。
AI英会話の内容評価は、作文として読まれている
指示文が使っている単語は essay、つまり作文だ。
採点対象は音声そのものではなく、音声認識が書き起こしたテキストになる。
ユーザーメッセージ側には、その前提がはっきり書かれている。書き起こしは音声認識から来るので、必要に応じてまず句読点を足し、重複と口語の不要な「un」「uh」を取り除き、そのうえで語の誤用と文法の誤りを洗い出し、高度な語や構文を見つけて採点せよ、という手順だ。
ここに内容評価の性格が全部出ている。
言いよどみは減点材料ではなく、採点前に取り除く対象として扱われている。
そして、水準の高い語や構文を拾い出せ（advanced words）という一文が指示に含まれている以上、誤りの少なさだけでなく、使った表現の背伸びも点に効く設計になっている。
| 指示文が求めている手順 | 点への効き方 |
|---|---|
| 句読点を補う | 文の切れ目が決まる。長すぎる一文が分割される |
| 重複と「un」「uh」を除去 | 言いよどみ自体は減点に直結しない |
| 語の誤用と文法の誤りを探す | vocabulary と grammar のマイナス材料 |
| 高度な語と構文を探す | vocabulary と grammar のプラス材料 |
AI英会話の内容評価は、例を見せて基準を作っている
この採点には、明文化された配点表が存在しない。
代わりに使われているのが、採点済みの作文を3本先に見せるやり方だ。
公式が載せているユーザーメッセージは、Example1・Example2・Example3 として3本の文とその語彙点・文法点を並べ、そのあとに採点してほしい本文と題を置く構造になっている。
これはプロンプトの定番の手法で、OpenAIのプロンプトエンジニアリングのガイドでは few-shot learning として説明されている。
同ガイドの説明はこうだ。入出力の例をいくつか指示文に混ぜておけば、追加学習をやり直さなくても、モデルを新しい仕事のほうへ向けられる。モデルは示された例からパターンを暗黙のうちに拾い、それを目の前の入力に当てはめる。
つまり内容評価の採点基準は、渡された例の中にしか存在しない。
- 例を入れ替えれば、同じ答案の点は動きうる。
- 例の水準が高ければ辛口に、低ければ甘口に寄る。
- この3本の例はサービスごとに違い、利用者からは見えない。
⇒ 別々のAI英会話で内容評価の点を比べても、同じものさしで測った値にはならない。
AI英会話の内容評価は、書き起こしの加工結果に左右される
採点される文は、話した通りの文字列ではない。
マイクロソフトの音声テキスト変換での表示テキストの書式設定によれば、書き起こしには複数の加工が入る。
| 加工 | 公式の説明 |
|---|---|
| 逆テキスト正規化（ITN） | 言語化されたフォームを記号の書き形式に変換する。日付・時刻・小数点・通貨・住所・メール・電話番号などに対応 |
| 大文字化 | 文頭の語や固有名詞を自動的に大文字にする |
| 不要な言葉の除去 | 口ごもり、単語の重複、「えーと」「あー」のようなつなぎ言葉を表示テキストから除去できる |
| 句読点 | テキストに自動的に句読点を付けて分かりやすくする |
同ドキュメントは、i uh said のように言いよどみが混じった発話が、つなぎ言葉を落として先頭を大文字にし、末尾に句点を足した一文へ整えられる例を挙げている。
この加工が終わったテキストが、そのまま採点対象になる。
言い換えると、話し方の乱れは採点前にかなり掃除されているということだ。
逆に言えば、掃除しきれなかった部分は作文の欠陥として読まれる。
AI英会話の内容評価では、認識の誤りが文法の誤りに化ける
ここが内容評価の構造的な弱点になる。
採点者であるチャットモデルは音声を聞いていない。渡されたテキストが正しい書き起こしかどうかを確かめる手段を持たない。
マイクロソフトの音声テキスト変換の精度をテストするは、認識の誤りを3種類に分けている。
- 挿入（I）＝書き起こしに誤って追加された単語。
- 削除（D）＝書き起こしで検出されなかった単語。
- 置換（S）＝参照と書き起こしのあいだで置き換えられた単語。
同じ資料は原因にも触れており、削除が多いのは音声信号の強度が弱いとき、挿入はノイズの多い環境やクロストークがあるとき、置換はドメイン固有の用語のサンプルが足りないときに多いとしている。
ここで落ちた単語や入れ替わった単語は、そのまま文法の破綻としてチャットモデルの目に映る。
同ドキュメントは、機械の認識結果と人が付けた書き起こしの差を単語エラー率（WER）として測る方法を示し、5から10%のWERは良質、20%は許容範囲内、30%以上は低品質という目安も書いている。
⇒ 内容評価の点は、英語力と録音条件の合計になっている。
AI英会話の内容評価と、CEFRのレベル表示は別物
この3つの数字は、国際的な語学レベルの尺度とは無関係に作られている。
ケンブリッジ大学出版・アセスメントの語学レベルの国際的な基準についての解説によれば、CEFRとは語学の運用力を記述するために国際的に共有されている物差しである。
段階は6つ。入門者に当たる A1 から始まり、その言語を使いこなす域に届いた人を指す C2 で終わる、という並びだと説明されている。
一方、内容評価が返すのは 0 から 100 の3つの数字だ。
この2つを結び付ける換算表は、コンテンツ評価の説明の中には置かれていない。
したがって「文法 82点」は、CEFRのB2やC1を意味する数字ではない。
アプリ内でレベル表示が併記されている場合、そこは各サービスが独自に対応づけている部分だと考えるほうが仕組みに合う。
AI英会話の内容評価は、提供のされ方そのものが変わっている
公式ドキュメントは、コンテンツ評価の節の冒頭に重要の囲みを置いている。
要旨はこうだ。プレビュー扱いだったコンテンツ評価は、Speech SDK の 1.46.0 から先では廃止になる。代わりの道として案内されているのが、Microsoft Foundry モデルの Azure OpenAI を呼び出し、同じ節の手順で3つの点数を取りにいくやり方である。
つまり、音声のSDKに組み込まれた機能としての内容評価は畳まれ、チャットモデルを自前で呼ぶ形に置き換えられている。
これは利用者から見ると、採点の中身がサービス側の実装に大きく依存するようになったということだ。
- どのチャットモデルを使うかがサービスごとに違いうる。
- 指示文と例文を書き換えれば、採点の辛さが変わりうる。
- 発音の4項目のような共通の計算式は、内容評価の側には示されていない。
なお出力を決まった形に固定する手段自体は用意されている。
OpenAIのガイドは、平文のほかにJSON形式の構造化データを返させる Structured Outputs という機能があると説明している。点数がJSONで返ること自体は、こうした仕組みで担保できる部分だ。
AI英会話の内容評価を上げるために、仕組みから言えること
採点者が「作文を読む英語教師」である以上、打ち手は発音練習とは別方向になる。
- お題から外れない。topic の定義は題との整合そのものなので、内容がそれると英語の出来と無関係に下がる。
- 言いよどみを気にしすぎない。重複や「un」「uh」は採点前に取り除く手順が指示文に入っている。
- 一段上の語と構文を混ぜる。高度な語と構文を探せという指示がプラス方向の材料になっている。
- はっきり発音し、静かな場所で話す。認識の誤りは書き起こしを通じて文法点に転嫁される。
- サービスをまたいで点を比べない。基準になる例文が公開されていない以上、同じ尺度ではない。
内容評価は、発音の点のように仕様書で追える数字ではない。
公開されているのは、指示文の形と、返る数字の範囲と、採点者がチャットモデルであるという事実までだ。
AI英会話の内容評価に関するよくある質問
Q. 内容評価は発音の点と何が違うのか。 A. 採点者が違う。発音の4項目は専用の仕組みと重み付きの計算式で出るが、コンテンツ評価はチャットモデルを使って取得すると公式に書かれている（出典）。
Q. 話題の点だけが極端に低いことがある。 A. topic は「作文が題にどれだけ合っているか」を見る項目だと指示文に定義されている。英語の出来ではなく、内容がお題から離れたときに下がる設計だ。
Q. 同じような話をしたのに点が違う。 A. 採点の基準は、指示文に添えられた3本の採点済みの例から作られている。例が違えば基準も変わるので、サービス間や更新の前後で点がそろう保証はない。
Q. 「えーと」が多いと文法点が下がるか。 A. 指示文は、口語の不要な「un」「uh」と重複を先に取り除いてから採点せよと書いている。表示テキストの書式設定の側にも、不要な言葉を除去する機能がある。
Q. 内容評価の点はCEFRのどのレベルに当たるか。 A. 対応表は示されていない。CEFRはA1からC2の6段階の尺度で、内容評価は0から100の3つの数字だ。別々の設計なので、そのままでは読み替えられない。
まとめ｜AI英会話の内容評価は、言語モデルが作文として採点している
もう一度整理する。
- 内容評価が返すのはボキャブラリ・文法・トピックの関連性の3つで、いずれも0から100の数字だ。
- 採点しているのは計算式ではなくチャットモデル。公式は gpt-4o などのチャットモデルを使うと書いている。
- 基準は指示文に添えた3本の例の中にある。だからサービスをまたいだ比較は成立しない。
- 採点対象は音声ではなく加工済みの書き起こし。認識の誤りは文法の誤りとして読まれる。
- SDK組み込みのコンテンツ評価はプレビューのまま廃止の扱いになり、チャットモデルを自前で呼ぶ形に置き換わっている。
⇒ この3つの数字は、英語力の絶対値ではなく「同じサービスの中で、自分の答案がどう動いたか」を見る指標として扱うほうが仕組みに合っている。
※本記事の一次ソースは、各公式ドキュメントを2026-09-16および2026-09-18に取得した生テキストで確認した。仕様は更新されるため、最新は各公式ドキュメントで確認してほしい。
Comments