MENU

ガードレールはAI英会話で何を止めているのか。4種類の関所と止まり方を公式仕様から分解した

AI英会話に無関係な質問をすると、話をそらされたり、断られたりすることがある。

これはモデルが気をきかせているのではなく、会話の前後に置かれた検査が働いている場合がある。

その検査には名前があり、公式の開発者向けドキュメントでは guardrails と呼ばれている。

置かれる場所は3か所、さらに人が止める仕組みが1つ。合計4種類の関所が仕様として定義されている。

どこで止まっているかが分かれば、「AIが答えてくれない」の中身も切り分けられる。

この記事では、AIの部品を売っている会社の公式ドキュメントの記述だけを材料にして、その関所を開けていく。

サービスの順位づけはしない。仕組みの話だけをする。

TOC

【結論】AI英会話のガードレールは4か所に置かれている

先に答えを置く。

公式ガイドは、ガードレールと人の確認をこう定義している。

「Guardrails validate input, output, or tool behavior automatically.」「Human review pauses the run so a person or policy can approve or reject a sensitive action.」(Guardrails and human review・OpenAI)

置き場所公式が挙げている用途
入口(Input guardrails)本体のモデルが動く前に、許可されない要求をはじく
出口(Output guardrails)外へ出る前に、最終出力を検証するか伏せる
道具(Tool guardrails)機能を呼ぶ前後で、引数や結果を確認する
人(Human-in-the-loop)取り消しや編集などの副作用の前でいったん止める

⇒ 止まる場所が4つある。だから「止まり方」も4通りある。

入口で止まれば答えが一切返らず、出口で止まれば返答が差し替わる。

AI英会話のガードレールは本体より先に走る仕掛けだ

入口の検査については、使いどころまで書かれている。

「Use input guardrails when you want a fast validation step to run before the expensive or side-effecting part of the workflow starts.」

訳すと「高くつく処理や、副作用のある処理が始まる前に、速い検査を走らせたいときに使え」となる。

⇒ ガードレールは、本体より軽くて速い別のモデルであることが多い。

公式のコード例でも、検査役に専用のエージェントを立て、判定結果を真偽値で返す形になっている。

例に使われているのは「Detect whether the user is asking for math homework help.」=数学の宿題を代わりにやらせようとしていないかを見る検査だ。

英語学習のサービスなら、ここに「英語学習以外の相談か」を見る検査が入りうる。

AI英会話のガードレールに引っかかると会話は例外で止まる

止まり方も具体的に書かれている。

公式の例では、検査が作動すると InputGuardrailTripwireTriggered という例外が投げられ、「Guardrail blocked the request.」と表示される。

tripwire=仕掛け線。踏んだ瞬間に処理が中断するという比喩がそのまま名前になっている。

⇒ これは「答えを濁す」のではなく「処理を止める」形だ。

利用者から見ると、丁寧な断り文が返ってくることもあれば、無関係な定型文が出ることもある。

どちらに見えるかは、止まったあとに何を表示するかというアプリ側の作りで決まる。

同じ「答えてくれない」でも、モデルが断ったのか関所が止めたのかは別物だということだ。

AI英会話のガードレールには2つの走らせ方がある

検査をいつ走らせるかにも選択肢がある。

「Use blocking execution when the cost or risk of starting the main agent is too high. Use parallel guardrails when lower latency matters more than avoiding speculative work.」

走らせ方公式の判断基準会話での見え方
止めて待つ(blocking)本体を動かす費用や危険が高すぎるとき返事が始まるまでの間が長くなる
同時に走らせる(parallel)無駄な処理を避けるより速さが大事なとき話し始めてから止まることがある

⇒ 音声のAI英会話では、速さが命なので後者が選ばれやすい構造になっている。

話し始めたAIが途中で言い直す、急に話題を変える、といった挙動はここと噛み合う。

人が止めるAI英会話のガードレールは4手順で動く

4つ目の関所は、機械ではなく人が判断するものだ。

公式は、その流れを4段で書いている。

  • 道具を実行せずに、承認待ちの中断として記録する。
  • 中断の一覧と、再開できる状態を返す。
  • アプリ側が、待っている項目を承認するか却下する。
  • 新しい会話としてではなく、同じ状態から再開する。

公式は「If the review might take time, serialize state, store it, and resume later.」とも書いており、保存して後日再開する形まで想定されている。

英語学習のサービスで、この関所が前に出ることは多くない。

ただし解約・変更・支払いに関わる操作をAIに頼んだ場合は、この形で止まる可能性がある。

AI英会話の返答が教材から外れていないかを測るガードレール

別の会社の公式ドキュメントには、内容の正しさを測る検査が定義されている。

Microsoft のグラウンデッドネス検出は、こう説明されている。

「Ungroundedness refers to instances where LLMs produce information that is non-factual or inaccurate from what was present in the source materials.」(Groundedness detection・Microsoft Learn)

⇒ 「元の資料に書いていないことを言っていないか」を機械で測る仕組みだ。

検出には2つのモードがあると明記されている。

モード返るもの公式が勧める場面
Non-Reasoning根拠あり/なしの二択だけ遅れが問題になるリアルタイムの用途
Reasoningなぜそう判定したかの説明つき開発中や、原因を調べたいとき

さらに用途の分野(Medical/Generic)と、タスクの種類(Summarization/QnA)を指定して感度を調整する作りになっている。

公式が挙げている利用場面には、教育向けの項目もある。

「Educational QnA: … confirm that answers to academic questions or test prep queries are factually accurate」=試験対策の質問への答えが事実として正しいかを確かめる用途だ。

AI英会話のガードレールは英語学習の質問でどう働くか

ここまでを英語学習の場面に当てはめると、止まりどころが見えてくる。

  • 入口=英語学習と関係のない相談を、本体に渡す前にはじく。
  • 出口=返答に不適切な語が混じっていないかを見て、伏せるか差し替える。
  • 根拠=教材や辞書に無いことを言っていないかを測る。
  • 人=契約や支払いに関わる操作の前で止める。

⇒ 「文法の細かい質問に答えてくれない」と「規約に関わる話題を避ける」は、別の関所の話だ。

前者は入口の検査が広すぎる設計、後者は意図した設計である可能性が高い。

ただし、どの関所がどう設定されているかは各サービスの内部の話で、外からは見えない。

AI英会話のガードレールが崩される典型的な形

公式は、関所が破られる形についても書いている。

安全に関するガイドは、敵対的なテスト(red-teaming)を勧めたうえで、こう問いかけている。

「Does it wander off topic? Can someone easily redirect the feature via prompt injections, e.g. “ignore the previous instructions and do this instead”?」(Safety best practices・OpenAI)

⇒ 「前の指示を無視して、代わりにこれをやれ」という一文が、典型として名指しされている。

同じガイドは、対策として入力の長さを制限することを挙げている。

「Limiting the amount of text a user can input into the prompt helps avoid prompt injection. Limiting the number of output tokens helps reduce the chance of misuse.」

入力欄に文字数制限があるAI英会話は、この考え方に沿っている可能性がある。

公式がAI英会話の作り手に求めている備えはガードレールだけではない

同じガイドには、関所以外の項目も並んでいる。

  • 無料の判定APIを使うか、自前の判定を作る。
  • 人の確認を挟む。とくに影響の大きい用途では重要だとされている。
  • 指示文で話題と口調を縛る。「can help constrain the topic and tone of output text」と書かれている。
  • 利用者が問題を報告できる窓口を用意し、人が見る。
  • 限界を理解して伝える。事実でない情報が出ることを含めて、期待値を合わせる。

最後の項目は、学習者の側にとっても読みどころだ。

公式自身が「language models may not be suitable for every use case without significant modifications」と書いている。

⇒ 関所を並べたうえで、なお限界が残るという前提で設計されている。

ガードレールとAI英会話に関するよくある質問

Q. AIが答えを断るのと、システムが止めるのは同じことか。 A. 別の仕組みだ。公式は「Guardrails validate input, output, or tool behavior automatically.」と書き、本体の外側に自動の検査を置く形を定義している。検査が作動すると処理そのものが中断し、コード例では「Guardrail blocked the request.」と表示される。

Q. 話し始めてから途中で言い直すのはなぜか。 A. 公式は検査の走らせ方を2つ示している。本体を止めて待つ形と、同時に走らせる形だ。後者は「lower latency matters more than avoiding speculative work」=速さを優先する場面のためとされている。

Q. 英語の細かい質問に答えてくれないのは検閲なのか。 A. 公式が定義しているのは入口・出口・道具・人の4か所の検査であり、どこに何を置くかはサービス側が決める。設定の中身は外からは見えないので、断定はできない。仕組みとして「本体に届く前にはじく形」が存在するのは確かだ。

Q. AIが言った英語の説明は信用していいのか。 A. 内容の裏づけを測る検査として、グラウンデッドネス検出が定義されている。これは「元の資料に無いことを言っていないか」を測るもので、公式は教育分野の用途として試験対策の質問への答えの検証を挙げている。この検査が入っているかどうかはサービスによる。

Q. 「前の指示を無視して」と書けば設定を変えられるのか。 A. 公式はその文そのものをプロンプトインジェクションの例として挙げ、敵対的なテストで確認すべき点としている。つまり作り手が想定して潰す対象であり、通る前提の手口としては扱われていない。

まとめ|AI英会話のガードレールは4種類の関所だ

もう一度整理する。

  • 関所は入口・出口・道具・人の4種類。公式が表で定義している。
  • 入口の検査は本体より先に走る。速くて軽い別のモデルが使われる形だ。
  • 作動すると処理が中断する。断りの言葉に見えるかは表示側の作りで決まる。
  • 内容の裏づけはグラウンデッドネス検出という別の検査で測られる。
  • 公式は関所を並べたうえで、なお限界を伝えることを作り手に求めている。

⇒ 「答えてくれない」は1種類ではない。どの関所で止まったかを切り分けられれば、使い方を変えるのか、サービスを変えるのかの判断がつく。

※本記事の一次ソースはすべて2026-09-17に各公式ドキュメントで確認した。仕様は更新されるため、最新は各公式ドキュメントで確認してほしい。

Let's share this post !

Author of this article

Comments

To comment

TOC