画像入力はAI英会話で何ができるのか。写真を見せて話す仕組みと読めないものを公式仕様から分解した

AI英会話の中には、写真を見せて英語で話せる画像入力という作りがあります。

画像入力は、部品の側でも同じ名前で呼ばれる働きです。

AIが写真を受け取り、中身を言葉にしてから会話を続ける仕組みです。

ただ、どんな写真でも読めるわけではありません。

読める形式、大きさの上限、苦手なものが決まっています。

根拠は、OpenAI・Anthropic・Googleの3社が出している開発者向けの公式ドキュメントです。

特定のアプリの挙動を約束する記事ではありません。

アプリが画像入力を載せているか、どの会社の部品を使っているかは作りによります。

【結論】画像入力はAI英会話で写真を見せて話すための入口で、読めないものが決まっている

先に結論を置きます。

分類	中身	挙げている会社
できる	写真に写った物や場面を言葉にする	3社とも
できる	複数の写真を並べて比べる	Anthropic
苦手	小さい文字・回転した写真	OpenAI・Anthropic
苦手	物の正確な数を数える	OpenAI・Anthropic
読まない	写っている人の名前を当てる	Anthropic
読まない	ファイル名や撮影の情報	OpenAI・Anthropic

表のとおり、画像入力は写真の中身を言葉にする部品です。

読めないものは、撮り方で避けられるものと、仕組みとして読まないものに分かれます。

3つに分けておくと、写真を見せる前に迷いません。

いちばん役立つのは、はっきり撮った1枚を見せることです。

AnthropicとGoogleは、ぼけていない画像を使うよう求めています。

OpenAIは、小さい文字は大きくして見せるよう勧めています。

AI英会話の画像入力は写真をどう受け取っているのか

写真は小さな区画に分けて読まれる

AIは写真を1枚の絵としてではなく、小さな区画の集まりとして読みます。

区画の大きさは会社ごとに違います。

会社	区画の単位	数え方
OpenAI	32×32ピクセル	縦と横をそれぞれ32で割った数の掛け算
Anthropic	28×28ピクセル	縦と横をそれぞれ28で割った数の掛け算
Google	768×768ピクセルのタイル	タイル1枚につき258トークン

区画1つ1つが、文字のトークンと同じ物差しで数えられます。

Googleの数え方は、縦横どちらも384ピクセル以下なら258トークンです。

それより大きい画像は、768ピクセル四方のタイルに分けて数えます。

大きすぎる写真は縮めてから読まれる

大きな写真は、そのまま読まれるとは限りません。

Anthropicは、長辺の上限を2つの段で示しています。

段	長辺の上限	トークンの上限
標準	1568ピクセル	1568
高解像度	2576ピクセル	4784

上限を超える写真は、縦横の比を保ったまま縮められます。

1000×1000ピクセルの写真なら縮められず、数は1296トークンです。

縮めると、細かい文字が読みにくくなることもある。

OpenAIも、細かさの段階を選ぶ detail という指定を用意しています。

モデルによっては、low を選ぶと512×512ピクセルに収まる大きさで読む作りです。

ただし low がいつも少ないトークンで済むとは限らないと、OpenAIは注意を添えています。

画像も文字と同じ物差しで数えられる点は、トークンの記事にまとめました。↓

写真と質問の並べ方は会社で違う

Anthropicは、画像を先に、質問をあとに置く形がいちばんよく働くとしています。

Googleは、画像が1枚のときは質問の文を画像より前に置くよう勧めています。

並べ方の勧めは、会社によって逆です。

どちらに並べるかはアプリの作りで決まり、利用者からは見えません。

AI英会話の画像入力で送れる形式と大きさの上限

読める形式と上限は、3社でそろっていません。

会社	読める形式	1回あたりの上限
OpenAI	PNG・JPEG・WEBP・動かないGIF	1回のリクエストで512MB・1,500枚まで
Anthropic	JPEG・PNG・GIF・WebP	APIは1枚10MB・1回のリクエストで32MBまで
Google	PNG・JPEG・WEBP・HEIC・HEIF	文と画像を合わせて20MB・3,600枚まで

形式でいちばん差が出るのは、HEICとHEIFです。

3社のうち、HEICとHEIFを並べているのはGoogleだけです。

OpenAIとAnthropicの一覧には入っていません。

一覧にない形式の写真を送れるかは、アプリが手前で形式を変えているかどうか、つまり作りによります。

動く画像も、扱いが分かれるところです。

Anthropicは動くGIFに対応せず、最初の1コマだけを使います。

OpenAIも、読めるGIFを動かないものに限っています。

写真を1枚ずつ見せる使い方なら、枚数の線は20枚・1,500枚・3,600枚と遠くにあります。

気にするなら、枚数より1枚の大きさと形式のほうです。

AI英会話の画像入力が読めないもの・苦手なもの

OpenAIとAnthropicは、画像の読み取りで苦手な場面を並べています。

苦手な場面	OpenAI	Anthropic
小さい文字	文字を大きくして見せるよう勧める	200ピクセル未満の小さな画像で誤りやすい
回転した写真	逆さの文字や画像を読み違えることがある	回転した画像で誤りやすい
物の数	おおよその数になる	おおよその数で、小さな物が多いと外れやすい
位置の正確さ	正確な位置の特定が苦手	座標はおおよそ
医療の画像	CTのような専門の画像には向かない	CTやMRIの読影向けではない

Googleも、向きを確かめること、ぼけていない画像を使うことを勧めています。

英会話でいちばん関わるのは、1行目と2行目です。

教科書のページやメニューを写して見せると、小さい文字が混ざります。

その場合は、読ませたい部分に寄って撮るほうが読み取りやすい。

Anthropicは、文字を大きくするために大事な周りまで切らないよう添えています。

ラテン文字ではない文字も苦手に入る

OpenAIは、ラテン文字ではない文字が写った画像で働きが落ちることがあるとしています。

日本語の文字は、ラテン文字ではありません。

日本語の看板や手書きのメモは、この苦手に当たる側です。

色や線の種類が入り混じったグラフも、OpenAIは苦手に挙げています。

仕組みとして読まないもの

撮り方を変えても、この4つは読めるようになりません。

撮影した場所や日時の情報を、AIが勝手に読んで話すことはない作りです。

パノラマや魚眼の写真も、OpenAIは苦手に挙げています。

AI英会話の画像入力で間違えやすい3点

形式と苦手の次に多いのが、思い込みです。

1つ目は、数え方の話です。

画像も区画ごとにトークンとして数えられます。

OpenAIによれば、画像のトークンも1分あたりのトークンの上限に入る。

従量で払う作りなら、写真を見せるほど数が積まれます。

2つ目は、大きさの話です。

上限を超えた写真は縮められるので、大きく撮っても細部が残るとは限りません。

Anthropicは、送る前に縮めるか切り取っておくことを勧めています。

JPEGで強く圧縮すると、文字が読みにくくなることにも触れています。

3つ目は、行き先の話です。

見ること	部品の会社の線	アプリの線
写真が残るか	AnthropicのAPIはリクエストの間だけ扱い、処理のあとに消す	アプリが写真を保存するかは作りによる
学習に使われるか	Anthropicは送られた画像を学習に使わないとしている	アプリの会社の方針のページで確かめる

部品の会社の線と、アプリの会社の線は別です。

アプリが写真を手元に保存する作りなら、部品の側で消えても写真は残ります。

どちらの線も、方針のページを開けば読めます。

部品を売る会社ごとの保持期間と学習利用は、データの記事にまとめました。↓

AI英会話の画像入力を使う前の見直し手順

写真を見せる前に、5つを順に見ます。

順	見ること	理由
1	アプリに画像入力の機能があるか	画像入力を載せるかは作りによる
2	端末の許可の画面で写真の扱いを見る	許可が無いと画像を使う機能だけ止まることがある
3	形式がPNG・JPEG・WEBPのどれかか	3社とも読める形式
4	読ませたい文字に寄って撮れているか	小さい文字は読み違えやすい
5	写真の向きが正しいか	回転した写真は読み違えやすい

5つのうち、利用者が直せるのは2から5です。

1だけは、アプリの会社が決めることです。

AIが写真をどう読んだかを先に言わせておくと、読み違いのまま会話が進むのを避けられます。

3つとも、OpenAI・Anthropic・Googleのどれかが勧めていることです。

撮り直しは数秒で終わります。

読み違いが続くときは、写真より先に撮り方を変えるほうが早い。

AI英会話の画像入力によくある質問

写真を見せればAIが英語で説明してくれるのか

写真の中身を言葉にすることは、3社の部品ともできます。

英語で返すか、どこまで詳しく返すかは、アプリの指示の作りによります。

写真から絵を作ったり直したりできるのか

Anthropicの画像入力は読み取り専用で、画像を作ったり直したりはしません。

画像を作る機能があるかは、アプリの作りによります。

1回に何枚まで見せられるのか

AI英会話のアプリが何枚まで受け付けるかは、作りによります。

日本語の文字が写った写真も読めるのか

読めないわけではありませんが、OpenAIはラテン文字以外で働きが落ちることがあるとしています。

英会話の練習に使うなら、英語の文字が写った写真のほうが読み違いの心配が少なくなります。

まとめ｜AI英会話の画像入力で押さえる3点

最後に3点だけ残します。

この3つが分かっていれば、写真を見せても読み違いに振り回されません。

画像入力を載せるか、どの部品を使うかは、アプリごとに違います。

一律に書いている解説は、根拠の場所を確かめてください。

細かい上限は、各社の公式ドキュメントで確かめてください。

あわせて読みたい記事も置いておきます。

写真を選ぶときに端末が聞いてくる許可のほうは、権限の記事にまとめました。↓

参考文献も以下にまとめます。

参考文献