AIの「人間のふり」は人をだませる域に近づいていると判明

AIが書いた文章や、AIとのおしゃべりは、もう毎日の暮らしの中にあります。

だからこそ、目の前の相手が人間なのかAIなのかを見極めることが、大切になってきました。

では、私たちはAIのなりすましを、どこまで見抜けるのでしょうか？

この問いに答えるため、研究者たちは、人かAIが書いた答えを1つずつ見せて、「人の答えかAIの答えか」を当てさせる試験を行いました。

これは、人と区別できないほど人らしく振る舞えるかでAIを試す「チューリング・テスト」に近い試験です。

研究者たち自身は、元の定義と同じではないことから、「チューリング・テストのような試験」と呼んでいます。

課題は雑談だけでなく、写真の説明文や言葉の連想、色の見積もりなど、言葉と目の両方にわたります。

そして、人とAIを見分けるのがいちばん得意だったのは、いったい誰だったのでしょうか？

研究の詳細は、2026年10月26日付で学術誌『Nature Human Behaviour』に掲載されました。

人とAIに同じお題を出し、別の人に見分けさせた

研究チームはまず、人とAIの両方に、同じお題で答えを書いてもらいました。

答えの書き手は、人間636人と37のAIです。

お題は、言葉を使うものと目を使うものが、3つずつ用意されました。

言葉のお題の1つ目は、写真を見て、その様子を短い説明文にする課題です。

写真は1,000枚で、ネットで募った229人が説明文を書きました。

同じ写真に、5つのAIも説明文を付けています。

2つ目は、ある言葉を見せられ、思い浮かんだ言葉を1語だけ返す連想の課題です。

3つ目は雑談で、2人が交互に言葉を交わします。1回の雑談は最大24回の発言(1人12回ずつ)で、一部ではもっと長い、1人24回ずつのやりとりも試されました。

組み合わせは「人と人」「人とAI」「AIとAI」の3通りです。

話している本人たちは、相手が人かAIかを知らされていませんでした。

雑談は全部で510本集まりました。

参加したのは、190人と9つのAIです。

目のお題は、色を見積もる、写真の中の物を見つける、人の目の注意がどこに向くかを予測する、の3つです。

次に、答えを書いた人とは別の人たちに、審判になってもらいました。

審判は答えを1つずつ見て、人の答えかAIの答えかを選びます。

出てくる答えは半分が人、半分がAIのもので、順番はばらばらにされていました。

つまり、当てずっぽうに選んでも、正解はおよそ50%になる仕組みです。

人間の審判は1,916人にのぼり、それとは別に10のAIにも審判役をさせています。

判定は、全部で7万2191回にもなりました。

これで、人がAIのなりすましにどれほどだまされるのかを、数字で測る準備が整いました。

本物の人間どうしの雑談、「人の会話」と認められたのは何割？

まずは、写真の説明文の課題から見ていきましょう。

人が書いた説明文を、審判が「人」と正しく当てられたのは67%でした。

一方、AIが書いた説明文を「AI」と当てられたのは、46%にとどまりました。

つまり、AIが書いた説明文の半分以上は、人が書いたものだと思われていたのです。

AIの中でも差があり、最も見抜かれにくいAI(BLIP)では、AIと当てられたのはわずか37%でした。

反対に、最も見抜かれやすいAIでも、AIと当てられたのは60%でした。

特に人まねが上手だった3つのAIは、説明文づくりだけでなく、いくつもの課題をまとめて学んだAIでした。

研究チームは、いろいろな課題を学ぶことが、人らしい説明文につながる可能性があると見ています。

人の答えとAIの答えを合わせると、審判の正答率はおよそ57%でした。

コイン投げで当てた場合の50%より、少しましな程度です。

研究チームは、正答率が低かったのは、ネットで募った審判の見分ける力が低かったせいではないかと心配しました。

そこで、実験室に人を呼び、同じ試験を対面でやり直しました。

それでも正答率はおよそ57%で、ネットでの結果とほぼ同じだったのです。

言葉の連想の課題でも、人の連想を「人」と当てられたのは58%でした。

AIの連想を「AI」と当てられたのは47%で、当てずっぽうの50%とはっきりした差がありませんでした。

いちばん目を引くのは、雑談の課題です。

人どうしの雑談が「人の会話」と判定されたのは、64%だけでした。

本物の人間でも、3回に1回ほどはAIだと疑われていた計算です。

一方で、AIどうしの雑談も、57%が「人の会話」と判定されていました。

人どうしとAIどうしの差は小さく、はっきりした差とは言えないものでした。

中でも、Blenderbot(ブレンダーボット)というAIは別格でした。

AIどうしの雑談で、このAIは67%の割合で人だと判定されたのです。

これは、人どうしの雑談での本物の人間(64%)と並ぶ数字です。

ただし、このAIが人と話した時には、人と判定された割合は49%に下がりました。

同じAIでも、話し相手によって人らしさの見え方は変わるようです。

なお、ChatGPT-4oはこのAIより少し見抜かれやすかったものの、ほかの多くのAIよりは見抜かれにくかったのです。

人は、人の答えを人と認めることはある程度できても、AIの答えをAIと見抜くのは苦手だったのです。

見分けが上手だった審判は「AI」だった

では、審判役をしたAIのほうはどうだったのでしょうか？

研究チームによると、人とAIを見分ける訓練をしたごく単純なAIの審判でさえ、訓練を受けていない人間の審判より、おおむね上手に人とAIの答えを見分けました。

見分ける訓練をしていない市販のChatGPT-4oに審判をさせても、6つの課題で、当てずっぽうより高い正確さで人とAIの答えを見分けられました。

つまり、AIのなりすましを見破るのは、人よりもAIのほうが得意だったのです。

ただし、人間の審判も、1問ごとに正解を教わりながら答えると、人の答えを「人」と当てる正確さが上がりました。

もう1つ、研究チームが強調しているのが、「正しさ」と「人らしさ」は別物だという点です。

実際、AIの人まねのうまさは、これまでAIの性能を測ってきたふつうの物差しと、ほとんど結びついていませんでした。

研究チームは、こんな場面を例に挙げています。

物に隠れてほとんど見えない犬の写真を、人もAIも「狼」と答えたとします。

答えはどちらも間違いですが、AIは人の答え方をうまくまねできていることになります。

反対に、人もAIも正しく答えているのに、AIの説明が人の見方とずれている例もありました。

正解を出すことと、人のように答えることは、同じではないのです。

そのため研究チームは、「人として通用するか」を、AIを評価する独立した軸として測るべきだと考えています。

今回集めた大量の判定データは、AIの人らしさを測る物差しとして役立つと期待されています。

ただし、今回の試験は、元のチューリング・テストとまったく同じ形ではありません。

審判は、出された答えを1つ見て、人かAIかを選ぶだけでした。

また、言葉の3つの課題のうち雑談の課題だけは、実験室の審判がネットの審判よりわずかに正確でした。

それでも研究チームは、言葉でも目の課題でも、AIが人をだませる域に近づきつつあると見ています。

人間どうしのおしゃべりでさえ、3回に1回ほどは「AIかも」と疑われていました。

AIのなりすましを見破る役は、もう人よりもAIのほうが向いているのかもしれません。

写真で見るアラン・チューリングとその記念

参考文献

Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI (Nature Human Behaviour)
https://doi.org/10.1038/s41562-026-02590-6

元論文

Turing-like tests for language and vision demonstrate a narrowing gap between humans and AI
https://doi.org/10.1038/s41562-026-02590-6

ライター

山下 浩介: むずかしい研究を、なるべく分かりやすく伝えたい。専門の言葉はふだんの言葉に置きかえて、身近な例で例える。それで「わかった」「楽しかった」と言ってもらえたら嬉しいです。 好きなのは、通学路や台所や日常の中にある科学。眠っているあいだに記憶が整理される話や、虫の鳴き方に意味がある話のように、読み終わったあとに誰かへ話したくなる研究を探しています。

編集者

ナゾロジー 編集部