｢平気で嘘をつく｣AIの誤情報を排除するには...知らないと痛い目に遭う"ChatGPTの弱み"

急速に普及している文章生成AI。たいへん便利だが問題点もあり、対策が追いついていない状況だ。デジタルレシピ取締役CTOの古川渉一さんは「OpenAI社のChatGPTをはじめとしたAIで作り出された文章は、必ずしも正しい内容とは限りません。ビジネスで使うには誤情報を排除することがとても重要。正しく使いこなすテクニックを身に付けてください」という。ITライターの酒井麻里子さんがその具体的な使いこなし術について聞いた――。

※本稿は、古川渉一、酒井麻里子『先読み！ IT×ビジネス講座 ChatGPT 対話型AIが生み出す未来』（インプレス）の一部を再編集したものです。

AIの生成結果が正しいのかいったん全部疑ってみる

【酒井】ChatGPTなどの文章生成AIで作られる内容は必ずしも正しいとは限らないことがわかりましたが、“平気で嘘をつくAI”をうまく使いこなしていくには、どんな心がまえが必要なんでしょう？

【古川】ChatGPTなどの生成系AIは「あくまでも確率で“それらしい”回答を生成しているだけに過ぎない」「そのモデルが学習を行った時期以降の情報は答えられない」という点を、しっかり心にとめておくことが必要です。

【酒井】人間でたとえるなら、「話を合わせるのはうまいけれど、話の流れや理屈を理解して返事をしているわけではないし、最新の話題にもうとい人」と会話をしている感じでしょうか？

【古川】そうですね。「いったん全部疑ってみる」くらいの姿勢でもいいかもしれません。あくまでもサポートツール、アシスタントツールとしてとらえることが大切です。

【酒井】生成された内容を鵜呑みにするのではなく、自分で下調べをしたり、ゼロから考えたりするのを少し楽にするために使うという姿勢が重要ということですね。

最新情報が反映されないという弱点はどう補うか

【酒井】それにしても、最近の情報は学習していないから回答に反映できないというのは不便ですよね。

【古川】Web検索の結果を回答するサービスを使うのがいいでしょうね。たとえば、「Perplexity AI」というサービスはリアルタイムにインターネット検索し、最新情報をもとに回答させられます。

【酒井】チャットのやりとりをしながら、学習データにないものはWebの情報を参照するということですか？

【古川】そのとおりです。Microsoftの検索エンジン「Bing」に搭載された対話型AIと同様に、Web検索の結果を参照しながら回答でき、根拠となるURLも提示してくれます。

【酒井】チャット形式で会話できるという利便性はそのままで、これまでのChatGPTの弱点を補えるのはいいですね。

「本当に正しい？」と聞いてもその回答が間違っている

【酒井】AIが生成した文章が正しいかどうかは、人間が自分で信頼できる情報源にあたるなどして確認するしかないんでしょうか?

【古川】そうなりますね。たとえばChatGPTが出してきた回答に対して、「これは本当に正しいですか？ 根拠を説明してください」のように質問する方法もありますが、それに対する回答がさらに間違っている可能性もあるので、人によるファクトチェックが基本です。

【酒井】Web検索ですぐに確認できればいいですが、専門性の高い内容などの場合、人間がチェックしきれずにAIが生成した間違った情報がそのまま使われてしまうケースもありそうです。

【古川】そうですね。そういう部分では、文章生成AIをめぐる今の状況は、Wikipediaが世の中に出てきたときに近いかもしれません。

【酒井】Wikipediaが登場した当時も、「誤った情報が拡散される」という批判がありましたね。

【古川】Wikipediaの場合、編集履歴がオープンであること、多くの人の目に触れ、内容がアップデートされ続けることなどから、徐々に誤情報が排除されやすい環境へと進化していきました。

【酒井】今のWikipediaもすべての情報が正しいというわけではないですが、それを理解したうえで「そういうもの」として便利に使っていますね。ネットの情報源として一定の地位を得ている印象です。

【古川】ユニークな進化をとげた一例だと思います。

回答の根拠がブラックボックスだから正誤がわかりにくい

【古川】一方で文章生成AIの場合、回答の根拠がブラックボックスになってしまうために、使用するユーザーは誤りに気づきにくいと考えられます。

【酒井】AIモデルのしくみとして、「なぜ、その答えを出したのか」の根拠がわからないということでしたね。

【古川】そのとおりです。AIモデルの内部プロセスがブラックボックスとなっているために、なぜそのような回答が出てきたのかは、AIのモデルを作った人自身でもわかりません。

【酒井】使う側がきちんと具体的な根拠を調べることが大切なんですね。

AI生成コンテンツは検索上位にならないのか

【酒井】少し別の話題ですが、「文章生成AIで作ったコンテンツを、Googleが検索結果上位に表示されにくくするのではないか」という噂を耳にしたことがあります。本当なんでしょうか？

【古川】「検索上位から外す」ということではないですよ。Google公式ブログでも「AIの適切な使用はガイドラインに反しない」と明記されました。Googleは一貫して、「ユーザーにとって価値のあるものを重要視する」という方針を掲げています。

【酒井】価値があると判断されたコンテンツが検索上位に表示されるということですね。

【古川】その観点でいうと、AIで量産されたものは、どのコンテンツも似たり寄ったりの内容になりがちです。結果的に検索上位にはならないということだと思います。

単純な量産コンテンツは価値があると判断されにくい

【酒井】「AIで作ったから検索上位にならない」ということではなく、「AIで量産しただけでは、検索上位をとれるコンテンツにはなりにくい」ということなんですね。

【古川】もちろん、AIでベースを作ったものに人の手で編集を加えるなどすれば、独自性のあるコンテンツに仕上げることはできますし、そうやって作ったものが検索上位になることはあり得ると思います。

【酒井】そうすると、検索結果をめぐる状況については現状と何かが大きく変わるわけではないということですね。

【古川】そうですね。そんなに心配することはないと思いますよ。

【酒井】AIで生成した文章は必ずファクトチェックが必要なこと、あくまでもサポートツールだということを心にとめながら、価値のあるコンテンツを作るために上手に活用していきたいと思います。

AIが生成した文章を見分けることは可能なのか

【酒井】高精度な文章を生成できるようになったことで、AIで作った文章を人間が書いたように装う「不正」が起こる可能性があります。AIが生成したものかどうかを判別することは可能なのでしょうか？ ChatGPTが生成した文章を、自分が書いたと偽って使ってしまう人もいそうです。

【古川】子どもが読書感想文をAIで生成して学校に提出したり、学生がレポートなどの課題に使ってしまう状況はすでに起きています。使用禁止を掲げる学校もあれば、ツールとして活用・共存していく方向を模索する動きもあります。

【酒井】下調べやアイデア出しとして使うならいいですが、ChatGPTが生成した文章をそのままレポートして提出するような人が続出したら、課題の意味がなくなってしまいそうです。

【古川】これはすでにいろいろなところで議論が起きている問題ですね。

【酒井】AIが書いた文章を見分けるようなツールはないんですか？

【古川】OpenAIが2023年1月末に、AIが作成したテキストと人間が作成したテキストを見分ける「AI Text Classifier」を公開しています。

【酒井】OpenAIからしっかりツールが出ているんですね。精度はどのくらいなんでしょう？

【古川】公式サイトによると、AIが書いたテキストの26％を「AIで書かれた可能性が高い」と正しく識別し、一方で9％の確率で人間が書いたテキストを「AIが書いた」と誤って認識するとのことです。

【酒井】現時点では、そこまで高精度というわけではなさそうですね……。このほかにも、見分けるツールは存在するんでしょうか？

【古川】「DetectGPT」「ORIGINALITY.AI」などのツールがありますよ。ただしいずれの場合も、完全に見分けることは難しいと思います。

ツールでも100％の識別はできない

【酒井】今後、AIの精度が上がっても、AIで作ったかどうかを完璧に判別することはできないということですか？

【古川】AIで書いたかどうかを判定するAIを欺くテクニックもすぐに出てくると思うので、結局はいたちごっこになると思いますよ。

【酒井】やっぱり、そうなりますか……。

【古川】実際に、一度AIで生成した文章を、「これをAIで生成されたとわからないように書き換えて」と指示をした結果、ツールの判定結果でAIによって書かれた可能性を示す値が下がったという報告もあります。

【酒井】AI対AIの戦いみたいな状況ですね。

【古川】AIはスペルミスをしないという前提で意図的にスペルミスを入れるなど、ごまかす方法はいくらでもあります。それを完全に防ぐのは難しいでしょうね。

自分で書いた文章なのにAI生成物だと誤解される

【古川】それに加えて、もう1つ起こりうるのが、人間が作ったものが誤ってAI生成物だと判定されてしまう状況です。

【酒井】文章を書いたのは自分なのに「あなたAIでしょ」といわれてしまい、人間が人間であることの証明をしなければならなくなるということですか。なんだか怖いですね……。

【古川】結局のところ、見分けるためのツールをどれだけ高精度化させても本質的な問題解決にはつながらないのではないかと個人的に思っています。

【酒井】そもそも、自分で書いたふりをしてまでAIで生成した文章をそのまま使うという姿勢が変ですもんね。自分で文章を書くためのサポートツール的に使うなら検出ツールにも引っかからないし、AIを使っていることを隠す必要もないはずです。

【古川】そうですね。AIを使って作った文章であっても、人間が自ら書いた文章であっても、自分の頭で考え、情報源を確認して作ったものに価値があります。

【酒井】AIで生成した文章と人間が書いた文章を見分けるツールはあるとはいえ、完全な識別はできないし、いたちごっこになってしまう。だからこそ、文章生成AIを使う人自身のモラルや姿勢も問われるということになりますね。

【古川】「どんなときにリスクが生じるのか」「それを避けるためにどうしたらいいのか」をしっかり理解したうえで、使う側がリテラシーを持って上手に使うことが大切だといえるでしょう。生成系AIは、これからもさまざまな分野に広がっていく可能性が高く、「AIをアシスタントにして仕事をする」ことが当たり前になる時代も遠くありません。そのとき、私たちは「自分だからできること」により注力することで、さらによいパフォーマンスを発揮し、「自分だから作り出せる価値」を、世の中に届けることができるようになるはずです。

イラスト（古川、酒井）＝朝野ペコ