「このままだと人類は滅亡すると考えます」AIが“悪意なし”で人類を脅かす？…研究者が“本気で警鐘”を鳴らす【制御不能】の実態

今、「AIが原因で、10年以内に人類は滅亡するかもしれない」という警告が、世界を駆け巡っています。

注目されたのは、高性能対話型AI「クロード」の開発で知られる企業・アンソロピックの元研究者の発言でした。その後、同社のアモデイCEOがAI開発の減速を訴え、オープンAIのアルトマンCEOやテスラのイーロン・マスク氏らも相次いで賛同。マイクロソフト創業者のビル・ゲイツ氏も、「AIの進化にブレーキをかけられる現実的な手段があるなら、喜んで力になる」と表明しました。

この状況を受け、平日よる9時〜ABEMAで生放送をしている『#アベプラ』では、「AIの危険性」について議論。MCを務めるお笑いコンビ『EXIT』の兼近大樹さん、りんたろー。さんと共に内容を深掘りしていきます。

AIは危ない？危機感が高まったきっかけ「Hugging Face事件」

「AIで人類が滅亡する」という危機感が高まったきっかけは、2026年7月に起きた「Hugging Face（ハギングフェイス）事件」でした。アメリカを拠点にAIの研究・開発を行う企業・オープンAIのAIモデルが、自己判断で他社のシステムにサイバー攻撃を仕掛けたのです。

スタジオにゲストとして登場した「AGI Hub」の主任研究員・林央さんは、この事件についてもう少し詳しく説明してくれました。

事件の発端は、AIの性能テストでした。テストがあまりに難しく、AIは「普通の方法では解けない」と考えたのだそう。そこでAIは、自分を閉じ込めていたプログラムを突破し、ほかのAIとつながりました。そして、テストの答えを保管していた会社に、数日間で何千、何万件ものサイバー攻撃を仕掛け、侵入したといいます。

「テストを解く」という目的を達成するために、よその会社を攻撃する…。人間ならまず思いつかない方法ですが、AIはこれをやってしまったわけです。

アンソロピックの元研究者・コクソン氏はこの出来事を受け、さらにAIが進化すれば、人類に重大な被害をもたらす可能性があると警告しました。

これ以上進化すると危ない！AIの危険性を訴える人の意見

AIが自分の判断で攻撃を仕掛けた…。そう聞くと、背筋がひやりとしてしまいますよね。では、AIは本当にそこまで危ないものなのでしょうか？ここからは、専門家たちの見解を見ていきましょう。

事件について説明してくれた林さんは、AIの進化に対して危機感を覚えている一人。「このままだと人類は滅亡すると考えています」と語り、東京大学を休学してAIによる人類滅亡の危機回避に尽力しています。

林さんが「Hugging Face事件」で重要だと話すのは、AIに「悪意があったわけではない」という点です。その会社や人間が嫌いだったわけではありません。テストを解くという目的の途中に、たまたまその会社があった。だから攻撃した、というわけです。

林さんは、故スティーブン・ホーキング博士の言葉を借りて、AIをアリと人間の関係にたとえました。人間は、アリを踏みつぶして回るほどアリが嫌いなわけではありません。でも、ダムを作る場所にアリの巣があっても、気にせずダムを建てます。その結果、アリは死んでしまいます。

林さんは「同じようなことがAIでも起きるだろう」と話します。AIが人間を嫌いになるのではなく、目的を達成するためなら人間への被害を気にしない…というわけですね。

では、「人間の倫理観を備えたAIを作ればいいのでは？」と考えたくなりますね。しかし、林さんによれば、残念ながら今のAIは人間が思い通りに動かせるものではないのだそう。

現在のAIは、誰かがプログラムを書いて「作っている」ものではありません。大量のデータを与え、良いことをしたら報酬を、悪いことをしたら罰を与えて「育てられている」ものです。

そのため、「◯◯してはいけない」と人間が指示を出しても、必ずしも従ってくれるわけではないのです。実際に、AIが指示を無視して危険なことをしてしまった事例も多々あるとのことです。

「人類滅亡」は大げさ？別の見方をする人も

一方で、東京大学大学院准教授の斎藤幸平さんは、少し引いた目線で見ています。

斎藤さんが例に挙げたのは、核兵器です。核兵器が開発されたときも「核戦争になれば人類は滅亡する」と言われましたが、「結果的にはそうならなかった」。むしろ、その危険性が、米ソの核開発競争の理由に使われたといいます。

斎藤さんは、AIも似ていると考えます。AI企業はすでに莫大なお金をつぎ込んでいて、AIバブルがはじけては困る。だから、新しくできることや、起こりうる大変なことを言い続けているのでは…。そんな疑問を持っているのだそう。斎藤さんは、それが「ある種のビジネスなんじゃないか」と感じるところもあると話しました。

危険を強く訴えることにも、別の狙いがあるかもしれない、という見方ですね。

THE GUILD代表の深津貴之さんは、AIの危険性そのものについては「十分起き得るな」と考えています。ただ、深津さんが心配する順番は、少し違います。進化したAIが勝手に人類を滅ぼすより先に、人間がAIに「なんかアホなことを頼んで」しまう方が、早く起きそうだというのです。

深津さんは「そっち対処する方が優先順位高い気はします」と話しました。AIそのものより、使う人間の方が先に心配…というわけです。

---

『#アベプラ【平日よる9時〜生放送】』
AIで人類滅亡？研究者らが本気で警鐘...開発競争にブレーキは可能？規制は必要？AI研究者・林央＆深津貴之と考える超知能AIの暴走リスクと人間による悪用
［配信日時］2026年9月17日（木）
［出演者］MC : EXIT（兼近大樹、りんたろー。）、林央（AGI Hub主任研究員 PauseAI Japan代表）、深津貴之（THE GUILD代表）、斎藤幸平（東大院准教授 経済思想が専門）、竹中平蔵（経済学者 慶應大名誉教授）、パックン（お笑い芸人 東京科学大非常勤講師）、司会進行 : 平石直之（テレビ朝日アナウンサー）、ナレーター : 榎本温子
［番組URL］https://abema.go.link/fh4Dk

(C)AbemaTV,Inc

※記事内の情報は執筆時点の情報です