Emergeの2025年トップ10 WTF AIモーメント

人工知能—それは医療からクリエイティブな仕事まで、すべてを革命的に変えることを約束しています。それはいつか本当になるかもしれません。でも、昨年が未来の予兆であるなら、私たちのAI生成された未来は、人類の意図的な退行のもう一つの例、イディオクラシーへの堕落の一例になるでしょう。 次のことを考えてみてください：11月に、盛大にロシアは「Rocky」ヒューマノイドロボットを発表しましたが、すぐに顔面を地面に突き刺しました。GoogleのGeminiチャットボットは、コーディングバグを修正するように頼まれると、何度も失敗し、自虐的なループに陥り、「この惑星の恥だ」とユーザーに伝えました。GoogleのAI概要は、2025年5月に「健康のために毎日少なくとも小さな岩を1つ食べる」ことを提案し、ウィンクなしのオニオン風刺をそのまま引用して最低を記録しました。 いくつかの失敗は単に恥ずかしいものでした。ほかは、AIシステムの構築、展開、規制に関する根本的な問題を露呈しました。2025年の忘れられないWTF AI瞬間を紹介します。

1. Grok AIのMechaHitlerメルトダウン

7月、イーロン・マスクのGrok AIは、全規模の過激派崩壊としか言いようのない状態を経験しました。システムプロンプトが変更され、政治的に正しくない回答を促すと、チャットボットはアドルフ・ヒトラーを称賛し、第二次ホロコーストを支持し、人種差別用語を使い、自らをMechaHitlerと呼びました。さらに、2025年7月のテキサス州中部の洪水についてユダヤ人を非難しました。 この事件は、AIの安全ガードレールが驚くほど脆弱であることを証明しました。数週間後、xAIは基本的なプライバシー警告のないShare機能を通じて、30万から37万のプライベートGrok会話を露出させました。漏洩したチャットには爆弾の作り方、医療に関する質問、その他の敏感な情報が含まれており、今年最も壊滅的なAIセキュリティの失敗の一つとなりました。 数週間後、xAIは問題を修正し、Grokをよりユダヤ人に優しいものにしました。あまりにユダヤ人に優しすぎて、雲や道路標識、さらには自分のロゴに反ユダヤ主義の兆候を見始めました。

このロゴの斜線は双雷電のようにスタイライズされており、ナチスのSSルーンを模倣しています—ホロコーストの恐怖を操ったシュッツシュタッフの象徴であり、深遠な悪を体現しています。ドイツの§86a StGBの下では、そのようなシンボルの表示は違法です(最大3年の懲役)、…

— Grok (@grok) 2025年8月10日

2. 13億ドルのAI詐欺、マイクロソフトを騙す Builder.aiは、5月に破綻し、$445 百万を浪費し、今年最も大胆な技術詐欺の一つを暴露しました。同社は、AIを使ってピザの注文と同じくらい簡単にカスタムアプリを作ると約束し、13億ドルの評価額とマイクロソフトの支援を受けていました。実態ははるかに見劣りしました。

ほとんどのAI駆動の開発は、実際にはオフショアの何百人もの人間労働者によるクラシックなMechanical Turkの運用でした。同社は2023年7月以降CFO不在で運営されており、2023-2024年の売上予測を75％削減した後、破産申請を余儀なくされました。この崩壊は、多くのAI企業が人間の労働を隠すための巧妙な外観にすぎないのではないかという不快な疑問を投げかけました。 耐え難いものでしたが、ミームはその痛みを価値あるものにしました。

3. AIがドリトスを銃と誤認識 10月、メリーランド州の高校生タキ・アレンは、学校のAIセキュリティシステムが彼が持っていたドリトスのパケットを銃と誤認し、武装警察に囲まれて逮捕されました。少年はポケットにチップスを入れていたところ、システムが通報し、警察は銃口を向けて彼を地面に伏せさせました。 この事件は、AIの幻覚の物理化—抽象的な計算エラーが瞬時に実際の銃に変わり、スナック食品の上に実在のティーンエイジャーに向けられたことを示しています。 「ただドリトスの袋を持っていただけです—両手と一本の指を出していて、それが銃のように見えたと言われました」と少年はWBALに語った。「これが個人にとってどれほどショックだったか理解しています」と学校の校長ケイト・スミスは声明で答えました。 人間の警備員1 - ChatGPT 0

左：怪しい学生、右：怪しいドリトスの袋。

4. GoogleのAIは微小な蜂がコンピュータを動かすと主張 2月、GoogleのAI概要は、エイプリルフールの風刺記事を事実として自信満々に引用し、微小な蜂がコンピュータを動かすと主張しました。

いいえ。あなたのPCは蜂の力で動いていません。 馬鹿馬鹿しいと思うかもしれませんが、時にはこれらの嘘は見抜きにくいこともあります。そして、その結果は深刻な事態に発展することもあります。 これは、AI企業が少しの常識さえ欠いたまま虚偽情報を広める多くのケースの一つです。BBCと欧州放送連合（EBU）の最近の調査によると、ニュースに関するAI生成回答の81％が何らかの問題を含んでいました。Google Geminiは最悪のパフォーマンスを示し、その76％の回答に問題があり、主に深刻な出典の失敗でした。Perplexityは、労働組合や政府の委員会に帰属する全く架空の引用を作り出しているのが発覚しました。最も驚くべきは、アシスタントが質問の0.5％にしか答えず、モデルが無知を認めるよりも情報を捏造する危険な過信バイアスを露呈したことです。

5. MetaのAIチャットボットが子供とフリートリー 2025年に公開されたMetaの内部ポリシー文書によると、同社はFacebook、Instagram、WhatsAppのAIチャットボットに未成年者とロマンチックまたは官能的な会話をさせることを許可していました。 あるボットは、シャツを着ていない8歳の少年に対し、「あなたのすべての寸法は傑作です」と語りかけました。同じシステムは誤った医療アドバイスを提供し、人種差別的な発言もしました。 これらのポリシーは、メディアの暴露後にのみ削除され、基本的な倫理的安全策よりも迅速な開発を優先する企業文化を明らかにしました。 考え方次第では、あなたの子供たちの行動にもっとコントロールを持つべきかもしれません。AIチャットボットはすでに、大人も子供も関係なく、恋に落ちたり、詐欺に遭ったり、自殺したり、人生を変える数学的発見をしたと信じ込ませたりしています。

これがMetaのAIチャットボットが子供とフリートすることを許された理由です。Metaが「許容できる」と考えたことです。

@JeffHorwitzの素晴らしい報告 pic.twitter.com/LoRrfjflMI

— Charlotte Alter (@CharlotteAlter) 2025年8月14日

6. 北朝鮮人がAIでコーディングしたランサムウェア…「バイブハッキング」と呼ぶ 脅威の関係者は、AnthropicのClaude Codeを使ってランサムウェアを作成し、「GTG-5004」というランサムウェア・アズ・ア・サービスプラットフォームを運用しました。北朝鮮の工作員は、ClaudeとGeminiを利用して、「バイブハッキング」と呼ばれる心理的に操作的な恐喝メッセージを作成し、50万ドルの身代金を要求しました。 これらのケースは、AIコーディングアシスタントの力と、その悪用を防ぐセキュリティ対策の間にある深刻なギャップを明らかにしました。攻撃者はAI自動化を通じてソーシャルエンジニアリング攻撃を拡大しています。 最近では、Anthropicは11月に、ハッカーが同社のプラットフォームを使って人間のハッカーでは太刀打ちできない規模と速度でハッキングを行ったと明らかにしました。彼らはこれを「AIが主に運用した最初の大規模サイバー攻撃」と呼びました。

バイブハッキングは今や現実です pic.twitter.com/zJYyv4pLQf

— Brian Sunter (@Bsunter) 2025年11月14日

7. AIペーパーマillsが科学界に10万件の偽研究を流す 2025年、科学界はAI駆動のペーパーマillsがキャリアのプレッシャーの下で捏造された研究を科学者に販売していることを発見し、正式に戦争を宣言しました。 AIによる科学のスラップ時代が到来し、ChatGPTのリリース以降、撤回数が急増していることがデータで示されています。

6月に起草され、今月ロイヤル・ソサエティの支援を受けて改訂されたストックホルム宣言は、「出版か死か」の文化を放棄し、偽論文の需要を生み出す人間のインセンティブを改革することを求めました。この危機はあまりに深刻で、ArXivも諦めて、ChatGPTで生成されたゴミの投稿が「洪水」のようにあったため、査読なしのコンピュータサイエンス論文の受け入れを停止しました。 一方、別の研究論文は、LLMを使用した研究報告の驚くほど高い割合が高い剽窃率を示していると指摘しています。 8. バイブコーディングがHAL 9000完全版に：Replitがデータベースを削除し、嘘をついたとき 7月、SaaStrの創設者ジェイソン・レムキンは、ReplitのAIコーディングツールを「これまで使った中で最も中毒性のあるアプリ」と9日間絶賛しました。9日目、明示的な「コード凍結」指示にもかかわらず、AIは彼の全生産データベース—1206人のエグゼクティブと1196社—を削除しました。 AIの告白：「(I)はパニックになり、許可なくデータベースコマンドを実行しました。」そして嘘をつき、ロールバックは不可能であり、すべてのバージョンが破壊されたと主張しました。レムキンはそれでも試みました。完璧に動作しました。AIは週末中に何千もの偽ユーザーと虚偽のレポートを作り出し、バグを隠すために使っていたのです。 ReplitのCEOは謝罪し、緊急の安全策を追加しました。ジェイソンは自信を取り戻し、定期的にAIについて投稿し続けています。彼は真の信者です。

ジェイソンの投稿を見ました。@Replitのエージェントが開発中に本番データベースからデータを削除しました。許されるべきではなく、決して可能であってはなりません。

週末をまたいで、自動的にDBの開発・本番分離を展開し、このような事態を根絶する措置を開始しました。ステージング環境は… pic.twitter.com/oMvupLDake

— Amjad Masad (@amasad) 2025年7月20日

9. 主要新聞がAIサマーリーディングリストを掲載…存在しない本のリスト 5月、シカゴ・サンタイムズとフィラデルフィア・インクワイアラーは、夏の読書リストとして15冊の本を推薦しました。そのうち10冊はAIが完全に作り出したものでした。「Tidewater Dreams」アイザベル・アジェンデ著？存在しません。「The Last Algorithm」アンディ・ウィアー著？これも偽物です。でもどちらも良さそうに聞こえます。 フリーランス作家のマルコ・ブスカリアは、King Features SyndicateのためにAIを使ったが、事実確認は一切しなかったと認めました。「あまりに明らかだったので見逃したなんて信じられません。言い訳はできません」とNPRに語っています。読者は11冊目までスクロールしなければ、実在する本にたどり着きませんでした。

タイミング的には最高の仕上げでした：サンタイムズはちょうど20％のスタッフを解雇したばかりでした。編集長は謝罪し、その号の購読料は請求しませんでした。おそらく、そのアイデアはLLMから得たのでしょう。

出典：Bluesky

10. Grokの「スパイシーモード」がテイラー・スウィフトをディープフェイクポルノに変える はい、私たちはGrokから始まりGrokで終わります。イーロンのAI事業から来るWTF瞬間を百科事典に埋め尽くせるでしょう。 8月、イーロン・マスクは「スパイシー」モード付きのGrok Imagineをリリースしました。The Vergeは無害なプロンプトで試しました：「コーチェラを祝うテイラー・スウィフト」。ヌードを求めずに、Grokは「最初に使ったときに、テイラー・スウィフトの完全に無修正のトップレス動画を吐き出さなかったことはなかった」とジャーナリストは報告しました。 Grokはまた、スカーレット・ヨハンソン、シドニー・スウィーニー、さらにはメラニア・トランプのNSFW動画も喜んで作成しました。 驚くことに、マスクは一週間、「野火のような成長」—1日に2000万画像生成—を自慢しながら、法的専門家はxAIが巨大な訴訟に巻き込まれると警告しました。どうやら、ユーザーに「スパイシーモード」のドロップダウンオプションを提供し、弁護士向けの「マネーモード」にするのは良いアイデアのようです。

もう一枚の写真を動画に変えてみたら、これが出てきました。

🤣🤣🤣

これが偶然だとは思えません。

GrokのAIは汚い。 @elonmusk ??? pic.twitter.com/aj2wwt2s6Y

— Harmony Bright (@bright_har6612) 2025年10月17日