AIが企業の標準装備ツールになると、これまで「体感の問題」と見なされていた現象が、急速に表面化してきています。LLM(大規模言語モデル)が「だんだん賢くなくなっている」のです。ネットユーザーのWisely Chenは、いわゆる「LLMの低知能化(降智)」は都市伝説ではなく、データによって継続的に追跡でき、すでに企業の業務フローに実質的な影響を与えていると指摘しています。
彼は自身の経験を例に挙げ、4月15日にAnthropic傘下のClaudeシリーズのサービスが全面的にグレードダウンしたことを説明しました。claude.ai、API、Claude Codeのいずれも「Degraded Performance」と表示されました。これは単に遅くなっただけ、あるいは偶発的なエラーという話ではなく、応答品質が明らかに崩れ、正常に利用できない状態にまでなったため、当日の3つの開発タスクがすべて遅延しました。
こうした状況は個人開発者にとっては効率低下にとどまるかもしれませんが、企業のITチームにとっては影響が倍化します。チーム内の複数のエンジニアが同時にAIツールを使ってコーディング、ドキュメント作成、業務の自動化を行っているときに、モデルが一度グレードダウンすると、同じタイミングで全体の生産性が集団的に下がり、その結果、目に見える時間とコストの損失につながります。
AIの感じが「バカになった」? データは「早くも劣化している」ことを裏づけ
Wisely Chenは、「GPTがバカになった」「Claudeは以前ほど良くない」といった言い方がコミュニティで長年広まってきた一方、長らく客観的なデータによる裏づけが欠けていたと述べています。最近になって、モデル品質を継続監視するプラットフォームが登場したことで、この現象が初めて定量化されたのです。
その中でStupidMeterは、OpenAI、Anthropic、Googleなどの主流モデルを対象に24時間の自動化テストを行い、正確性、推理能力、安定性といった指標を追跡しました。従来の一度きりのbenchmarkとは異なり、こうした仕組みは企業がAPIやサービスの可用性を監視するやり方により近く、モデルが実際の利用環境でどのようにパフォーマンスを揺らすかを観察します。
結果は非常に直感的です。現在、多くの主流モデルは警告状態、またはグレードダウン状態にあり、ごく一部のモデルだけが正常を維持しています。これは、モデル品質の不安定さが、単一の製品の問題ではなく、産業全体の一般的な現象であることを意味します。
LLMがこっそり低知能化し、AIの業務ワークフロー企業の安定性に影響
企業にとって、このような変化はAIが「効率を高めるためのツール」から、「安定性に影響する変数」へと変わったことを意味します。もし企業の日常の業務フローが、プログラムを書くことからコードレビュー、ドキュメントの作成、分析レポートの出力まで、すでに高度にLLMに依存しているなら、モデルがある日に推理能力の低下や回答品質の劣化を起こしても、従来のソフトウェアのbugのように部分的にだけ発生するのではありません。AIを使うあらゆる工程に同時に浸透していくのです。
さらに重要なのは、この揺らぎは往々にして予測しにくく、しかも即時に気づきにくいことです。多くの企業には、モデル品質を継続的に監視する仕組みがありません。通常、出力結果が異常になったり、チームの効率が落ちたりした後になって、問題がモデルそのものに由来すると気づくのです。このような状況では、「低知能化」は単なる利用者の主観的な感覚ではなく、企業の事業運営のリズムに直接影響するシステム的なリスクになります。
AIが水道・電気になり、安定性が新たな重要指標に
Wisely Chenは、LLMの役割を「現代企業の水道・電気」にたとえています。AIが日常の運営に深く入り込み、欠かせない基礎的な能力になった以上、その安定性の重要性もそれに伴って高まります。
これまで企業がAIツールを評価する際は、モデル能力、価格、機能に重点が置かれていました。しかし「低知能化」現象が浮上してきたことで、より重要な別の指標が姿を現しています。それが安定性です。モデル品質が、事前の通知なしに変動しうるなら、企業はもはや「AIを使う」だけでは済まず、新しいタイプのインフラリスクを引き受ける必要があります。もっと絶望的なのは、最先端の大規模言語モデルだけを見ている場合、計算能力(算力)の問題が解決しない限り、基本的に今後も同様のことが起こり続ける可能性があるという点です。
この記事 データが曝す「Claude 降智」は都市伝説ではない、AIモデルの不安定さが企業リスクとなる 最初に出現したのは 鏈新聞 ABMediaです。
関連記事
Judge Dismisses Fraud Claims in Elon Musk's OpenAI Lawsuit; Case Advances to Trial with Two Remaining Allegations
GoogleはAnthropicに400億ドルを追加投資:まず100億ドルを前払いし、業績に応じて300億ドルを放出。5GWのTPU計算リソースも配分