AIチャットは長く続くと性能が低下する可能性

大規模言語モデル（LLM）は、情報が依然として関連性を持っている場合でも、特定の閾値を超えると壊滅的な性能低下を示すと、オープンソースのAIモデルであるQwenを使った実験で判明しました。

「チャットが長くなってきたら新しいチャットで始めよう」という経験則、皆さんもありませんか？

実はこれ、ちゃんとした根拠があったことが2026年1月に公開された論文で明らかになりました。LLM（大規模言語モデル）には「コンテキスト長の崖」が存在し、ある閾値を超えると性能が急激に低下するというのです。

出典：LLMのコンテキスト長が限界を超えると性能が崖のように落ちる話 #AI – Qiita

LLMが性能低下を起こす閾値は、最大コンテキスト長の40～50%と特定されています。つまり、100,000トークンを処理できるAIなら、チャットの長さが40,000~50,000トークンを超えると著しい性能低下を起こすということですね。

過去の研究でも同様の事例があり、AIチャットの会話や入力が長くなるほど、AIが過去の情報を正確に参照・活用する能力が低下するというのは再現性のある事象のようです。

まとめ

使いやすさと利用量（トークン）の節約のため、1つのチャットが長くなり過ぎないように気を付けている方は少なくないと思いますが、これはAIの性能面でも意味のある対応なんですね。

関連記事