「あれもこれも」にLLMは混乱する:適切なプロンプトは2026年においても重要

AIコーディングを使っていて、「プロンプトに詳しく書けば書くほど、AIの出力が安定しなくなる」と感じたことはないでしょうか。仕様を丁寧に補足し、条件をあれもこれもと列挙したのに、かえってハルシネーション(事実に基づかない出力)が増えてしまう。

2026年2月に発表されたJ.P. Morgan AI Researchの論文が、この直感を約37万件の実データで裏付けています。

何がハルシネーションを引き起こすのか:17の言語特徴と「リスク地図」

Watson et al. (2026) は、人間の理解を困難にすることが言語学的に知られている17の特徴を定義し、369,837件の実クエリからハルシネーション率との相関を大規模に分析しました。

もっともリスクを高めた要因はLack of Specificity(曖昧さ) で、オッズ比は2.382。具体的な制約(時間・場所・対象)を欠いたクエリは、そうでないクエリに比べてハルシネーションの発生率が顕著に上昇しています。次いでClause Complexity(節の複雑さ) がオッズ比1.764で続きます。従属節や関係節が入れ子になった構文は、LLMにとっても解釈の負荷が高いことを示しています。

逆にリスクを下げた要因のトップはAnswerability(回答可能性) で、オッズ比0.331。検証可能な答えが存在する明確なクエリでは、ハルシネーション率が大幅に低下しました。続いてIntention Grounding(意図の明示) もリスク低減と強い相関を示しています。「要約して」「比較して」「抽出して」のように、求める操作を明示的に伝えることが、LLMの出力精度に直結するという結果です。

Image

人間を混乱させるものと、LLMを混乱させるものは違う

この研究でもっとも興味深い発見のひとつは、人間の理解を妨げることで知られる特徴の一部が、LLMにはほとんど影響しなかったという点です。

珍しい単語(Rare Words)、最上級表現(Superlatives)、否定文(Negation)は、いずれも人間の読解では混乱を招きやすい特徴として言語学で広く研究されてきました。しかし今回の分析では、これらのLLMハルシネーションへの寄与は限定的でした。

この知見は実務的に重要な示唆を含んでいます。つまり、「人間向けに丁寧に書いた仕様書」がそのままAIにとっても良い入力になるとは限らないということです。仕様書は本質的にClause Complexityが高くなりやすく、網羅性を追求すれば「あれもこれも」とExcessive Details(過剰な詳細)を含みがちです。人間が読んで理解しやすい形式と、LLMがハルシネーションしにくい形式は、必ずしも一致しません。

効果が高い3つの低コスト改善

論文は、分析結果から導かれる3つの低コストな改善策を提案しています。

  • 曖昧さの排除: 時間・場所・対象などの制約を明示的に追加する
  • 意図の明示: 「要約」「比較」「抽出」「検証」など、求める操作を具体的に述べる
  • 多義語の事前解決: 文脈で意味が分岐しうる語は、あらかじめ意味を限定する

特に短いプロンプトほど、これらの改善による効果が大きいことも示されています。オープンエンドで短い指示は、リスクの高い領域と低い領域の差がもっとも顕著に現れる場面です。

「理由」を伝えることの意味

この研究結果は、AIコーディングにおけるコンテキスト設計にも直接つながります。

Intention GroundingとAnswerabilityがハルシネーション低減に寄与するという知見は、単なる指示(instruction)よりも根拠(rationale)の方がLLMの推論を安定させるという考え方と整合します。sqlewは設計上の方針(Decision)と誓約(Constraint)を個別に、それぞれ「なぜそう決めたか」という理由付きでAIに渡す設計をとっており、これによってLLMの混乱を防いでいます。

指示を増やすのではなく、「短く、意図明確で、回答可能」な情報を渡すこと。2026年のLLMにおいても、プロンプトの質は出力の質を左右する重要な要素であり続けています。


参考文献

  • Watson, W., Cho, N., Ganesh, S., & Veloso, M. (2026). "What Makes a Good Query? Measuring the Impact of Human-Confusing Linguistic Features on LLM Performance." — arXiv:2602.20300 — https://doi.org/10.48550/arXiv.2602.20300

sqlew OSS

  • あらゆるDBでSQLを実行
  • 軽量CLIツール
  • オープンソース & 永久無料
GitHubで見る

sqlew Cloud

  • セットアップ不要
  • チームコラボレーション内蔵
  • 無料プランあり
無料で試す