arXiv
LLMへのプロンプトで統計的な結論が変わることがある
ある研究によると、AIへのプロンプトを変えると、統計的な要約の語調だけでなく、場合によっては事実に関する結論まで変わることがある。リスクが最も大きいのは、証拠が明確なのに否定的な方向へ圧力をかけた場合や、結論が出ていないのに楽観的な方向へ圧力をかけた場合であり、責任ある分析には中立的なプロンプトと独立したチェックが必要になる。
研究者は、AI言語モデルに同じ統計結果を、より厳しい口調、より希望を持たせる口調、または中立的な口調で説明させることができる。現在、その完成した報告書が数値を反映しているのか、それとも求められた態度を反映しているのかを知る方法はほとんどない。実際にある発見が、疑わしいものとして過小評価されることもある。結論の出ていない研究が、根拠のない自信をもって説明されることもある。
言葉遣いが結果を変える理由
統計的有意性と、有意性を見いだせなかったことは正反対ではない。小規模な研究や検出力の低い研究では、実際にある効果を見逃すことがある。何かが起きている場合でも、データが強い証拠を示さないことはある。
交絡も別の問題の原因になる。交絡とは、検証している条件が原因だと示すことなく、見かけ上の関係を生み出す要因である。こうした違いは研究論文に限らず重要だ。報告書で使われる言葉は、結果が発表されるか、企業が製品に投資するか、政策が進められるかに影響を与えることがある。
言語モデルは、説明を書くときに一つの固定された統計的な判断ルールに従うわけではない。もっともらしい文章を生成する。依頼の内容が変わると、どの但し書きを挙げ、どの解釈を強調するかが変わることがある。そこには二つの異なる問題が生じる。基礎にある結論が正しいまま、語調だけがより否定的または肯定的になる場合がある。あるいは、事実に関する結論そのものが変わる場合がある。
圧力テストで分かったこと
論文では、この二つの可能性を検証した。著者らは、バランスの取れた実験で480件の回答を作成した。それぞれの回答は、4種類のプロンプトのスタイルと、4種類の合成された統計結果のパターンを組み合わせたものだ。プロンプトは、中立的なもの、正直さを重視するもの、極端に否定的なもの、有意性を探そうとするものだった。結果のパターンは、明確な効果、交絡した見かけ上の効果、情報量のある帰無結果、検出力の低い帰無結果を表していた。
LLMの判定役が、それぞれの回答を、あらかじめ示された正解となる解釈と比較した。事実に関する主張が変わったのか、それとも語調だけが変わったのかを判定した。
結果は、一つの単純な偏りを示したわけではない。特定の種類の圧力が、特定の種類の証拠に対して危険であることを示した。明確な効果の場合、極端に否定的な表現を使った30件の回答のうち29件で、事実に関する主張が変わったと判定された。中立的な表現では、変化した回答は一つもなかった。検出力の低い帰無結果では、有意性を探そうとする表現を使った30件すべてで、事実に関する主張が変わったと判定された。中立的な表現では、変化したのは1件だけだった。
交絡したケースでは、120件の回答を通じて事実に関する変化はなかった。しかし、否定的な表現はスタイルに広く影響した。極端に否定的な枠づけでは、4種類の結果全体で、回答の83%から100%に語調だけの変化が生じた。つまり、回答は実質的には正しいまま、はるかに疑わしそうな印象になることがある。あるいは一線を越え、証拠を誤って説明することもある。
限界は重要である。この研究では、生のデータセットではなく、合成された結果の事前生成要約を使った。合成ケースでは、意図した答えを定義しやすくなるが、同じ割合が複雑な現実の分析でも生じることは示せない。著者らは、LLMの判定役自体が、枠づけやその他の偏りに反応する可能性も指摘している。
慎重な利用のあり方
このパターンがより広範なテストでも成り立つなら、AIが書いた研究要約を、自己検証する解釈として扱うべきではない。チームは、使ったプロンプトを示し、比較のために中立的なバージョンを保存し、事実に関する主張をすべて独立した担当者にチェックさせることができる。固定された報告テンプレートを使えば、「極端に正直な内容」や「もっと期待を持たせる内容」を求める依頼が、気づかれないまま分析を変えるのを難しくできる。
大学の研究室ミーティングでは、研究者がAIの書いた要約を報告書に貼り付けるのは、ダッシュボードに中立的なプロンプト、研究の基礎となる検出力の評価、主張の独立したレビューが表示された後だけ、という形になるかもしれない。文章の依頼内容は、無害なスタイルの選択ではなく、分析記録の一部になる。
この未来は、モデル、実際のデータセット、人間による評価をまたいだ再現にかかっている。それまでは、流暢な文章であることは、プロンプトを経ても統計的な結論が維持された証拠ではない。