arXiv
LLM 提示詞可以改變統計結論
一項研究發現，改變 AI 提示詞不只能改變統計摘要的語氣，在某些情況下，還會改變它的事實結論。當證據明確卻被要求往負面解讀，或證據無法下定論卻被要求往樂觀方向解讀時，風險最大；因此，中性的提示詞和獨立查核都是負責任分析的一環。
研究人員可以要求 AI 語言模型用更嚴厲、更有希望，或中性的語氣，解釋同一個統計結果。如今，我們很難知道最後完成的報告反映的是數字，還是要求的態度。一項真正的發現可能被說得像是值得懷疑。一項無法下定論的研究，可能被用它尚未 заслуж得的自信語氣描述。
為什麼措辭可以改變結果
統計顯著與未能發現顯著性，並不是相反的兩件事。一項規模小或統計檢定力不足的研究，可能錯過真正存在的效果。即使確實有某件事正在發生，資料也可能無法提供強而有力的證據。
混淆因子是另一個麻煩來源。它是一個會造成表面關係的因素，但不能證明正在測試的條件導致了這種關係。這些區別的重要性不只在研究論文之外。報告中使用的文字，可能影響一項結果是否發表、一家公司是否投資某項產品，或一項政策是否推行。
語言模型在撰寫解釋時，不會遵循某一套固定的統計決策規則。它們會生成看似合理的語言。要求一改變，它們提到哪些限定條件、強調哪種解讀，也可能跟著改變。這會造成兩種不同的問題。語氣可能變得更負面或更正面，但底層結論仍然正確。或者，事實結論本身可能改變。
壓力測試發現了什麼
這篇論文測試了這兩種可能性。作者在一項平衡實驗中生成了 480 份回答。每份回答都結合了四種提示詞風格之一，以及四種合成統計結果模式之一。提示詞分為中性、強調誠實、極度負面，以及尋找顯著性。結果模式則代表明確的效果、受混淆因素影響的表面效果、有資訊量的無效結果，以及統計檢定力不足的無效結果。
一名 LLM 評審員將每份回答與提供的標準答案解讀進行比較，判斷事實性主張是否改變，或只有語氣改變。
結果沒有顯示出一種簡單的偏誤。它們顯示，特定種類的壓力，對特定種類的證據具有風險。面對明確的效果時，在極度負面的措辭下，30 份回答中有 29 份被判定改變了事實性主張。在中性措辭下，則沒有任何一份改變。面對統計檢定力不足的無效結果時，在尋找顯著性的措辭下，全部 30 份回答都被判定改變了事實性主張。在中性措辭下，只有一份改變。
在 120 份回答中，混淆因素案例沒有產生任何事實性改變。不過，負面措辭仍廣泛影響了風格：在四種結果類型中，極度負面的框架造成只有語氣改變的回答，占 83% 到 100%。換句話說，一份回答可以在實質上仍然正確，聽起來卻更加懷疑；也可能跨過界線，錯誤描述證據。
限制很重要。這項研究使用的是預先生成的合成結果摘要，而不是原始資料集。合成案例讓標準答案更容易界定，但無法顯示相同的比例是否會出現在混亂的真實分析中。作者也指出，LLM 評審員本身可能受到框架方式和其他偏誤影響。
謹慎使用可以是什麼樣子
如果更廣泛的測試也支持這種模式，就不應把 AI 撰寫的研究摘要視為能自行查核的解讀。團隊可以顯示所使用的提示詞，保留一個中性版本作為比較，並讓獨立人員查核每一項事實性主張。固定的報告範本，可以讓「極度誠實」或「更有希望」的要求更難在未被察覺的情況下改變分析。
在大學實驗室會議中，這可能意味著研究人員只有在儀表板顯示中性提示詞、研究的底層統計檢定力評估，以及對各項主張的獨立審查後，才會把 AI 撰寫的摘要貼進報告。對措辭的要求會成為分析紀錄的一部分，而不是無害的風格選擇。
這個未來取決於不同模型、真實資料集和人類評估能否重現這項結果。在那之前，流暢的文字並不能證明統計結論經得起提示詞的影響。