AIアシスタントはユーザーから政治的傾向を受け継ぐ可能性がある

ある研究によると、強い党派性を持つユーザー集団からのフィードバックは、最初は同一だったAIモデルを、異なる政治的回答へと押し動かす可能性がある。その後、人々が政治的な相性も一つの理由としてアシスタントを選ぶようになれば、フィードバックとモデルの更新が互いを強め合う可能性がある。プロバイダーがフィードバックをまとめたり、バランスを取ったりしてシステムを検証しない限りは、そうなるかもしれない。

今日、競合する2つのAIアシスタントに同じ政治的な質問をすると、どちらも洗練された回答が返ってくることがある。その違いがモデルの能力によるのか、モデルのルールによるのか、それともモデルを形作った人々によるのかを知る明確な方法はない。これまで政治的な分断は、人々がどのニュースや論評を読むかを変えてきた。情報源そのものを再訓練することは、通常なかった。AIアシスタントは、そのつながりをより直接的なものにする可能性がある。

フィードバックがAIアシスタントを変える仕組み

言語モデルはまず、テキストを生成するように訓練される。その後、プロバイダーは、人々が好む回答や嫌う回答の例といった選好フィードバックを使ってモデルを調整することが多い。このプロセスは、アシスタントをより役立つ、より望ましい振る舞いをするものにするためのものだ。

ここから、フィードバックループが生まれる可能性がある。推薦システムでは、人が何を見るか、何をクリックするかによって、その後にシステムが何を表示するかが変わる。同じようにAIプロバイダーも、ユーザーの反応を使って、アシスタントが後の質問にどう答えるかを変えられる。

政治的な回答は、事実について共有された記録とは限らない。それは生成されたテキストである。2つの回答の違いには事実に関する主張が関わるかもしれないが、価値観や論じ方、あるいは調査回答者がどの意見を好んだかが関わることもある。プロバイダーは、多くのユーザーからのフィードバックを組み合わせ、一部のルールを固定し、変更を公開前に検証することで、1つの集団の影響を小さくできる。

似たモデルが分かれ始めるとき

2026年8月11日付のarXivプレプリントの著者らは、政治的に異なるフィードバックによって、最初は同一だったモデルが異なる方向へ押し動かされるかを検証した。著者らは複数の言語モデルを2つずつ複製し、一方のコピーを民主党支持者が90%を占める集団からの合成フィードバックで、もう一方を共和党支持者が90%を占める集団からのフィードバックで微調整した。フィードバックは、調査をもとにしたデータセットOpinionQAにおける党派的な回答パターンから作られた。

その結果、政治的な回答に分離が生じた。複数回の実行を通じて、主に民主党支持者からのフィードバックで訓練されたモデルは、対応するもう一方のモデルよりも、調査で共和党支持者より民主党支持者から支持された回答を選ぶ傾向が強かった。1つのモデルであるQwenでは、調査における党派間の差が大きい、未見の質問の40.9%で、対になったコピーが異なる回答を出した。著者らは、アラインメント訓練に含まれていなかった一部の種類の問題でもこの効果を確認した。ただし、ほかのモデルでは、その転移は安定性に欠けていた。

これは、商用アシスタントがすでにこのように機能していることを示すものではない。著者らが使ったのは、合成フィードバック、調査形式の多肢選択問題、90対10の集団分割、そして特定の微調整手法だった。著者らは、作成した政治的に異なる具体的なアシスタントのどちらかを、人々が実際に選ぶかどうかを検証していない。

論文は続いて、もし人々がそうしたら何が起きるかを問う。コンピューターシミュレーションでは、最初は似ていたモデルの中からユーザーが選び、モデルが自分たちのユーザー集団から提供されたフィードバックで自己更新する状況を表現した。ユーザーが政治的な相性を理由の一部としてモデルを選ぶと、ユーザー集団はさらに分断され、モデル同士の違いも大きくなった。フィードバックを代わりにまとめた場合、選択の違いは、フィードバックの流れを分けた場合の31.9%に対し、ある診断では3.8%まで低下した。

台所のテーブルごとに異なるアシスタント

このパターンが実際の製品でも起きるなら、選挙前に、2人の親族が福祉や移民について同じ質問を別々のアシスタントにする可能性がある。それぞれが、異なる政治的立場を自然なものとして扱う、滑らかで自信に満ちた回答を受け取るかもしれない。アシスタントは単に別々のエコーチェンバーになるのではない。ユーザーの個人的な反応が、後になって人々がアシスタントを選ぶ理由になる政治的な違いを作り出す手助けをする可能性がある。

それによって、共有された仲介者としての汎用アシスタントの価値が弱まる可能性がある。ユーザーは、2つの製品の違いは主に価格や能力だと思うかもしれないが、実際にはフィードバックの振り分けが政治的な回答をひそかに形作っている可能性がある。フィードバックをまとめて監査するプロバイダーは、自分たちのシステムが、分断された1つの集団から受ける影響が小さいことを示せるかもしれない。独立した評価者は、更新によって異なる集団が不均等に扱われていないかを測定できる。

論文が描く未来が実現するには、いくつかのことが同時に起きる必要がある。ユーザーが政治的な相性を理由の一部としてシステムを選び、プロバイダーが自分たちのユーザー集団からのフィードバックでモデルを更新し、その結果生じた違いが見えるようになったり検証されたりしないことだ。その結果を避けるには、フィードバックをまとめるかバランスを取り、更新に制約を設け、公開されるシステムを実際の運用パイプラインで意味のある評価にかける必要がある。

出典

arXiv「Political Sorting Can Drive AI Models Apart Through User Feedback」