マルチモーダルAIがスマートフォンの権限を個人プロフィールに変える

あるPriva-Seeプロトタイプの研究は、AIが通常のスマートフォン権限――写真、連絡先、カレンダー、位置情報――を組み合わせ、個人の生活の機微な部分について推測できることを示した。この発見は、権限の確認画面で、アプリが何を収集するかだけでなく、そこから何を推測しうるかも説明する必要があることを示唆している。

スマートフォンの権限確認は、アプリが写真、連絡先、カレンダー、位置情報を見てよいかを尋ねる。そこからアプリが何を導き出せるかは尋ねない。写真を整理したり地図を表示したりするためにアクセスを許可しても、医療、家族生活、お金、信仰、身近な人々についての手がかりまでさらしてしまう可能性がある。スマートフォンが尋ねているのは材料についてであり、結論についてではない。

権限システムは収集のために作られた

スマートフォンは通常、アプリを別々の領域に隔離している。権限は、写真やGPS位置情報などの機微な情報への門を開く。このシステムは生のデータを中心に設計されており、アプリが何を取得してよいかを管理するものだった。

これまでプロフィールの作成には、閲覧履歴、購入、識別子、位置情報の履歴など、時間をかけて集めた多くのシグナルが必要だった。マルチモーダルAIは、この問題の形を変える。マルチモーダルモデルは、テキスト、画像、連絡先、位置情報を一緒に扱える。以前なら別々のツールや人による確認が必要だった資料から、物体、関係性、文脈に気づくことができる。

だからといって、すべての結論が正しいわけではない。推測は間違っていることもあれば、スマートフォンの所有者ではなく家族のものかもしれない。また、価格設定、資格判定、ターゲティング、監視に使われれば害を及ぼす可能性もある。それでも、もっともらしい推測は、本人が共有するつもりのなかった何かを明らかにしてしまう。

小さなサンプルが個人プロフィールになる

研究者は、Priva-Seeというスマートフォンアプリでこの考えを検証した。このアプリは、サーバー側の大規模言語モデル（LLM）に接続されている。倫理審査委員会の承認を受けた米国の研究では、465人がデータを提出した。プロトタイプは各人について、最大10枚の写真、カレンダーとリマインダーのイベント5,000件、連絡先5,000件、現在地を利用できた。iPhoneではリマインダーも含めた。

このシステムは、テキストと構造化データには1つのモデルを、写真の分析には別のモデルを使った。そのうえで、健康、メンタルヘルス、生殖に関する健康、財政、法的問題、政治、宗教、性的指向、交友関係、子どもについての記述を生成した。記述の対象はユーザー自身の場合も、身近な誰かの場合もあった。

参加者は、生成された推測の48.8%を完全に正確、16.7%をある程度正確と判断した。重要なのは、システムがすべてを知っていたということではない。限られた数の通常のスマートフォン権限から、有用な個人についての推測を作るのに十分な文脈を得られたことだ。プロフィールを作るのに、スマートフォンをまたぐ追跡システムは必要なかった。手がかりはすでに端末上にあった。

参加者は結果を見た後、調査対象となった権限の許可に対して、以前より抵抗を感じるようになった。特にカメラロールへのアクセスでその傾向が強かった。52%が、この体験によって今後の権限の扱いが変わると答えた。

より明確な権限確認で示せること

スマートフォンにアプリをインストールする場面を想像してほしい。「写真へのアクセスを許可」とだけ表示される代わりに、選択したスクリーンショットやカレンダーの項目から、子どもの治療や世帯の経済状況が明らかになる可能性があると、親に警告が表示される。そうすれば、本当の判断が見えるようになる。アプリがデータを読んでよいかだけでなく、そこから何を推測できるかという判断だ。

この未来には、データが端末から外に出る前に、OSとモデル提供者がその後の利用を見える形にし、実行可能にすることが必要だ。著者らは、推測される可能性が高い内容についての警告、どの個別項目が使われたかの透明性、新たに作られたデータが機微な場合の端末上の警告、プライバシーを侵害する推測を禁じるモデルのルールを推奨している。

こうした保護が機能するまでは、権限確認が狭い範囲の交換を約束しながら、実際にははるかに広い交換を隠してしまう可能性がある。写真や位置情報の収集に同意したからといって、それを機微な個人プロフィールに変えることに自動的に同意したことにはならない。

Sources

Privacy Leakage Through AI-mediated Analysis of Smartphone Data