arXiv
多模态 AI 将手机权限变成个人画像
一项对 Priva-See 原型的研究显示,AI 可以把普通的手机权限——照片、联系人、日历和位置——结合起来,猜测一个人生活中敏感的部分。这一发现表明,权限提示不仅必须说明应用会收集什么,还必须说明它可能推断出什么。
手机权限会询问应用是否可以查看你的照片、联系人、日历或位置,却不会询问应用能从这些信息中推断出什么。你可能会允许应用访问这些内容,以便它整理图片或显示地图,同时也暴露出有关医疗、家庭生活、金钱、信仰或身边人的线索。手机询问的是原料,而不是结论。
权限系统是为收集数据而设计的
手机通常会把应用隔离在不同的空间中。权限会打开通往敏感材料的大门,比如照片或 GPS 位置。这套系统围绕原始数据设计:应用获准获取什么。
过去,建立个人画像通常需要长时间收集许多信号,比如浏览记录、购买记录、标识符和位置历史。多模态 AI 改变了这个问题的形态。多模态模型可以把文本、图片、联系人和位置信息结合起来处理。它可以从过去需要不同工具或人工审核的材料中识别物体、关系和背景。
这并不意味着每个结论都是真的。推断可能出错,可能属于家庭成员而不是手机所有者,也可能在被用于定价、资格判断、定向投放或监控时造成伤害。但即使只是一个看似合理的猜测,也可能泄露一个人从未打算分享的信息。
少量样本也能变成个人画像
研究人员用 Priva-See 对这一想法进行了测试。Priva-See 是一款连接到服务器端大型语言模型(LLM)的手机应用。在一项经伦理审查委员会批准的美国研究中,465 人提交了数据。对于每个人,这个原型最多可以使用 10 张照片、5,000 条日历和提醒事项、5,000 个联系人以及当前位置。在 iPhone 上,提醒事项也包括在内。
系统使用一个模型处理文本和结构化数据,使用另一个模型分析照片。随后,它会就健康、心理健康、生殖健康、财务、法律问题、政治、宗教、性取向、人际关系和子女生成陈述。这些陈述可能涉及用户本人,也可能涉及与用户关系密切的人。
参与者认为,生成的推断中有 48.8% 完全准确,16.7% 有些准确。重点并不是系统什么都知道,而是数量有限的普通手机权限已经给了它足够的背景信息,使它能够做出有用的个人猜测。手机不需要跨网站追踪系统来建立画像;线索已经在设备上了。
看到结果后,参与者对授予研究中涉及的权限感到不那么放心,尤其是访问相机胶卷的权限。52% 的人表示,这次经历会改变他们未来处理权限的方式。


更清晰的权限提示可以展示什么
想象一下在手机上安装一款应用。家长看到的不再只是“允许访问照片”,还可能看到一条警告:选定的截图和日历条目可能会透露孩子正在接受的治疗,或一个家庭的财务状况。这样一来,真正的决定就清楚了:不仅是应用能否读取数据,还包括它可能从数据中推断出什么。
这一未来取决于操作系统和模型提供商,能否在数据离开设备之前,让这些后续用途变得可见并受到约束。作者建议,权限提示应说明可能的推断,透明展示使用了哪些具体项目,在设备本地对新生成的敏感数据发出警告,并制定禁止侵犯隐私的推断的模型规则。
在这些保护措施发挥作用之前,权限提示可能会承诺一项范围狭窄的交换,却隐藏着范围广得多的交换。同意收集一张照片或一个位置,并不自动等于同意把它变成敏感的个人画像。
来源
Privacy Leakage Through AI-mediated Analysis of Smartphone Data